JP6666298B2 - Video generation apparatus, video presentation system, method, and program - Google Patents
Video generation apparatus, video presentation system, method, and program Download PDFInfo
- Publication number
- JP6666298B2 JP6666298B2 JP2017093135A JP2017093135A JP6666298B2 JP 6666298 B2 JP6666298 B2 JP 6666298B2 JP 2017093135 A JP2017093135 A JP 2017093135A JP 2017093135 A JP2017093135 A JP 2017093135A JP 6666298 B2 JP6666298 B2 JP 6666298B2
- Authority
- JP
- Japan
- Prior art keywords
- spatial frequency
- frequency band
- image
- video
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、観察の仕方によって見え方が異なる動的な映像に関する。 The present invention relates to a dynamic image whose appearance differs depending on the manner of observation.
明確な運動方向を持つ低空間周波数画像情報に、あいまいな運動方向をもつ高空間周波数画像情報を重畳すると、高空間周波数の動きの見え方が、低空間周波数の動きの見え方に引きずられることが知られている(例えば、非特許文献1等参照)。一方で、止まった画像において高空間周波数の位相成分と低空間周波数の位相成分にずれがある場合、低空間周波数成分の位相の見え方が、高空間周波数成分の位相の見え方に引きずられて知覚されることが知られている(例えば、非特許文献2等参照)。また、異なる画像から得られた高空間周波数成分と低空間周波数成分が重畳された場合、観察距離が短い場合は高空間周波数成分の見え方が強く、観察距離が長い場合には低空間周波数成分の見え方が強いことが知られている(例えば、非特許文献3等参照)。 When high spatial frequency image information with an ambiguous motion direction is superimposed on low spatial frequency image information with a clear motion direction, the appearance of high spatial frequency motion is dragged by the appearance of low spatial frequency motion. Is known (for example, see Non-Patent Document 1 and the like). On the other hand, if there is a shift between the high spatial frequency phase component and the low spatial frequency phase component in the stopped image, the appearance of the low spatial frequency component is shifted to the appearance of the high spatial frequency component. It is known to be perceived (for example, see Non-Patent Document 2). Also, when the high spatial frequency component and the low spatial frequency component obtained from different images are superimposed, the high spatial frequency component looks strong when the observation distance is short, and the low spatial frequency component when the observation distance is long. Is known to be strong (for example, see Non-Patent Document 3).
しかし、観察者が知覚する空間周波数によって見え方が異なる動的な映像は知られていない。このような映像を得るためには、画像運動の空間周波数情報をうまく操作する必要があるが、その操作の方法についても知られていない。 However, there is no known dynamic image whose appearance differs depending on the spatial frequency perceived by the observer. In order to obtain such an image, it is necessary to properly manipulate the spatial frequency information of the image motion, but no method of such manipulation is known.
本発明はこのような点に鑑みてなされたものであり、観察者が知覚する空間周波数によって見え方が異なる動的な映像を提供することを目的とする。 The present invention has been made in view of such a point, and an object of the present invention is to provide a dynamic image whose appearance differs depending on a spatial frequency perceived by an observer.
互いに異なる第1領域と第2領域とを含む映像を生成する。第1領域では、第1空間周波数帯域に属する第1の動的な映像成分と、第1空間周波数帯域と異なる空間周波数帯域に属する第1の静的な映像成分とが重畳されている。第2領域では、第1空間周波数帯域と異なる第2空間周波数帯域に属する第2の動的な映像成分と、第2空間周波数帯域と異なる空間周波数帯域に属する第2の静的な映像成分とが重畳されている。 An image including a first region and a second region that are different from each other is generated. In the first region, a first dynamic video component belonging to the first spatial frequency band and a first static video component belonging to a spatial frequency band different from the first spatial frequency band are superimposed. In the second region, a second dynamic video component belonging to a second spatial frequency band different from the first spatial frequency band and a second static video component belonging to a spatial frequency band different from the second spatial frequency band Are superimposed.
これにより、観察者が知覚する空間周波数によって見え方が異なる動的な映像が得られる。 As a result, a dynamic image whose appearance differs depending on the spatial frequency perceived by the observer is obtained.
以下、本発明の実施形態を説明する。
[概要]
まず概要を説明する。第1から6実施形態およびそれらの変形例では、互いに異なる「第1領域」と「第2領域」とを含む「映像」を生成する。「第1領域」および「第2領域」は空間領域の領域である。第1から5実施形態およびそれらの変形例の「映像」は動的な情報を含む動画である。「映像」は「第1領域」および「第2領域」以外の領域を含んでいてもよいし、含んでいなくてもよい。「第1領域」では、「第1空間周波数帯域」に属する「第1の動的な映像成分」と、「第1空間周波数帯域」と異なる空間周波数帯域に属する「第1の静的な映像成分」とが重畳されている。「第2領域」では、「第1空間周波数帯域」と異なる「第2空間周波数帯域」に属する「第2の動的な映像成分」と、「第2空間周波数帯域」と異なる空間周波数帯域に属する「第2の静的な映像成分」とが重畳されている。この動的な「映像」を見た観察者は、知覚する空間周波数によって異なる動きの印象を受ける。一般、観察者と「映像」との距離が近いほど、観察者が知覚する空間周波数の幅は広い。すなわち、観察者が近くの「映像」を観察する場合に知覚する空間周波数の絶対値の最大値は、遠くの「映像」を観察する場合に知覚する空間周波数の絶対値の最大値よりも高い。そのため、「映像」の観察者は「映像」からの距離に応じて異なる動きの印象を受ける。また観察者の視力がよいほど、観察者が知覚する空間周波数の幅は広い。すなわち、観察者の視力がよいほど、観察者が「映像」を観察する場合に知覚する空間周波数の絶対値の最大値が大きい。そのため「映像」の観察者の視力によって、観察者が「映像」から受ける動きの印象が異なる。なお、観察距離が大きくなっても、細かい画像情報を解像できる(識別できる)能力を「視力」と呼び、この「視力」がよい(高い)ほど、観察距離が大きいときにより幅広い範囲の空間周波数帯域を知覚できる。さらに「映像」と観察者との間に介在する媒質の光の拡散度合が大きいほど、観察者が知覚する空間周波数の幅は狭い。すなわち、この媒質の光の拡散度合が大きいほど、観察者が知覚する空間周波数の絶対値の最大値が小さくなる。そのため、「映像」と観察者との間に介在する媒質の光の拡散度合に応じ、観察者が「映像」から受ける動きの印象が異なる。なお「媒質」はすりガラスなどの固体であってもよいし、液体であってもよいし、気体であってもよい。
Hereinafter, embodiments of the present invention will be described.
[Overview]
First, an outline will be described. In the first to sixth embodiments and their modifications, a “video” including a “first region” and a “second region” different from each other is generated. The “first region” and the “second region” are spatial regions. "Video" in the first to fifth embodiments and their modifications is a moving image including dynamic information. The “image” may or may not include an area other than the “first area” and the “second area”. In the “first region”, the “first dynamic video component” belonging to the “first spatial frequency band” and the “first static video component” belonging to a spatial frequency band different from the “first spatial frequency band” Component "is superimposed. In the “second region”, a “second dynamic video component” belonging to a “second spatial frequency band” different from the “first spatial frequency band” and a spatial frequency band different from the “second spatial frequency band” are used. The “second static video component” to which it belongs is superimposed. An observer who sees this dynamic “image” receives different impressions of movement depending on the perceived spatial frequency. Generally, the closer the distance between the observer and the “image” is, the wider the range of the spatial frequency perceived by the observer is. That is, the maximum value of the absolute value of the spatial frequency perceived when the observer observes a nearby "video" is higher than the maximum value of the absolute value of the spatial frequency perceived when observing a distant "video". . Therefore, the observer of the “image” receives a different impression of the motion depending on the distance from the “image”. Also, the better the eyesight of the observer, the wider the range of spatial frequencies perceived by the observer. That is, the better the eyesight of the observer, the larger the maximum value of the absolute value of the spatial frequency perceived when the observer observes the “video”. Therefore, the impression of the movement that the observer receives from the “image” differs depending on the eyesight of the observer of the “image”. The ability to resolve (discriminate) fine image information even when the observation distance increases is referred to as “sight”, and the better (higher) the “sight”, the wider the space in the wider range when the observation distance is longer. You can perceive the frequency band. Furthermore, the greater the degree of diffusion of the light of the medium interposed between the “image” and the observer, the narrower the spatial frequency width perceived by the observer. That is, the greater the degree of diffusion of light in this medium, the smaller the maximum absolute value of the spatial frequency perceived by the observer. Therefore, the impression of the movement that the observer receives from the “image” differs according to the degree of diffusion of the light of the medium interposed between the “image” and the observer. The “medium” may be a solid such as frosted glass, a liquid, or a gas.
「第1の動的な映像成分」および「第2の動的な映像成分」は動きを持つ映像成分である。すなわち、「第1の動的な映像成分」は複数フレームの画像成分を含み、これらの画像成分は互いに異なる。同様に、「第2の動的な映像成分」は複数フレームの画像成分を含み、これらの画像成分は互いに異なる。「第1の静的な映像成分」および「第2の静的な映像成分」の例は動きを持たない静止成分である。例えば、「第1の静的な映像成分」は1フレームの画像成分からなり「第2の静的な映像成分」は1フレームの画像成分からなる。あるいは、「第1の静的な映像成分」および「第2の静的な映像成分」が完全に静止していなくてもよい。すなわち、「第1の静的な映像成分」が「第1の動的な映像成分」よりも動きの小さな成分であり、「第2の静的な映像成分」が「第2の動的な映像成分」よりも動きの小さな成分であってもよい。例えば、「第1の静的な映像成分」の画素の移動量の平均値が「第1の動的な映像成分」の画素の移動量の平均値よりも小さくてもよい。同様に、「第2の静的な映像成分」の画素の移動量の平均値が「第2の動的な映像成分」の画素の移動量の平均値よりも小さくてもよい。「第1の静的な映像成分」の画素の移動速度の平均値が「第1の動的な映像成分」の画素の移動速度の平均値よりも小さくてもよい。同様に、「第2の静的な映像成分」の画素の移動速度の平均値が「第2の動的な映像成分」の画素の移動速度の平均値よりも小さくてもよい。 The “first dynamic video component” and the “second dynamic video component” are video components having motion. That is, the “first dynamic video component” includes image components of a plurality of frames, and these image components are different from each other. Similarly, the “second dynamic video component” includes image components of a plurality of frames, and these image components are different from each other. Examples of the “first static video component” and the “second static video component” are stationary components having no motion. For example, the “first static video component” is composed of one frame image component, and the “second static video component” is composed of one frame image component. Alternatively, the “first static video component” and the “second static video component” may not be completely still. That is, the “first static video component” is a component having a smaller motion than the “first dynamic video component”, and the “second static video component” is the “second dynamic video component”. A component having a smaller motion than the “video component” may be used. For example, the average value of the movement amounts of the pixels of the “first static video component” may be smaller than the average value of the movement amounts of the pixels of the “first dynamic video component”. Similarly, the average value of the movement amounts of the pixels of the “second static video component” may be smaller than the average value of the movement amounts of the pixels of the “second dynamic video component”. The average value of the moving speeds of the pixels of the “first static video component” may be smaller than the average value of the moving speeds of the pixels of the “first dynamic video component”. Similarly, the average value of the moving speed of the pixel of the “second static video component” may be smaller than the average value of the moving speed of the pixel of the “second dynamic video component”.
「第1の動的な映像成分」および「第2の動的な映像成分」の動きは周期的な振動(往復運動)であることが望ましい。周期的な振動である場合、静的な映像成分と動的な映像成分とのずれが一定量以上大きくならない。また、観察者が「映像」から知覚する空間周波数の違い(観察者と「映像」との距離、観察者の視力、「映像」と観察者との間に介在する媒質の光の拡散度合などに基づく違い)に応じた、観察者が「映像」から受ける動きの印象の違いが顕著になる。 It is desirable that the movements of the “first dynamic video component” and the “second dynamic video component” are periodic vibrations (reciprocating motion). In the case of periodic vibration, the deviation between the static video component and the dynamic video component does not increase by a certain amount or more. In addition, differences in the spatial frequency perceived by the observer from the "image" (distance between the observer and the "image", visual acuity of the observer, degree of diffusion of light in the medium interposed between the "image" and the observer, etc. ), The difference in the impression of the movement that the observer receives from the “video” becomes remarkable.
「第1の動的な映像成分」の動き方と「第2の動的な映像成分」の動き方とが同一であるか近似することが望ましい。例えば、各フレームにおいて「第1の動的な映像成分」と「第2の動的な映像成分」との間で各画素の移動速度が同一であるか近似し、かつ、移動方向が同一であるか近似することが望ましい。言い換えると、各フレームにおいて「第1の動的な映像成分」と「第2の動的な映像成分」との間で各画素の移動ベクトルが同一であるか近似することが望ましい。例えば、「第1の動的な映像成分」が表す模様に対する「第2の動的な映像成分」が表す模様の相対位置が変化しないか、相対位置の変化量が所定値以下であることが望ましい。なお、「α1とβ1との間で各画素の移動速度が近似する」とは、α1での各画素の移動速度とβ1での各画素の移動速度との違いがγ1以下であることを意味する。γ1は正値であり、γ1の例はγ1=0.5α1、γ1=0.3α1、γ1=0.1α1、γ1=0.05α1などである。「α2とβ2との間で各画素の移動方向が近似する」とは、α2での各画素の移動方向とβ2での各画素の移動方向とでなす内角の大きさがγ2以下であることを意味する。γ2は正の角度であり、γ2の例はγ2=10°、γ2=3°、γ2=1°、γ2=0.5°などである。「α3とβ3との間で各画素の移動ベクトルが近似する」とは、α3での各画素の移動ベクトルとβ3での各画素の移動ベクトルとの距離がγ3以下であることを意味する。γ3は正値であり、γ3の例はα3の大きさの50%、30%、10%、5%などである。 It is desirable that the motion of the “first dynamic video component” and the motion of the “second dynamic video component” be the same or approximate. For example, in each frame, the moving speed of each pixel is the same or similar between the “first dynamic video component” and the “second dynamic video component”, and the moving directions are the same. It is desirable to have or approximate. In other words, in each frame, it is desirable that the movement vector of each pixel is the same or approximate between the “first dynamic video component” and the “second dynamic video component”. For example, the relative position of the pattern represented by the “second dynamic video component” with respect to the pattern represented by the “first dynamic video component” does not change, or the change amount of the relative position is equal to or less than a predetermined value. desirable. Note that the "moving speed of each pixel is approximated between alpha 1 and beta 1 ', the following 1 difference γ between the moving speed of each pixel in the moving speed and the beta 1 of each pixel in the alpha 1 Means that The gamma 1 is a positive value, examples of gamma 1 are γ 1 = 0.5α 1, γ 1 = 0.3α 1, γ 1 = 0.1α 1, and the like γ 1 = 0.05α 1. The "direction of movement of each pixel is approximated between alpha 2 and beta 2", the size of the internal angle formed by the direction of movement of each pixel in the moving direction and beta 2 of each pixel in the alpha 2 is γ 2 or less. The gamma 2 is a positive angle, examples of gamma 2 is γ 2 = 10 °, γ 2 = 3 °, γ 2 = 1 °, and the like γ 2 = 0.5 °. The "movement vector of each pixel is approximated between alpha 3 and beta 3", it is a gamma 3 or less the distance between the motion vector of each pixel in the motion vector and beta 3 of each pixel in the alpha 3 Means that. γ 3 is a positive value, and examples of γ 3 are 50%, 30%, 10%, 5%, etc. of the size of α 3 .
同様に「第1の静的な映像成分」および「第2の静的な映像成分」が完全に静止していない場合、それらの動き方が互いに同一であるか近似することが望ましい。すなわち、(1)「第1の動的な映像成分」の動き方と「第2の動的な映像成分」の動き方とが同一であるか近似し、かつ、(2−1)「第1の静的な映像成分」と「第2の静的な映像成分」とが静止成分であるか、または、(2−2)「第1の静的な映像成分」は「第1の動的な映像成分」よりも動きの小さな成分であり、「第2の静的な映像成分」は「第2の動的な映像成分」よりも動きの小さな成分であり、「第1の静的な映像成分」の動き方と「第2の静的な映像成分」の動き方とが同一であるか近似することが望ましい。これにより、観察者が「映像」から知覚する空間周波数の違いに応じた、観察者が「映像」から受ける動きの印象の違いが顕著になる。 Similarly, when the “first static video component” and the “second static video component” are not completely still, it is desirable that their movements be the same or approximate to each other. That is, (1) the motion of the “first dynamic video component” and the motion of the “second dynamic video component” are the same or approximate, and (2-1) the “ The “first static video component” and the “second static video component” are still components, or (2-2) the “first static video component” is the “first video component”. The second static video component is a component having a smaller motion than the “second dynamic video component”, and the “first static video component” is a component having a smaller motion than the “first static video component”. It is desirable that the way of movement of the “natural video component” and the way of movement of the “second static video component” be the same or approximate. Thereby, the difference in the impression of the movement that the observer receives from the “video” according to the difference in the spatial frequency that the observer perceives from the “video” becomes remarkable.
「第1空間周波数帯域」が「高空間周波数帯域」であり、「第1空間周波数帯域と異なる空間周波数帯域」が「高空間周波数帯域」と異なる「低空間周波数帯域」であり、「第2空間周波数帯域」が「低空間周波数帯域」であり、「第2空間周波数帯域と異なる空間周波数帯域」が「高空間周波数帯域」であってもよい。すなわち、「映像」が「高空間周波数帯域」に属する「第1の動的な映像成分」と、「低空間周波数帯域」に属する「第1の静的な映像成分」とが重畳されている「第1領域」と、「低空間周波数帯域」に属する「第2の動的な映像成分」と、「高空間周波数帯域」に属する「第2の静的な映像成分」とが重畳されている「第2領域」とを含んでもよい。ここで、観察者が当該「映像」の低い空間周波数から高い空間周波数までを広く知覚できる場合(例えば、観察者と「映像」との距離が近い場合、観察者の視力が良い場合、「映像」と観察者との間に介在する媒質の光の拡散度合が小さい場合)、観察者は「第2領域」の「低空間周波数帯域」に属する「第2の動的な映像成分」の動きと、「第1領域」の「高空間周波数帯域」に属する「第1の動的な映像成分」の動きとを十分に認識できる。その結果、「第2領域」の「高空間周波数帯域」に属する「第2の静的な映像成分」が浮き上がって見え、「第2領域」が静止しているか、ほぼ静止しているように見える。特に、「第1の動的な映像成分」の動き方と「第2の動的な映像成分」の動き方とが同一であるか近似する場合、「第2の動的な映像成分」の動きと「第1の動的な映像成分」の動きとが一体の動きに見え、この効果がより顕著になる。一方、観察者が当該「映像」の高い空間周波数を十分に知覚できない場合(例えば、観察者と「映像」との距離が遠い場合、観察者の視力が悪い場合、「映像」と観察者との間に介在する媒質の光の拡散度合が大きい場合)、観察者は「第2領域」の「低空間周波数帯域」に属する「第2の動的な映像成分」の動きを十分に認識できるものの、「第1領域」の「高空間周波数帯域」に属する「第1の動的な映像成分」の動きを十分に認識できない。その結果、「第2領域」の「低空間周波数帯域」のみが移動して見え、「第2領域」が動いて見える。このように、観察者が「映像」から知覚する空間周波数の幅に応じ、「第2領域」が静止(または、ほぼ静止)して見えたり、動いて見えたりする。このような効果は、「第1領域」と「第2領域」とが隣接するときに顕著である。そのため、「第1領域」と「第2領域」とは互いに隣接することが望ましい。同様な理由により、「第2領域」の少なくとも一部が「第1領域」に囲まれていることが望ましく、「第2領域」の全てが「第1領域」に囲まれていることがより望ましい。 The “first spatial frequency band” is a “high spatial frequency band”, the “spatial frequency band different from the first spatial frequency band” is a “low spatial frequency band” different from the “high spatial frequency band”, and the “second spatial frequency band” is a “second spatial frequency band”. The “spatial frequency band” may be a “low spatial frequency band”, and the “spatial frequency band different from the second spatial frequency band” may be a “high spatial frequency band”. That is, the “first dynamic video component” of which “video” belongs to the “high spatial frequency band” and the “first static video component” of the “low spatial frequency band” are superimposed. The “first region”, the “second dynamic video component” belonging to the “low spatial frequency band”, and the “second static video component” belonging to the “high spatial frequency band” are superimposed. May be included. Here, when the observer can widely perceive the low spatial frequency to the high spatial frequency of the “image” (for example, when the distance between the observer and the “image” is short, when the observer has good vision, ) And the observer have a low degree of diffusion of light of the medium interposed between the observer and the observer, the observer moves the “second dynamic video component” belonging to the “low spatial frequency band” of the “second region”. And the movement of the “first dynamic video component” belonging to the “high spatial frequency band” of the “first region” can be sufficiently recognized. As a result, the “second static video component” belonging to the “high spatial frequency band” of the “second region” appears to be raised, and the “second region” is stationary or almost stationary. appear. In particular, when the way of movement of the “first dynamic video component” and the way of movement of the “second dynamic video component” are the same or approximate, the “second dynamic video component” The motion and the motion of the “first dynamic video component” appear to be an integrated motion, and this effect becomes more remarkable. On the other hand, when the observer cannot sufficiently perceive the high spatial frequency of the “image” (for example, when the distance between the observer and the “image” is long, when the observer has poor eyesight, “image” and the observer (In the case where the degree of diffusion of the light of the medium interposed therebetween is large), the observer can sufficiently recognize the movement of the “second dynamic video component” belonging to the “low spatial frequency band” of the “second region”. However, the movement of the “first dynamic video component” belonging to the “high spatial frequency band” of the “first region” cannot be sufficiently recognized. As a result, only the “low spatial frequency band” of the “second region” appears to move, and the “second region” appears to move. As described above, the “second region” looks stationary (or almost still) or appears to move according to the width of the spatial frequency perceived by the observer from the “video”. Such an effect is remarkable when the “first region” and the “second region” are adjacent to each other. Therefore, it is desirable that the “first region” and the “second region” are adjacent to each other. For the same reason, it is desirable that at least a part of the “second region” is surrounded by the “first region”, and that all of the “second region” is surrounded by the “first region”. desirable.
「高空間周波数帯域」は、例えば、絶対値が「閾値(カットオフ周波数)」以上または「閾値」を超える空間周波数からなる。「低空間周波数帯域」は、例えば、絶対値が「閾値」未満もしくは「閾値」の近傍未満、または絶対値が「閾値」以下もしくは「閾値」の近傍以下の空間周波数からなる。 The “high spatial frequency band” includes, for example, a spatial frequency whose absolute value is equal to or more than a “threshold (cutoff frequency)” or exceeds a “threshold”. The “low spatial frequency band” includes, for example, a spatial frequency whose absolute value is less than the “threshold” or less than near the “threshold”, or whose absolute value is equal to or less than the “threshold” or less than the vicinity of the “threshold”.
この場合、「映像」から観察者までの「距離の範囲」を表す情報を入力とし、「距離の範囲」に応じた「閾値」が設定されてもよい。例えば、「距離の範囲」が広い場合に「閾値」を小さくし、狭い場合に「閾値」を大きくしてもよい。例えば、「映像」から観察者までの距離の最大値が大きい場合に「閾値」を小さくし、距離の最大値が小さい場合に「閾値」を大きくしてもよい。例えば、「映像」から観察者までの距離の最大値が大きいほど「閾値」を小さくし、距離の最大値が小さいほど「閾値」を大きくしてもよい。すなわち、「映像」から観察者までの距離の最大値が「第1値」であるときの「閾値」が、「映像」から観察者までの距離の最大値が「第2値」であるときの「閾値」よりも大きく、「第1値」が「第2値」よりも小さいことが望ましい。これにより、「映像」から観察者までの距離の自由度が大きい場合(距離の最大値が大きい場合)に「第2領域」での「第2の動的な映像成分」に対する「第2の静的な映像成分」の割合を増やすことができる。その結果、「映像」が近くで観察された場合には「第2領域」が静止しているような印象を明確に与えることができ、「映像」から観察者までの距離を十分にとったときには、「第2領域」が動いているような印象を与えることができる。逆に、「映像」から観察者までの距離の自由度が小さい場合(距離の最大値が小さい場合)には、「映像」から観察者までの距離を大きく変化させることなく、「第2領域」が静止しているような印象を与えたり、動いているような印象を与えたりできる。 In this case, information representing the “range of distance” from the “video” to the viewer may be input, and a “threshold” corresponding to the “range of distance” may be set. For example, the “threshold” may be decreased when the “range of distance” is wide, and the “threshold” may be increased when the “range of distance” is narrow. For example, the “threshold” may be decreased when the maximum value of the distance from the “video” to the observer is large, and the “threshold” may be increased when the maximum value of the distance is small. For example, the “threshold” may be decreased as the maximum value of the distance from the “video” to the observer increases, and the “threshold” may be increased as the maximum value of the distance decreases. That is, when the maximum value of the distance from the “image” to the observer is the “first value”, the “threshold” is set when the maximum value of the distance from the “image” to the observer is the “second value” It is preferable that the “first value” is larger than the “threshold value” and the “first value” is smaller than the “second value”. Accordingly, when the degree of freedom of the distance from the “video” to the observer is large (when the maximum value of the distance is large), the “second dynamic video component” in the “second region” The ratio of "static video components" can be increased. As a result, when the "image" is observed nearby, the impression that the "second region" is stationary can be clearly given, and the distance from the "image" to the observer is sufficient. At times, it is possible to give an impression that the “second region” is moving. Conversely, when the degree of freedom of the distance from the “image” to the observer is small (when the maximum value of the distance is small), the “second region” is not changed largely without changing the distance from the “image” to the observer. Can give the impression that it is stationary or the impression that it is moving.
同様な理由により、「映像」と観察者との間に介在する媒質の「光の拡散度合」を表す情報を入力とし、拡散度合に応じた「閾値」を設定してもよい。例えば、媒質の「光の拡散度合」が大きい場合に「閾値」を小さく、「光の拡散度合」が小さい場合に「閾値」を大きくしてもよい。例えば、「光の拡散度合」が大きいほど「閾値」を小さくし、「光の拡散度合」が小さいほど「閾値」を大きくしてもよい。すなわち、「光の拡散度合」を表す指標が「第1値」であるときの閾値が、「光の拡散度合」を表す指標が「第2値」であるときの閾値よりも小さく、指標が「第1値」であるときの「光の拡散度合」は、指標が「第2値」であるときの「光の拡散度合」よりも大きくてもよい。 For the same reason, information representing the “degree of light diffusion” of the medium interposed between the “image” and the observer may be input and a “threshold” corresponding to the degree of diffusion may be set. For example, the “threshold” may be decreased when the “light diffusion degree” of the medium is large, and the “threshold” may be increased when the “light diffusion degree” is small. For example, the “threshold” may be decreased as the “light diffusion degree” is increased, and the “threshold” may be increased as the “light diffusion degree” is decreased. That is, the threshold when the index indicating the “degree of light diffusion” is the “first value” is smaller than the threshold when the index indicating the “degree of light diffusion” is the “second value”, and the index is The “light diffusion degree” when the “first value” is set may be larger than the “light diffusion degree” when the index is the “second value”.
視力の悪い観察者が「映像」を観察した場合、「映像」から観察者の距離が近くても、「映像」が含む高空間周波数帯域の成分を知覚できない場合がある。そのため、観察者の視力を表す指標を入力とし、視力に応じた「閾値」が設定されてもよい。例えば、観察者の視力が悪い場合に「閾値」を小さくし、視力が良い場合に「閾値」を大きくしてもよい。すなわち、視力を表す指標が「第1値」であるときの閾値が、視力を表す指標が「第2値」であるときの閾値よりも小さく、指標が「第1値」であるときの視力が、指標が「第2値」であるときの視力よりも悪くてもよい。 When an observer with poor eyesight observes an “image”, there is a case where a component in a high spatial frequency band included in the “image” cannot be perceived even if the observer is short from the “image”. Therefore, an index indicating the visual acuity of the observer may be input and a “threshold” corresponding to the visual acuity may be set. For example, the “threshold” may be decreased when the observer has poor eyesight, and the “threshold” may be increased when the eyesight is good. That is, the threshold when the index representing visual acuity is “first value” is smaller than the threshold when the index representing visual acuity is “second value”, and the visual acuity when the index is “first value”. May be worse than the visual acuity when the index is the “second value”.
「映像」を生成する「映像生成装置」は、例えば、「第1領域」で「第1の動的な映像成分」と「第1の静的な映像成分」とを重畳した「第1映像成分」を得、「第2領域」で「第2の動的な映像成分」と「第2の静的な映像成分」とを重畳した「第2映像成分」を得、少なくとも「第1映像成分」と「第2映像成分」とを重畳して「映像」を得る。「映像」は「映像提示装置」によって観察者に提示される。「映像提示装置」はディスプレイに「映像」を表示してもよいし、スクリーンなどに「映像」を投影してもよい。「映像提示装置」が「映像」を提示するための「映像」のデータ構造が提供されてもよい。 The “video generation device” that generates the “video” is, for example, the “first video” in which the “first dynamic video component” and the “first static video component” are superimposed in the “first region”. A second video component ”obtained by superimposing a“ second dynamic video component ”and a“ second static video component ”in a“ second region ”, and at least a“ first video component ”. The “image” is obtained by superimposing the “component” and the “second image component”. The “video” is presented to the observer by the “video presenting device”. The “video presenting device” may display “video” on a display or project “video” on a screen or the like. A “video” data structure for the “video presenting device” to present the “video” may be provided.
第6実施形態およびその変形例の「映像」は、上述のような動的な情報を含む動画であってもよいし、動的な情報を含まない静止画であってもよい。この「映像」を提示する映像提示システムは「映像提示装置」と「拡散部材」とを有する。この「映像提示装置」は、「第1空間周波数帯域」に属する「第1映像成分」と、「第1空間周波数帯域」と異なる「第2空間周波数帯域」に属する「第2映像成分」と、が重畳された領域を含む映像を提示する。「拡散部材」は、「映像」と観察者との間に介在させることが可能な媒質であり、光を拡散する性質を持つ。「第1空間周波数帯域」の例は前述の「高空間周波数帯域」であり、「第2空間周波数帯域」の例は前述の「低空間周波数帯域」である。「映像」と観察者との間に「拡散部材」を介在させ、観察者が「拡散部材」を通して「映像」を見ることもできるし、「映像」と観察者との間に「拡散部材」を介在させずに、観察者が直接「映像」を見ることもできる。観察者が「拡散部材」を通して「映像」を見たときに観察者が知覚する見え方は、観察者が直接「映像」を見たときに観察者が知覚する見え方と異なる。すなわち、「拡散部材」を通さずに「映像」を観察した観察者は、「映像」に含まれた「第1映像成分」および「第2映像成分」の両方を知覚する。一方、「拡散部材」を通して「映像」を観察した観察者は、これら両成分のうち空間周波数の低い方の成分を他方の成分よりも優位に知覚する。 The “video” in the sixth embodiment and its modified example may be a moving image including the above-described dynamic information, or may be a still image including no dynamic information. The video presentation system that presents this “video” has a “video presentation device” and a “diffusion member”. The “video presenting device” includes a “first video component” belonging to a “first spatial frequency band” and a “second video component” belonging to a “second spatial frequency band” different from the “first spatial frequency band”. , Are presented. The “diffusion member” is a medium that can be interposed between the “image” and the observer, and has a property of diffusing light. An example of the “first spatial frequency band” is the aforementioned “high spatial frequency band”, and an example of the “second spatial frequency band” is the aforementioned “low spatial frequency band”. A "diffusion member" can be interposed between the "image" and the observer, and the observer can see the "image" through the "diffusion member", or the "diffusion member" between the "image" and the observer The observer can also directly see the "image" without intervening. The appearance that the observer perceives when the observer looks at the “image” through the “diffusion member” is different from the appearance that the observer perceives when the observer directly looks at the “image”. That is, an observer who observes the “video” without passing through the “diffusion member” perceives both the “first video component” and the “second video component” included in the “video”. On the other hand, an observer who observes the “image” through the “diffusion member” perceives a component having a lower spatial frequency out of these components more dominantly than the other component.
[第1実施形態]
本形態では、互いに異なる第1領域から第N領域を含む映像Mを例示する。ただし、Nは2以上の正整数である。
[First Embodiment]
In the present embodiment, an image M including first to N-th areas different from each other is exemplified. Here, N is a positive integer of 2 or more.
<構成>
図1に例示するように、本形態の映像生成装置1は、帯域分離部11、動的成分生成部12−1〜12−N、重み付け地図記憶部13−1〜3−N、重畳部14−1〜14−N、および統合部15を有する。
<Structure>
As illustrated in FIG. 1, the video generation device 1 according to the present embodiment includes a
<前処理>
本形態では、空間領域の互い異なる領域R1,…,RNを含む映像Mを生成する。その前処理として、各領域Ri(ただし、i=1,…,N)に対応する重み付け地図MAPiが重み付け地図記憶部13−iに格納される。重み付け地図MAPiは、画素値を要素とする二次元配列である。重み付け地図MAPiは、任意の領域Riで任意の空間周波数帯域の画像成分を動かすために利用するものであり、領域Riを表す二次元配列(画像)である。重み付け地図MAPiの例は、領域Riに属する画素の画素値を1とし、領域Riに属さない画素の画素値を0とした二値からなる二次元配列である。あるいは、このような二値の二次元配列にガウシアンフィルタを適用して得られる二次元配列を重み付け地図MAPiとしてもよい。その他、領域Riに属する画素の画素値が領域Riに属さない画素の画素値よりも大きく、画素値の範囲が0以上1以下に正規化された二次元配列を重み付け地図MAPiとしてもよい。なお、領域R1,…,RNは互いに異なる。望ましくは、領域R1,…,RNのいずれも互いに重なり合わない。しかし、領域R1,…,RNの少なくとも一部が互いに重なり合っている領域が存在してもよい。また、領域R1,…,RNの少なくとも何れかは互いに隣接していることが望ましい。さらに、領域R1,…,RNの少なくとも何れかが、領域R1,…,RNの他の何れかに囲まれていることが望ましい。例えば、図2の例では、重み付け地図MAP1に対応する領域R1(2つの星形領域外の背景領域)が重み付け地図MAP2,MAP3に対応する領域R2,R3(2つの星形領域)に隣接しており、領域R2,R3が領域R1に囲まれている。
<Pre-processing>
In this embodiment, another different regions R 1 in the spatial domain, ..., and generates an image M containing R N. As a pretreatment, each region R i (however, i = 1, ..., N ) weighting map MAP i corresponding to is stored in the weighting map storage unit 13-i. Weighting map MAP i is a two-dimensional array of pixel values as elements. Weighting map MAP i takes advantage to move the image component of any spatial frequency bands in any region R i, is a two-dimensional array representing the region R i (image). Examples of the weighting map MAP i is the pixel values of the pixels belonging to the region R i is 1, the pixel values of the pixels that do not belong to the region R i is a two-dimensional array of binary was zero. Alternatively, a two-dimensional array obtained by applying a Gaussian filter to the two-dimensional array of such binary or as a weighting map MAP i. Other, larger than the pixel value of the pixel in which the pixel values of the pixels belonging to the region R i does not belong to the region R i, also a two-dimensional array range is normalized to 0 to 1 inclusive pixel value as a weighting map MAP i Good. Note that the regions R 1 ,..., RN are different from each other. Desirably, the region R 1, ..., none of R N non-overlapping. However, the region R 1, ..., there may be a region where at least a part of R N are overlapped with each other. The region R 1, ..., at least one of R N is preferably adjacent to each other. Furthermore, the region R 1, ..., at least one of R N is, regions R 1, ..., it is desirable that is surrounded by any other R N. For example, in the example of FIG. 2, a region R 1 (a background region outside the two star regions) corresponding to the weight map MAP 1 is a region R 2 , R 3 (two star regions) corresponding to the weight maps MAP 2 and MAP 3. ), And the regions R 2 and R 3 are surrounded by the region R 1 .
<処理>
以下に本形態の処理を説明する。
≪入力画像Pの入力≫
映像生成装置1に入力画像Pが入力される。入力画像Pはカラー画像であってもよいし、グレースケール画像であってもよいし、白黒画像であってもよい。カラー画像の入力画像Pは、RGBの3チャネルそれぞれの二次元配列からなる集合である。これらの二次元配列は各チャネルの各画素値を要素とするものであり、それぞれのサイズは重み付け地図MAPiのサイズと同じである。グレースケール画像または白黒画像の入力画像Pは、各画素値を要素とするものであり、そのサイズは重み付け地図MAPiのサイズと同じである。
<Process>
Hereinafter, the processing of this embodiment will be described.
≫Input of input image P≫
The input image P is input to the video generation device 1. The input image P may be a color image, a grayscale image, or a black and white image. The input image P of a color image is a set composed of a two-dimensional array of each of the three RGB channels. These two-dimensional array are for the respective pixel values of each channel element, each size is the same as the size of the weighting map MAP i. Input image P grayscale or black and white images is for the each pixel value elements, the size is the same as the size of the weighting map MAP i.
≪帯域分離部11の処理≫
帯域分離部11は入力画像Pを入力とし、入力画像PをN個の空間周波数帯域B1,…,BNに分離し、各空間周波数帯域Bi(ただし、i=1,…,N)の画像成分Piを得て出力する。図2にN=3の場合の例を示す。画像成分P1,…,PNは空間領域における静止画像成分であり、画像成分Piのサイズは重み付け地図MAPiのサイズと同じである。空間周波数帯域B1,…,BNの絶対値は互いに異なる。空間周波数帯域B1,…,BNの絶対値の中心空間周波数をそれぞれb1,…,bNとすると、b1<b2<…<bNの関係を満たす。空間周波数帯域B1,…,BNは互いに重複する空間周波数を含まないことが望ましいが、空間周波数帯域B1,…,BNの少なくとも一部が互いに重複する空間周波数を含んでもよい。空間周波数帯域B1,…,BNの帯域幅は、互いに同一であってもよいし、同一でなくてもよい。各空間周波数帯域Bi(ただし、i=1,…,N)の帯域幅の一例は2オクターブ程度の帯域幅である。すなわち、各空間周波数帯域Biの最も低い空間周波数LBiからその4倍の空間周波数4×LBiまでをBiの帯域幅とする。例えば、N=3の場合、帯域分離部11は2cpi(cycles per image)以下の低空間周波数帯域をB1とし、2〜8cpiの中空間周波数帯域をB2とし、8〜32cpiの高空間周波数帯域をB3とする。画像成分Pj(ただし、j=1,…,Nかつj≠i)は、静的な映像成分PSjとして重畳部14−i(ただし、i=1,…,N)に送られる。さらに画像成分Pi(ただし、i=1,…,N)は、動的成分生成部12−iに送られる。
<< Process of
≪動的成分生成部12−iの処理≫
動的成分生成部12−i(ただし、i=1,…,N)のそれぞれは、入力された画像成分Piに動きを与え、それによってK個(ただし、Kは2以上の整数)のフレームの画像PDi,k(ただし、k=1,…,K)を含む動的な映像成分PDi={PDi,1,…,PDi,K}を得て出力する。なお、画像PDi,kは動的な映像成分PDiのk番目のフレームの画像である。画像PDi,kは空間領域における画像である。複数のフレームk=1,…,Kの画像PDi,kを時間順(k=1からKまでの順序)にならべて得られる動的な映像成分PDiは動きを表す(つまり、PDiは動画である)。各空間周波数帯域Biの複数のフレームk=1,…,Kの画像PDi,kの少なくとも一部は互いに異なる。動的成分生成部12−iによって画像成分Piに与えられる動きは周期的な振動であることが望ましい。しかし、画像成分Piにその他の動きが与えられてもよい。また、動的成分生成部12−1〜Nのそれぞれが互いに同一または近似する動きを画像成分Piに与えることが望ましい。すなわち、動的な映像成分PDiの動き方と動的な映像成分PDjの動き方とが同一であるか近似することが望ましい(ただし、i,j∈{1,…,N}かつi≠j)。しかし、動的成分生成部12−1〜Nの少なくとも一部が他と異なる動きを与えてもよい。画像成分Piに与える画素の移動量が大きすぎると、観察者が「映像」から知覚する空間周波数の違い(例えば、観察者と映像Mとの距離の違い)に基づいて受ける印象の違いが小さくなる場合がある。そのため、観察者と映像Mとの距離(観察距離)などを変えてみて、見かけの変化が生じない場合には移動量を小さくする工夫が必要である。
<< Process of Dynamic Component Generation Unit 12-i >>
Each of the dynamic component generation units 12-i (where i = 1,..., N) gives a motion to the input image component P i , whereby K (where K is an integer of 2 or more) K components are provided. A dynamic video component PD i = {PD i, 1 ,..., PD i, K } including a frame image PD i, k (where k = 1,..., K) is obtained and output. Note that the image PD i, k is the image of the k-th frame of the dynamic video component PD i . Images PD i, k are images in the spatial domain. A dynamic video component PD i obtained by arranging images PD i, k of a plurality of frames k = 1,..., K in time order (order from k = 1 to K) represents motion (that is, PD i). Is a video). At least some of the images PD i, k of the plurality of frames k = 1,..., K in each spatial frequency band B i are different from each other. Motion imparted to the image component P i by the dynamic component generating unit 12-i is preferably a cyclic vibration. However, other movements may be provided to the image component P i. It is also desirable to provide a motion, each identical or close to each other of the dynamic component generation unit 12-1~N to the image component P i. That is, it is desirable that the way of movement of the dynamic image component PD i and the way of movement of the dynamic image component PD j are the same or approximate (however, i, j∈ {1,..., N} and i ≠ j). However, at least a part of the dynamic component generation units 12-1 to 12-N may give a different motion from the others. If the amount of pixel movement given to the image component P i is too large, the difference in impression received by the observer based on the difference in spatial frequency perceived from the “image” (for example, the difference in the distance between the observer and the image M) is reduced. May be smaller. Therefore, when the distance (observation distance) between the observer and the image M is changed, if the appearance does not change, it is necessary to devise a method of reducing the moving amount.
≪重畳部14−iの処理≫
重畳部14−i(ただし、i=1,…,N)のそれぞれは、動的な映像成分PDi={PDi,1,…,PDi,K}および静的な映像成分PSj(ただし、j=1,…,Nかつj≠i)を入力とし、重み付け地図記憶部13−iから読み出した重み付け地図MAPiをこれらに乗じた後に重畳して映像成分Miを得て出力する。すなわち、重畳部14−iは、画像PDi,kに重み付け地図MAPiを乗じた画像と、i=1,…,Nかつj≠iについて静的な映像成分PSjに地図MAPiを乗じた画像成分と、を重畳した画像Mi,kを映像成分Miのk番目のフレームの画像として出力する。画像Mi,kは重み付け地図MAPiとサイズが等しい二次元配列である。
ただし、入力画像Pがグレースケール画像または白黒画像の場合、式(1)における乗算および加算は画素ごとに行われる。入力画像Pがカラー画像の場合、式(1)における乗算および加算はRGBの3チャネルそれぞれの画素ごとに行われる。このように得られる画像Mi,kを1番目のフレームからK番目のフレームまで時間順にならべて得られる映像成分Mi(第i映像成分)は、領域Ri(第i領域)で動的な映像成分PDi(第iの動的な映像成分)と静的な映像成分PSj(第iの静的な映像成分)とを重畳(加算)した成分に相当する。なお、図2の重み付け地図MAPiは、領域Riの画素値を1とし、それ以外の画素値を0としたものである。画素値1の領域が白で表現され、画素値0の領域が黒で表現されている。図2の映像成分M1は、2つの星形領域外の背景領域で、空間周波数帯域(低空間周波数帯域)B1の動的な映像成分PD1と、空間周波数帯域(中空間周波数帯域)B2の静的な映像成分PS2と、空間周波数帯域(高空間周波数帯域)B3の静的な映像成分PS3とを重畳したものである。映像成分M1では、空間周波数帯域B1の背景領域の成分のみが動きを持つ。図2の映像成分M2は、左側の星形領域で、空間周波数帯域B2の動的な映像成分PD2と、空間周波数帯域B1の静的な映像成分PS1と、空間周波数帯域B3の静的な映像成分PS3とを重畳したものである。映像成分M2では、空間周波数帯域B2の左側の星形領域の成分のみが動きを持つ。図2の映像成分M3は、右側の星形領域で、空間周波数帯域B3の動的な映像成分PD3と、空間周波数帯域B1の静的な映像成分PS1と、空間周波数帯域B2の静的な映像成分PS2とを重畳したものである。映像成分M3では、空間周波数帯域B3の右側の星形領域の成分のみが動きを持つ。
<< Processing of Superposition Unit 14-i >>
Each of the superimposing units 14-i (where i = 1,..., N) includes a dynamic video component PD i = {PD i, 1 ,..., PD i, K } and a static video component PS j ( However, j = 1, ..., a N and j ≠ i) input, and outputs obtained video component M i weighted map mAP i read from the weighting map storage unit 13-i superimposed after multiplying these . That is, the superimposing unit 14-i multiplies the image obtained by multiplying the image PD i, k by the weighted map MAP i and the static video component PS j for i = 1,..., N and j ≠ i by the map MAP i . Then, the image M i, k on which the image component is superimposed is output as the image of the k-th frame of the video component M i . The image M i, k is a two-dimensional array having the same size as the weight map MAP i .
However, when the input image P is a grayscale image or a black and white image, the multiplication and addition in Expression (1) are performed for each pixel. When the input image P is a color image, the multiplication and addition in Expression (1) are performed for each pixel of each of the three RGB channels. A video component M i (i-th video component) obtained by arranging the images M i, k obtained in this manner in chronological order from the first frame to the K-th frame is dynamic in a region R i (i-th region). The video component PD i (the i-th dynamic video component) and the static video component PS j (the i-th static video component) are superimposed (added). In the weight map MAP i of FIG. 2, the pixel value of the region R i is 1 and the other pixel values are 0. The area of the pixel value 1 is represented by white, and the area of the
≪統合部15の処理≫
統合部15は、映像成分M1,…,MNを入力とし、映像成分M1,…,MNを重畳(加算)して映像Mを得て出力する。
M=M1+…+MN (2)
ただし、入力画像Pがグレースケール画像または白黒画像の場合、式(2)における加算は画素ごとに行われる。入力画像Pがカラー画像の場合、式(2)における加算はRGBの3チャネルそれぞれの画素ごとに行われる。このように得られた映像Mの領域Ri(第i領域)では、空間周波数帯域Bi(第i空間周波数帯域)に属する動的な映像成分PDi(第iの動的な映像成分)と、空間周波数帯域Bj(第i空間周波数帯域と異なる空間周波数帯域)に属する静的な映像成分PSj(第iの静的な映像成分)とが重畳されている。図2の映像Mでは、2つの星形領域外の背景領域で空間周波数帯域B1の成分が動き、左側の星形領域で空間周波数帯域B2の成分が動き、右側の星形領域で空間周波数帯域B3の成分が動く。
<< Processing of
M = M 1 +... + M N (2)
However, when the input image P is a grayscale image or a black-and-white image, the addition in Expression (2) is performed for each pixel. When the input image P is a color image, the addition in Expression (2) is performed for each pixel of each of the three RGB channels. In the region R i (i-th region) of the image M thus obtained, the dynamic image component PD i (i-th dynamic image component) belonging to the spatial frequency band B i (i-th spatial frequency band) And a static video component PS j (i-th static video component) belonging to the spatial frequency band B j (a spatial frequency band different from the i-th spatial frequency band). In the image M of FIG. 2, two star-shaped region outside the movement component of the spatial frequency band B 1 in the background area, the component of the spatial frequency band B 2 on the left side of the star region moves, the space in the right star region component of the frequency band B 3 moves.
≪映像Mの提示≫
映像Mは映像提示装置100に入力され、映像提示装置100は映像Mを提示する。映像提示装置100は映像Mをディスプレイに表示してもよいし、スクリーン等に投影してもよい。なお、映像Mを構成する各フレームの画像の提示時間は、映像Mが静止画の系列ではなく動画像として認識可能なように調整される。この範囲であればフレームレートは固定であっても可変であってもよい。映像Mを観察した観察者は、映像Mからの距離に応じ、映像Mから異なる動きの印象を受ける。また、観察者の視力の良し悪しに応じ、観察者が映像Mから受ける動きの印象も異なる。さらに、観察者は、観察者と映像Mとの間に介在する媒質の光の拡散度合に応じ、映像Mから異なる動きの印象を受ける。このように観察者は、映像Mから知覚可能な空間周波数によって異なる動きの印象を受ける。具体的には、映像M中の知覚可能な空間周波数帯域が低くなるにつれ、映像M中の一部分が動いて見えるが、映像M中の知覚可能な空間周波数帯域が高空間周波数を含むにつれ、映像M全体が動いて見えるとともに、その一部が止まって見える。
≫Presentation of image M≫
The video M is input to the
[第1実施形態の変形例1]
第1実施形態では、画像成分Pjがそのまま静的な映像成分PSj(ただし、j=1,…,Nかつj≠i)として用いられた。すなわち、静的な映像成分PSjは静止成分であった。しかしながら、静的な映像成分PSjが動きを持ってもよい。この場合、映像生成装置1(図1)は、さらに静的成分生成部17−i(ただし、i=1,…,N)を有する。本変形例1では、画像成分Pj(ただし、j=1,…,Nかつj≠i)が静的な映像成分PSjとして重畳部14−i(ただし、i=1,…,N)に送られることに代え、画像成分Pjが静的成分生成部17−jに送られる。静的成分生成部17−jのそれぞれは、入力された画像成分Pjに動きを与え、それによってK個(ただし、Kは2以上の整数)のフレームの画像PSj,k(ただし、k=1,…,K)を含む静的な映像成分PSj={PSj,1,…,PSj,K}を得て出力する。画像PSi,kは空間領域における画像である。複数のフレームk=1,…,Kの画像PSj,kを時間順(k=1からKまでの順序)にならべて得られる静的な映像成分PSjは動きを表す(つまり、変形例1のPSjは動画である)。各空間周波数帯域Bjの複数のフレームk=1,…,Kの画像PSj,kの少なくとも一部は互いに異なる。ただし、各空間周波数帯域Bjでの静的な映像成分PSjの動きは動的な映像成分PDjの動きよりも小さい。静的成分生成部17−iによって画像成分Piに与えられる動きは周期的な振動であることが望ましい。しかし、画像成分Piにその他の動きが与えられてもよい。また、静的成分生成部17−1〜Nのそれぞれが互いに同一または近似する動きを画像成分Piに与えることが望ましい。すなわち、静的な映像成分PSiの動き方と静的な映像成分PSjの動き方とが同一であるか近似することが望ましい(ただし、i,j∈{1,…,N}かつi≠j)。しかし、静的成分生成部17−1〜Nの少なくとも一部が他と異なる動きを与えてもよい。出力された静的な映像成分PSj(ただし、j=1,…,Nかつj≠i)は重畳部14−i(ただし、i=1,…,N)に送られる。その他は第1実施形態と同じである。
[Modification 1 of First Embodiment]
In the first embodiment, the image component P j is used as it is as a static video component PS j (where j = 1,..., N and j ≠ i). That is, the static video component PSj is a still component. However, the static image components PS j may have a motion. In this case, the video generation device 1 (FIG. 1) further includes a static component generation unit 17-i (where i = 1,..., N). In the first modification, the image component P j (where j = 1,..., N and j ≠ i) is a static video component PS j and the superimposing unit 14-i (where i = 1,..., N) instead sent is possible, the image component P j is sent to the static component generating unit 17-j. Each of the static component generation units 17-j gives a motion to the input image component P j , whereby the images PS K, (where K is an integer of 2 or more) of K frames ( where k is an integer) = 1,..., K), and outputs the static video component PS j = {PS j, 1 ,..., PS j, K }. The images PS i, k are images in the spatial domain. A static video component PS j obtained by arranging images PS j, k of a plurality of frames k = 1,..., K in time order (order from k = 1 to K) represents a motion (that is, a modified example). 1 PS j is a moving image). At least some of the images PS j, k of the plurality of frames k = 1,..., K in each spatial frequency band B j are different from each other. However, the motion of the static video component PS j in each spatial frequency band B j is smaller than the motion of the dynamic video component PD j . Motion imparted to the image component P i by the static component generating unit 17-i is preferably a cyclic vibration. However, other movements may be provided to the image component P i. In addition, it is desirable that each of the static component generation units 17-1 to 17-N gives the same or similar motion to the image component P i . That is, it is desirable that the motion of the static video component PS i and the motion of the static video component PS j are the same or approximate (however, i, j∈ {1,..., N} and i ≠ j). However, at least a part of the static component generation units 17-1 to 17-N may give a different motion from the others. The output static video component PS j (where j = 1,..., N and j ≠ i) is sent to the superimposing unit 14-i (where i = 1,..., N). Others are the same as the first embodiment.
[第2実施形態]
第2実施形態では、N=2として空間周波数を2つの空間周波数帯域B1,B2に分離し、互いに異なる2つの領域R1,R2で互いに異なる2つの空間周波数帯域B1,B2の成分が運動する映像Mを生成する。以下では既に説明した事項との相違点を中心に説明し、既に説明した事項と共通する部分については同じ参照番号を用いて説明を簡略化する場合がある。
[Second embodiment]
In the second embodiment, N = two spatial frequency bands spatial frequency as 2 B 1, B 2 to separate two different regions R 1, two different spatial frequency bands in R 2 B 1 together, B 2 Generates an image M in which the component moves. In the following, differences from the already described items will be mainly described, and portions common to the already described items may be simplified by using the same reference numerals.
<構成>
図1に例示するように、本形態の映像生成装置2は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、および統合部15を有する。
<Structure>
As illustrated in FIG. 1, the video generation device 2 according to the present embodiment includes a
<前処理>
本形態では、空間領域の互い異なる2個の領域R1,R2を含む映像Mを生成する。その前処理として、各領域Ri(ただし、i=1,2)に対応する重み付け地図MAPiが重み付け地図記憶部13−iに格納される。図3の例では、背景領域である領域R1に対応する重み付け地図MAP1が重み付け地図記憶部13−1に格納され、星形領域である領域R2に対応する重み付け地図MAP2が重み付け地図記憶部13−2に格納される。図3に例示する重み付け地図MAPiは、領域Riに属する画素の画素値を1とし、領域Riに属さない画素の画素値を0とした二値からなる二次元配列であり、MAP1を反転させたもの(つまり、画素値が1であった画素の画素値を0にし、画素値が0であった画素の画素値を1にしたもの)がMAP2である。
<Pre-processing>
In this embodiment, an image M including two different regions R 1 and R 2 in the spatial region is generated. As a pretreatment, each region R i (however, i = 1, 2) weighting map MAP i corresponding to is stored in the weighting map storage unit 13-i. In the example of FIG. 3, the weighting map MAP 1 corresponding to the region R 1 is a background region is stored in the weighting map storage unit 13-1, a weighting map MAP 2 weighting map corresponding to the region R 2 is a star-shaped region It is stored in the storage unit 13-2. Weighting map MAP i illustrated in FIG. 3, the pixel values of the pixels belonging to the region R i is 1, the pixel values of the pixels that do not belong to the region R i is a two-dimensional array of binary which was 0, MAP 1 obtained by inverting the (i.e., those pixel values are the pixel values of the pixels was 1 to 0, and the pixel value of the pixel a pixel value is 0 to 1) it is MAP 2.
<処理>
以下に本形態の処理を説明する。
≪入力画像Pの入力≫
映像生成装置2に入力画像Pが入力される。
<Process>
Hereinafter, the processing of this embodiment will be described.
≫Input of input image P≫
The input image P is input to the video generation device 2.
≪帯域分離部11の処理≫
帯域分離部11は入力画像Pを入力とし、入力画像Pを2個の空間周波数帯域B1,B2に分離し、各空間周波数帯域Bi(ただし、i=1,2)の画像成分Piを得て出力する(図3)。本形態では、空間周波数帯域B1(第1空間周波数帯域)が高空間周波数帯域であり、空間周波数帯域B2(第2空間周波数帯域)が高空間周波数帯域と異なる低空間周波数帯域である。高空間周波数帯域である空間周波数帯域B1は、絶対値が閾値TH(カットオフ周波数)以上または閾値THを超える空間周波数からなる。低空間周波数帯域である空間周波数帯域B2は、絶対値が閾値TH未満もしくは閾値THの近傍未満、または絶対値が閾値TH以下もしくは閾値THの近傍以下の空間周波数からなる。帯域分離部11は、例えば、入力画像Pにハイパスフィルタを適用して空間周波数帯域B1の画像成分P1を得、入力画像Pにローパスフィルタを適用して空間周波数帯域B2の画像成分P2を得て出力する。画像成分Pj(ただし、j=1,2かつj≠i)は、静的な映像成分PSjとして重畳部14−i(ただし、i=1,2)に送られる。画像成分Pi(ただし、i=1,2)は、動的成分生成部12−iに送られる。
<< Process of
The
≪動的成分生成部12−iの処理≫
動的成分生成部12−i(ただし、i=1,2)のそれぞれは、入力された画像成分Piに動きを与え、それによってK個(ただし、Kは2以上の整数)のフレームの画像PDi,k(ただし、k=1,…,K)を含む動的な映像成分PDi={PDi,1,…,PDi,K}を得て出力する(図3)。前述のように動的な映像成分PDiの動きは周期的な振動であることが望ましい。
<< Process of Dynamic Component Generation Unit 12-i >>
Each of the dynamic component generation units 12-i (where i = 1, 2) gives a motion to the input image component P i , whereby the K (where K is an integer of 2 or more) frames is input. A dynamic video component PD i = {PD i, 1 ,..., PD i, K } including an image PD i, k (where k = 1,..., K) is obtained and output (FIG. 3). Dynamic motion video component PD i as described above is preferably a cyclic vibration.
≪重畳部14−iの処理≫
重畳部14−i(ただし、i=1,2)のそれぞれは、動的な映像成分PDi={PDi,1,…,PDi,K}および静的な映像成分PSj(ただし、j=1,2かつj≠i)を入力とし、重み付け地図記憶部13−iから読み出した重み付け地図MAPiをこれらに乗じた後に重畳して映像成分Miを得て出力する。映像成分Mi(第i映像成分)は、領域Ri(第i領域)で動的な映像成分PDi(第iの動的な映像成分)と静的な映像成分PSj(第iの静的な映像成分)とを重畳(加算)した成分に相当する。
<< Processing of Superposition Unit 14-i >>
Each of the superimposing units 14-i (where i = 1, 2) includes a dynamic video component PD i = {PD i, 1 ,..., PD i, K } and a static video component PS j (where, j = 1, 2 and a j ≠ i) input, and outputs obtained video component M i weighted map mAP i read from the weighting map storage unit 13-i is superimposed on after multiplication thereto. The video component M i (the i-th video component) includes a dynamic video component PD i (the i-th dynamic video component) and a static video component PS j (the i-th video component) in the region R i (the i-th region). (A static video component).
≪統合部15の処理≫
統合部15は、映像成分M,M2を入力とし、映像成分M1,M2を重畳(加算)して映像M=M1+M2を得て出力する。図3の映像Mでは、星形領域外の背景領域(領域R1)で空間周波数帯域B1(高空間周波数帯域)の成分のみが動き、星形領域(領域R2)で空間周波数帯域B2(低空間周波数帯域)の成分のみが動く。
<< Processing of
≪映像Mの提示≫
映像Mは映像提示装置100に入力され、映像提示装置100は映像Mを提示する。
図4Aに例示するように、観察者101がこの映像Mを短い距離D1だけ離れたところから観察すると、星形領域(領域R2)の低空間周波数成分(空間周波数帯域B2)の動きと、背景領域(領域R1)の高空間周波数成分(空間周波数帯域B1)の動きがまとまった一つの動きに見える。その結果、動いていない星形領域の高空間周波数成分が浮き上がって見え、星形領域が止まっているように感じられる。一方、図4Bに例示するように、観察者101がこの映像Mを長い距離D2(ただし、D2>D1)だけ離れたところから観察すると、背景領域で動いている高空間周波数成分が見えなくなる。結果的に星形領域の低空間周波数成分のみが移動して見え、星形領域が動いているように見える。
≫Presentation of image M≫
The video M is input to the
As illustrated in FIG. 4A, when the
観察者101が、図5Bに例示するように映像Mを直接観察したときに、動いていない星形領域の高空間周波数成分が浮き上がって見え、星形領域が止まっているように感じられるとする。このような場合でも、図5Bに例示するように、観察者101が映像Mとの間に光の拡散度合の大きなすりガラスなどの媒質である拡散部材102を配置し、観察者101が拡散部材102越しに映像Mを観察すると、背景領域で動いている高空間周波数成分が見えなくなる。結果的に星形領域の低空間周波数成分のみが移動して見え、星形領域が動いているように見える。
When the
視力の悪い観察者101が、視力矯正用の眼鏡をかけて映像Mを観察したときに、動いていない星形領域の高空間周波数成分が浮き上がって見え、星形領域が止まっているように感じられるとする。この場合に観察者101が眼鏡をはずして映像Mを観察すると、星形領域の低空間周波数成分のみが移動して見え、星形領域が動いているように見える。また、視力の良い観察者101が映像Mを観察したときには星形領域が止まっているように感じられるが、視力の悪い観察者101が映像Mを観察したときには星形領域が動いているように見える。
When the
[第2実施形態の変形例1]
第1実施形態の変形例1と同様、静的な映像成分PSjが動きを持ってもよい。この場合、映像生成装置2(図1)は、さらに静的成分生成部17−i(ただし、i=1,2)を有する。静的成分生成部17−iの処理内容は、第1実施形態の変形例1で説明した通りである。
[Modification 1 of Second Embodiment]
Similarly to the first modification of the first embodiment, a static image components PS j may have a motion. In this case, the video generation device 2 (FIG. 1) further includes a static component generation unit 17-i (where i = 1, 2). The processing content of the static component generation unit 17-i is as described in the first modification of the first embodiment.
[第3実施形態]
第2実施形態およびその変形例1において、映像Mから観察者101までの距離(観察距離)δを比較的小さな範囲δ1≦δ≦δ2(ただし、0<δ1<δ2)でしか変化させることができない場合には閾値THを高くし、逆に観察距離δを比較的大きな範囲δ1≦δ≦δ3(ただし、0<δ1<δ2<δ3)で変化させることができる場合には閾値THを低くしてもよい。閾値THを高くするほど、映像Mから観察者までの距離を大きく変化させることなく、領域R2が静止しているような印象を与えたり、動いているような印象を与えたりできる。閾値THを低くするほど、観察距離δを大きく変化させないと領域R2の動きの印象を変化させることができないが、その反面、映像Mが近くで観察されたときに領域R2が静止しているような印象を明確に与えることができる。
[Third embodiment]
In the second embodiment and its first modification, the distance (observation distance) δ from the image M to the
図1に例示するように、本形態の映像生成装置3は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、統合部15、および閾値設定部36を有する。第3実施形態の第2実施形態およびその変形例1からの相違点は、閾値設定部36が映像Mから観察者までの距離の範囲を表す情報を入力とし、距離の範囲に応じた閾値THを設定して出力する点である。ただし、映像Mから観察者までの距離の最大値がδ2(第1値)であるときの閾値THは、映像Mから観察者までの距離の最大値がδ3(第2値)であるときの閾値THよりも大きい(δ2<δ3)。例えば、映像Mから観察者までの距離の最大値が大きいほど閾値THが小さくてもよいし、映像Mから観察者までの距離の最大値に対して閾値THが広義単調減少する関係(増加しない関係)にあってもよい。あるいは、映像Mから観察者までの距離の最大値が特定の範囲にあるときにだけ、映像Mから観察者までの距離の最大値がδ2であるときの閾値THは、映像Mから観察者までの距離の最大値がδ3であるときの閾値THよりも大きくてもよい。
As illustrated in FIG. 1, the
設定された閾値THは帯域分離部11に入力され、帯域分離部11はこの閾値THに基づいて、第2実施形態の≪帯域分離部11の処理≫で説明したように、入力画像Pを2個の空間周波数帯域B1,B2に分離し、各空間周波数帯域Bi(ただし、i=1,2)の画像成分Piを得て出力する。その他は第2実施形態およびその変形例1で説明した通りである。
The set threshold value TH is input to the
[第4実施形態]
観察者の視力が低い場合、観察距離どれだけ小さくしても、高空間周波数帯域の動きが明確に知覚できない可能性がある。そのため、観察者の視力が低い場合に、閾値THを低くし、観察者がすべての領域で与えられた動きを知覚できるようにしてもよい。
[Fourth embodiment]
When the observer has low visual acuity, no matter how small the observation distance is, the movement in the high spatial frequency band may not be clearly perceived. Therefore, when the eyesight of the observer is low, the threshold value TH may be reduced so that the observer can perceive the given motion in all the regions.
図1に例示するように、本形態の映像生成装置4は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、統合部15、および閾値設定部46を有する。第4実施形態の第2実施形態およびその変形例1からの相違点は、閾値設定部46が観察者の視力を表す指標を入力とし、視力に応じた閾値THを設定して出力する点である。ただし、視力を表す指標VAがVA1(第1値)であるときの閾値THは、視力を表す指標VAがVA2(第2値)であるときの閾値THよりも小さく、指標VAがVA1であるときの視力は、指標VAがVA2であるときの視力よりも悪い。例えば、観察者の視力が悪いほど閾値THを小さくしてもよいし、観察者の視力に対して閾値THが広義単調増加する関係(減少しない関係)にあってもよい。あるいは、観察者の視力が特定の範囲にあるときにだけ、視力を表す指標VAがVA1であるときの閾値THが、視力を表す指標VAがVA2であるときの閾値THよりも小さくてもよい。
As illustrated in FIG. 1, the video generation device 4 of the present embodiment includes a
設定された閾値THは帯域分離部11に入力され、帯域分離部11はこの閾値THに基づいて、第2実施形態の≪帯域分離部11の処理≫で説明したように、入力画像Pを2個の空間周波数帯域B1,B2に分離し、各空間周波数帯域Bi(ただし、i=1,2)の画像成分Piを得て出力する。その他は第2実施形態およびその変形例1で説明した通りである。
The set threshold value TH is input to the
[第5実施形態]
観察者がすりガラスなど光を拡散する媒質を通して映像Mを観察する場合(図5Aおよび図5B)、媒質の光の拡散の度合いが大きいほど、カットオフ周波数を低く設定してもよい。
[Fifth Embodiment]
When the observer observes the image M through a medium that diffuses light, such as frosted glass (FIGS. 5A and 5B), the cutoff frequency may be set lower as the degree of light diffusion in the medium increases.
図1に例示するように、本形態の映像生成装置5は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、統合部15、および閾値設定部56を有する。第5実施形態の第2実施形態およびその変形例1からの相違点は、閾値設定部56が映像Mと観察者との間に介在する媒質の光の拡散度合を表す指標を入力とし、その拡散度合に応じた閾値THを設定して出力する点である。ただし、媒質の光の拡散度合を表す指標HがH1(第1値)であるときの閾値は、媒質の光の拡散度合を表す指標がH2(第2値)であるときの閾値よりも小さく、指標HがH1であるときの光の拡散度合は、指標HがH2であるときの光の拡散度合よりも大きい。例えば、媒質の光の拡散度合が大きいほど閾値THを小さくしてもよいし、媒質の光の拡散度合に対して閾値THが広義単調減少する関係にあってもよい。あるいは、媒質の光の拡散度合が特定の範囲にあるときにだけ、媒質の光の拡散度合を表す指標HがH1であるときの閾値が、媒質の光の拡散度合を表す指標がH2であるときの閾値よりも小さくてもよい。なお、媒質の光の拡散度合を表す指標Hの例は曇価(ヘイズ:HAZE)である。
As illustrated in FIG. 1, the video generation device 5 according to the present embodiment includes a
設定された閾値THは帯域分離部11に入力され、帯域分離部11はこの閾値THに基づいて、第2実施形態の≪帯域分離部11の処理≫で説明したように、入力画像Pを2個の空間周波数帯域B1,B2に分離し、各空間周波数帯域Bi(ただし、i=1,2)の画像成分Piを得て出力する。その他は第2実施形態およびその変形例1で説明した通りである。
The set threshold value TH is input to the
[第6実施形態]
図6に例示するように、第1〜5実施形態またはその変形例で得られた映像Mを入力とし、映像Mを提示する映像提示装置100、および、映像Mと観察者101との間に配置される拡散部材102とを有する映像提示システムが構成されてもよい。ただし、拡散部材102は映像Mと観察者101との間に介在させることが可能な媒質であり、光を拡散する性質を持つ。拡散部材102の例は、すりガラスである。前述したように、観察者101が拡散部材102を通して映像Mを見たときに観察者101が知覚する見え方は、観察者101が直接映像Mを見たときに観察者101が知覚する見え方と異なる。
[Sixth embodiment]
As illustrated in FIG. 6, a
なお、第1〜5実施形態またはその変形例で得られた映像Mは動画であり、映像Mの領域Ri(第i領域)では、空間周波数帯域Bi(第i空間周波数帯域)に属する動的な映像成分PDi(第iの動的な映像成分)と、空間周波数帯域Bj(第i空間周波数帯域と異なる空間周波数帯域)に属する静的な映像成分PSj(第iの静的な映像成分)とが重畳されていた(ただし、i,j∈{1,…,N}かつj≠i)。しかし、第6実施形態の映像提示システムの映像提示装置100から提示される映像Mは、空間周波数帯域Bi(第1空間周波数帯域)に属する第1映像成分と、空間周波数帯域Bj(第i空間周波数帯域と異なる第2空間周波数帯域)に属する第2映像成分と、が重畳された領域を含む映像であれば、どのようなものであってもよい。例えば、映像Mが動画ではなく、静止画であってもよい。映像Mが静止画であったとしても、観察者101が拡散部材102を通して映像Mを見たときに観察者101が知覚する見え方は、観察者101が直接映像Mを見たときに観察者101が知覚する見え方と異なる。このように観察者101が拡散部材102を通して映像Mを見るか否かによって、異なる印象を与える技術はこれまで知られていない。さらに、映像Mから拡散部材102までの距離を離すと、より低い空間周波数成分のみが観察者101に提供される。また、より高い拡散度を持つ拡散部材102を設置することで、より低い空間周波数成分のみが観察者101に提供される。これらによって異なる印象を与える技術も知られていない。
The image M obtained in the first to fifth embodiments or its modifications is a moving image, and belongs to the spatial frequency band B i (i-th spatial frequency band) in the region R i (i-th region) of the image M. A dynamic video component PD i (i-th dynamic video component) and a static video component PS j (i-th static video band) belonging to a spatial frequency band B j (a spatial frequency band different from the i-th spatial frequency band) (I, j} 1,..., N} and j ≠ i). However, the video M presented from the
[その他の変形例等]
本発明は上述の実施の形態に限定されるものではない。例えば、重畳部14−i(ただし、i=1,…,N)の少なくとも何れかが、さらに付加映像を重畳して映像成分Miを得てもよい。また統合部15がさらに付加映像を重畳して映像Mを得てもよい。
[Other modified examples]
The present invention is not limited to the above embodiment. For example, superimposing unit 14-i (however, i = 1, ..., N ) of at least one of, may be obtained video component M i by superimposing further additional image. Further, the integrating
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 The various processes described above may be executed not only in chronological order as described, but also in parallel or individually according to the processing capability of the device that executes the process or as necessary. In addition, it goes without saying that changes can be made as appropriate without departing from the spirit of the present invention.
上記の各装置は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。 Each of the above devices is, for example, a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory). Is executed by executing a predetermined program. This computer may include one processor or memory, or may include a plurality of processors or memories. This program may be installed in a computer, or may be recorded in a ROM or the like in advance. Some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. You may. An electronic circuit constituting one device may include a plurality of CPUs.
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 When the above configuration is implemented by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the processing functions described above are realized on the computer. A program describing this processing content can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The distribution of this program is carried out, for example, by selling, transferring, lending, or the like a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own storage device and executes a process according to the read program. As another execution form of this program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and further, each time the program is transferred from the server computer to this computer. The processing may be sequentially performed according to the received program. A configuration in which the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by executing instructions and obtaining results without transferring the program from the server computer to this computer is performed. Good.
コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。 Instead of executing a predetermined program on a computer to realize the processing functions of the present apparatus, at least a part of these processing functions may be realized by hardware.
1〜6 映像生成装置
100 映像提示装置
1-6
Claims (14)
互いに異なる第1領域と第2領域とを含む映像を生成する映像生成部を有し、
前記第1領域では、第1空間周波数帯域に属する第1の動的な映像成分と、前記第1空間周波数帯域と異なる空間周波数帯域に属する第1の静的な映像成分とが重畳されており、
前記第2領域では、前記第1空間周波数帯域と異なる第2空間周波数帯域に属する第2の動的な映像成分と、前記第2空間周波数帯域と異なる空間周波数帯域に属する第2の静的な映像成分とが重畳されており、
前記第1空間周波数帯域は、高空間周波数帯域を含み、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域を含み、
前記第2空間周波数帯域は、前記低空間周波数帯域を含み、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域を含む、映像生成装置。 Depending on at least one of the distance between the observer and the image, the observer's visual acuity, and the degree of diffusion of light in the medium interposed between the image and the observer, the difference in the spatial frequency perceived by the observer from the image An image generation device that generates an image having a different impression of a motion received by the observer from the image,
An image generation unit that generates an image including a first region and a second region that are different from each other;
In the first region, a first dynamic video component belonging to a first spatial frequency band and a first static video component belonging to a spatial frequency band different from the first spatial frequency band are superimposed. ,
In the second region, a second dynamic video component belonging to a second spatial frequency band different from the first spatial frequency band, and a second static video component belonging to a spatial frequency band different from the second spatial frequency band. Video components are superimposed,
The first spatial frequency band includes a high spatial frequency band,
The spatial frequency band different from the first spatial frequency band includes a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band includes the low spatial frequency band,
The video generation device, wherein a spatial frequency band different from the second spatial frequency band includes the high spatial frequency band.
前記第1空間周波数帯域は、前記高空間周波数帯域であり、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域であり、
前記第2空間周波数帯域は、前記低空間周波数帯域であり、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域である、映像生成装置。 The video generation device according to claim 1,
The first spatial frequency band is the high spatial frequency band,
The spatial frequency band different from the first spatial frequency band is a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band is the low spatial frequency band,
The video generation device, wherein a spatial frequency band different from the second spatial frequency band is the high spatial frequency band.
前記映像から観察者までの距離の範囲を表す情報を入力とし、前記距離の範囲に応じた閾値を設定する閾値設定部を有し、
前記高空間周波数帯域は、絶対値が前記閾値以上または前記閾値を超える空間周波数からなり、
前記低空間周波数帯域は、絶対値が前記閾値未満もしくは前記閾値の近傍未満、または絶対値が前記閾値以下もしくは前記閾値の近傍以下の空間周波数からなる、映像生成装置。 The video generation device according to claim 2,
The information representing the range of the distance from the video to the observer is input, and has a threshold setting unit that sets a threshold according to the range of the distance,
The high spatial frequency band comprises a spatial frequency whose absolute value is equal to or greater than the threshold or greater than the threshold,
The video generation device, wherein the low spatial frequency band includes a spatial frequency whose absolute value is less than the threshold or less than the vicinity of the threshold or whose absolute value is equal to or less than the threshold or equal to or less than the vicinity of the threshold.
前記映像から前記観察者までの距離の最大値が第1値であるときの前記閾値は、前記映像から前記観察者までの距離の最大値が第2値であるときの前記閾値よりも大きく、
前記第1値が前記第2値よりも小さい、映像生成装置。 The video generation device according to claim 3,
The threshold value when the maximum value of the distance from the image to the observer is the first value is larger than the threshold value when the maximum value of the distance from the image to the observer is the second value,
The image generation device, wherein the first value is smaller than the second value.
観察者の視力を表す指標を入力とし、前記視力に応じた閾値を設定する閾値設定部を有し、
前記高空間周波数帯域は、絶対値が前記閾値以上または前記閾値を超える空間周波数からなり、
前記低空間周波数帯域は、絶対値が前記閾値未満もしくは前記閾値の近傍未満、または絶対値が前記閾値以下もしくは前記閾値の近傍以下の空間周波数からなる、映像生成装置。 The video generation device according to claim 2,
An index representing the visual acuity of the observer is input, and has a threshold setting unit that sets a threshold according to the visual acuity,
The high spatial frequency band comprises a spatial frequency whose absolute value is equal to or greater than the threshold or greater than the threshold,
The video generation device, wherein the low spatial frequency band includes a spatial frequency whose absolute value is less than the threshold or less than the vicinity of the threshold or whose absolute value is equal to or less than the threshold or equal to or less than the vicinity of the threshold.
前記視力を表す指標が第1値であるときの前記閾値は、前記視力を表す指標が第2値であるときの前記閾値よりも小さく、
前記指標が前記第1値であるときの前記視力は、前記指標が前記第2値であるときの前記視力よりも悪い、映像生成装置。 The video generation device according to claim 5,
The threshold value when the index representing the visual acuity is a first value is smaller than the threshold value when the index representing the visual acuity is a second value,
The image generation device, wherein the visual acuity when the index is the first value is worse than the visual acuity when the index is the second value.
前記映像と観察者との間に介在する媒質の光の拡散度合を表す指標を入力とし、前記拡散度合に応じた閾値を設定する閾値設定部を有し、
前記高空間周波数帯域は、絶対値が前記閾値以上または前記閾値を超える空間周波数からなり、
前記低空間周波数帯域は、絶対値が前記閾値未満もしくは前記閾値の近傍未満、または絶対値が前記閾値以下もしくは前記閾値の近傍以下の空間周波数からなる、映像生成装置。 The video generation device according to claim 2,
An index indicating the degree of diffusion of the light of the medium interposed between the image and the observer is input, and has a threshold setting unit that sets a threshold according to the degree of diffusion.
The high spatial frequency band comprises a spatial frequency whose absolute value is equal to or greater than the threshold or greater than the threshold,
The video generation device, wherein the low spatial frequency band includes a spatial frequency whose absolute value is less than the threshold or less than the vicinity of the threshold or whose absolute value is equal to or less than the threshold or equal to or less than the vicinity of the threshold.
前記光の拡散度合を表す指標が第1値であるときの前記閾値は、前記光の拡散度合を表す指標が第2値であるときの前記閾値よりも小さく、
前記指標が第1値であるときの前記光の拡散度合は、前記指標が第2値であるときの前記光の拡散度合よりも大きい、映像生成装置。 The video generation device according to claim 7,
The threshold when the index indicating the degree of light diffusion is a first value is smaller than the threshold when the index indicating the degree of light diffusion is a second value,
The image generation device, wherein the degree of diffusion of the light when the index is the first value is larger than the degree of diffusion of the light when the index is the second value.
(1)前記第1の動的な映像成分の動き方と前記第2の動的な映像成分の動き方とが同一であるか近似し、かつ、
(2−1)前記第1の静的な映像成分と前記第2の静的な映像成分とが静止成分であるか、または、(2−2)前記第1の静的な映像成分は前記第1の動的な映像成分よりも動きの小さな成分であり、前記第2の静的な映像成分は前記第2の動的な映像成分よりも動きの小さな成分であり、前記第1の静的な映像成分の動き方と前記第2の静的な映像成分の動き方とが同一であるか近似する、映像生成装置。 The video generation device according to claim 1, wherein:
(1) the way of movement of the first dynamic image component and the way of movement of the second dynamic image component are the same or approximate, and
(2-1) the first static video component and the second static video component are still components, or (2-2) the first static video component is The second static video component is a component having a smaller motion than the first dynamic video component, and the second static video component is a component having a smaller motion than the second dynamic video component. A video image generating apparatus, wherein a typical video component moves in the same way as or similar to the second static video component.
前記第1の動的な映像成分および前記第2の動的な映像成分の動きは周期的な振動である、映像生成装置。 The video generation device according to any one of claims 1 to 9,
The image generation device, wherein the movement of the first dynamic image component and the second dynamic image component is a periodic vibration.
前記映像生成部は、
前記第1領域で前記第1の動的な映像成分と前記第1の静的な映像成分とを重畳した第1映像成分を得る第1重畳部と、
前記第2領域で前記第2の動的な映像成分と前記第2の静的な映像成分とを重畳した第2映像成分を得る第2重畳部と、
少なくとも前記第1映像成分と前記第2映像成分とを重畳して前記映像を得る統合部とを含む、映像生成装置。 The video generation device according to any one of claims 1 to 10,
The image generation unit,
A first superimposing unit that obtains a first video component in which the first dynamic video component and the first static video component are superimposed in the first region;
A second superimposing unit that obtains a second video component in which the second dynamic video component and the second static video component are superimposed in the second region;
An image generation device, comprising: an integration unit that obtains the image by at least superimposing the first image component and the second image component.
第1空間周波数帯域に属する第1映像成分と、前記第1空間周波数帯域と異なる第2空間周波数帯域に属する第2映像成分と、が重畳された領域を含む映像を提示する映像提示装置と、
前記映像と観察者との間に介在させることが可能な媒質であり、光を拡散する性質を持つ拡散部材と、を有し、
前記観察者が前記拡散部材を通して前記映像を見たときに前記観察者が知覚する見え方は、前記観察者が直接前記映像を見たときに前記観察者が知覚する見え方と異なり、
前記第1空間周波数帯域は、高空間周波数帯域を含み、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域を含み、
前記第2空間周波数帯域は、前記低空間周波数帯域を含み、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域を含む、映像提示システム。 Depending on at least one of the distance between the observer and the image, the observer's visual acuity, and the degree of diffusion of light in the medium interposed between the image and the observer, the difference in the spatial frequency perceived by the observer from the image An image presentation system that presents images having different impressions of movements received by the observer from the images,
A video presentation device that presents a video including a region where a first video component belonging to a first spatial frequency band and a second video component belonging to a second spatial frequency band different from the first spatial frequency band are superimposed;
A diffusion member having a property of diffusing light, which is a medium that can be interposed between the image and the observer,
The appearance perceived by the observer when the observer views the image through the diffusion member is different from the appearance perceived by the observer when the observer directly views the image,
The first spatial frequency band includes a high spatial frequency band,
The spatial frequency band different from the first spatial frequency band includes a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band includes the low spatial frequency band,
The video presentation system, wherein a spatial frequency band different from the second spatial frequency band includes the high spatial frequency band.
互いに異なる第1領域と第2領域とを含む映像を生成する映像生成ステップを有し、
前記第1領域では、第1空間周波数帯域に属する第1の動的な映像成分と、前記第1空間周波数帯域と異なる空間周波数帯域に属する第1の静的な映像成分とが重畳されており、
前記第2領域では、前記第1空間周波数帯域と異なる第2空間周波数帯域に属する第2の動的な映像成分と、前記第2空間周波数帯域と異なる空間周波数帯域に属する第2の静的な映像成分とが重畳されており、
前記第1空間周波数帯域は、高空間周波数帯域を含み、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域を含み、
前記第2空間周波数帯域は、前記低空間周波数帯域を含み、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域を含む、映像生成方法。 Depending on at least one of the distance between the observer and the image, the observer's visual acuity, and the degree of diffusion of light in the medium interposed between the image and the observer, the difference in the spatial frequency perceived by the observer from the image A video generation method for generating a video having a different impression of a motion received by the observer from the video,
An image generation step of generating an image including a first region and a second region different from each other,
In the first region, a first dynamic video component belonging to a first spatial frequency band and a first static video component belonging to a spatial frequency band different from the first spatial frequency band are superimposed. ,
In the second region, a second dynamic video component belonging to a second spatial frequency band different from the first spatial frequency band, and a second static video component belonging to a spatial frequency band different from the second spatial frequency band. Video components are superimposed,
The first spatial frequency band includes a high spatial frequency band,
The spatial frequency band different from the first spatial frequency band includes a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band includes the low spatial frequency band,
The image generation method, wherein a spatial frequency band different from the second spatial frequency band includes the high spatial frequency band.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093135A JP6666298B2 (en) | 2017-05-09 | 2017-05-09 | Video generation apparatus, video presentation system, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093135A JP6666298B2 (en) | 2017-05-09 | 2017-05-09 | Video generation apparatus, video presentation system, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018190233A JP2018190233A (en) | 2018-11-29 |
JP6666298B2 true JP6666298B2 (en) | 2020-03-13 |
Family
ID=64479653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017093135A Active JP6666298B2 (en) | 2017-05-09 | 2017-05-09 | Video generation apparatus, video presentation system, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6666298B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7084436B2 (en) * | 2020-02-19 | 2022-06-14 | 株式会社平和 | Pachinko machine |
-
2017
- 2017-05-09 JP JP2017093135A patent/JP6666298B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018190233A (en) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017246716B2 (en) | Efficient determination of optical flow between images | |
US10275855B2 (en) | Image demosaicing for hybrid optical sensor arrays | |
KR101775253B1 (en) | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video | |
US9286658B2 (en) | Image enhancement | |
KR101690297B1 (en) | Image converting device and three dimensional image display device including the same | |
US20180197274A1 (en) | Image demosaicing for hybrid optical sensor arrays | |
US20110229024A1 (en) | Devices and Methods for Processing Images Using Scale Space | |
KR101377733B1 (en) | -up-scaling | |
US20210004969A1 (en) | Multi-level optical flow estimation framework for stereo pairs of images based on spatial partitioning | |
JP2018537748A (en) | Light field rendering of images with variable computational complexity | |
KR20130132922A (en) | Multi-sample resolving of re-projection of two-dimensional image | |
US20120176367A1 (en) | Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image | |
US10298914B2 (en) | Light field perception enhancement for integral display applications | |
CN110290285A (en) | Image processing method, image processing apparatus, image processing system and medium | |
JP6666298B2 (en) | Video generation apparatus, video presentation system, method, and program | |
US11062424B2 (en) | Systems and methods for motion adaptive filtering as pre-process to video encoding | |
KR20170038526A (en) | Method and apparatus for processing holographic image | |
US20130120461A1 (en) | Image processor and image processing method | |
US20220108420A1 (en) | Method and system of efficient image rendering for near-eye light field displays | |
WO2011121563A1 (en) | Detecting saliency in an image | |
JP5545059B2 (en) | Moving image processing method, moving image processing apparatus, and moving image processing program | |
JP5515864B2 (en) | Image processing method, image processing apparatus, and image processing program | |
US11350065B2 (en) | Video generation device, video generation method, and program | |
JP6305942B2 (en) | Image texture operation method, image texture operation device, and program | |
JP2018182353A (en) | Video generation apparatus, video generation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6666298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |