JP6666298B2 - Video generation apparatus, video presentation system, method, and program - Google Patents

Video generation apparatus, video presentation system, method, and program Download PDF

Info

Publication number
JP6666298B2
JP6666298B2 JP2017093135A JP2017093135A JP6666298B2 JP 6666298 B2 JP6666298 B2 JP 6666298B2 JP 2017093135 A JP2017093135 A JP 2017093135A JP 2017093135 A JP2017093135 A JP 2017093135A JP 6666298 B2 JP6666298 B2 JP 6666298B2
Authority
JP
Japan
Prior art keywords
spatial frequency
frequency band
image
video
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017093135A
Other languages
Japanese (ja)
Other versions
JP2018190233A (en
Inventor
隆寛 河邉
隆寛 河邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017093135A priority Critical patent/JP6666298B2/en
Publication of JP2018190233A publication Critical patent/JP2018190233A/en
Application granted granted Critical
Publication of JP6666298B2 publication Critical patent/JP6666298B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、観察の仕方によって見え方が異なる動的な映像に関する。   The present invention relates to a dynamic image whose appearance differs depending on the manner of observation.

明確な運動方向を持つ低空間周波数画像情報に、あいまいな運動方向をもつ高空間周波数画像情報を重畳すると、高空間周波数の動きの見え方が、低空間周波数の動きの見え方に引きずられることが知られている(例えば、非特許文献1等参照)。一方で、止まった画像において高空間周波数の位相成分と低空間周波数の位相成分にずれがある場合、低空間周波数成分の位相の見え方が、高空間周波数成分の位相の見え方に引きずられて知覚されることが知られている(例えば、非特許文献2等参照)。また、異なる画像から得られた高空間周波数成分と低空間周波数成分が重畳された場合、観察距離が短い場合は高空間周波数成分の見え方が強く、観察距離が長い場合には低空間周波数成分の見え方が強いことが知られている(例えば、非特許文献3等参照)。   When high spatial frequency image information with an ambiguous motion direction is superimposed on low spatial frequency image information with a clear motion direction, the appearance of high spatial frequency motion is dragged by the appearance of low spatial frequency motion. Is known (for example, see Non-Patent Document 1 and the like). On the other hand, if there is a shift between the high spatial frequency phase component and the low spatial frequency phase component in the stopped image, the appearance of the low spatial frequency component is shifted to the appearance of the high spatial frequency component. It is known to be perceived (for example, see Non-Patent Document 2). Also, when the high spatial frequency component and the low spatial frequency component obtained from different images are superimposed, the high spatial frequency component looks strong when the observation distance is short, and the low spatial frequency component when the observation distance is long. Is known to be strong (for example, see Non-Patent Document 3).

Ramachandran, V. S. & Cavanagh, P., “Motion capture anisotropy,” Vision Research 27, 97-106 (1987).Ramachandran, V.S. & Cavanagh, P., “Motion capture anisotropy,” Vision Research 27, 97-106 (1987). Morrone, M. C. & Burr, D. C., “Feature Detection in Human Vision: A Phase-Dependent Energy Model,” Proceedings of the Royal Society of London. Series B. Biological Sciences 235, 221-245 (1988).Morrone, M.C. & Burr, D.C., “Feature Detection in Human Vision: A Phase-Dependent Energy Model,” Proceedings of the Royal Society of London.Series B. Biological Sciences 235, 221-245 (1988). Oliva, A., Torralba, A. & Schyns, P. G., “Hybrid Images,” in ACM SIGGRAPH 2006 Papers 527-532 (ACM, 2006). doi:10.1145/1179352.1141919Oliva, A., Torralba, A. & Schyns, P.G., “Hybrid Images,” in ACM SIGGRAPH 2006 Papers 527-532 (ACM, 2006) .doi: 10.1145 / 1179352.1141919

しかし、観察者が知覚する空間周波数によって見え方が異なる動的な映像は知られていない。このような映像を得るためには、画像運動の空間周波数情報をうまく操作する必要があるが、その操作の方法についても知られていない。   However, there is no known dynamic image whose appearance differs depending on the spatial frequency perceived by the observer. In order to obtain such an image, it is necessary to properly manipulate the spatial frequency information of the image motion, but no method of such manipulation is known.

本発明はこのような点に鑑みてなされたものであり、観察者が知覚する空間周波数によって見え方が異なる動的な映像を提供することを目的とする。   The present invention has been made in view of such a point, and an object of the present invention is to provide a dynamic image whose appearance differs depending on a spatial frequency perceived by an observer.

互いに異なる第1領域と第2領域とを含む映像を生成する。第1領域では、第1空間周波数帯域に属する第1の動的な映像成分と、第1空間周波数帯域と異なる空間周波数帯域に属する第1の静的な映像成分とが重畳されている。第2領域では、第1空間周波数帯域と異なる第2空間周波数帯域に属する第2の動的な映像成分と、第2空間周波数帯域と異なる空間周波数帯域に属する第2の静的な映像成分とが重畳されている。   An image including a first region and a second region that are different from each other is generated. In the first region, a first dynamic video component belonging to the first spatial frequency band and a first static video component belonging to a spatial frequency band different from the first spatial frequency band are superimposed. In the second region, a second dynamic video component belonging to a second spatial frequency band different from the first spatial frequency band and a second static video component belonging to a spatial frequency band different from the second spatial frequency band Are superimposed.

これにより、観察者が知覚する空間周波数によって見え方が異なる動的な映像が得られる。   As a result, a dynamic image whose appearance differs depending on the spatial frequency perceived by the observer is obtained.

図1は実施形態の映像生成装置の機能構成を例示したブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the video generation device according to the embodiment. 図2は実施形態の映像生成方法を説明するための概念図である。FIG. 2 is a conceptual diagram for explaining the video generation method of the embodiment. 図3は実施形態の映像生成方法を説明するための概念図である。FIG. 3 is a conceptual diagram for explaining the video generation method of the embodiment. 図4Aおよび図4Bは観察者による映像の観察の仕方を例示するための概念図である。FIG. 4A and FIG. 4B are conceptual diagrams for illustrating how a viewer observes an image. 図5Aおよび図5Bは観察者による映像の観察の仕方を例示するための概念図である。FIG. 5A and FIG. 5B are conceptual diagrams for illustrating a method of observing an image by an observer. 図6は実施形態の映像提示システムの構成を例示したブロック図である。FIG. 6 is a block diagram illustrating the configuration of the video presentation system according to the embodiment.

以下、本発明の実施形態を説明する。
[概要]
まず概要を説明する。第1から6実施形態およびそれらの変形例では、互いに異なる「第1領域」と「第2領域」とを含む「映像」を生成する。「第1領域」および「第2領域」は空間領域の領域である。第1から5実施形態およびそれらの変形例の「映像」は動的な情報を含む動画である。「映像」は「第1領域」および「第2領域」以外の領域を含んでいてもよいし、含んでいなくてもよい。「第1領域」では、「第1空間周波数帯域」に属する「第1の動的な映像成分」と、「第1空間周波数帯域」と異なる空間周波数帯域に属する「第1の静的な映像成分」とが重畳されている。「第2領域」では、「第1空間周波数帯域」と異なる「第2空間周波数帯域」に属する「第2の動的な映像成分」と、「第2空間周波数帯域」と異なる空間周波数帯域に属する「第2の静的な映像成分」とが重畳されている。この動的な「映像」を見た観察者は、知覚する空間周波数によって異なる動きの印象を受ける。一般、観察者と「映像」との距離が近いほど、観察者が知覚する空間周波数の幅は広い。すなわち、観察者が近くの「映像」を観察する場合に知覚する空間周波数の絶対値の最大値は、遠くの「映像」を観察する場合に知覚する空間周波数の絶対値の最大値よりも高い。そのため、「映像」の観察者は「映像」からの距離に応じて異なる動きの印象を受ける。また観察者の視力がよいほど、観察者が知覚する空間周波数の幅は広い。すなわち、観察者の視力がよいほど、観察者が「映像」を観察する場合に知覚する空間周波数の絶対値の最大値が大きい。そのため「映像」の観察者の視力によって、観察者が「映像」から受ける動きの印象が異なる。なお、観察距離が大きくなっても、細かい画像情報を解像できる(識別できる)能力を「視力」と呼び、この「視力」がよい(高い)ほど、観察距離が大きいときにより幅広い範囲の空間周波数帯域を知覚できる。さらに「映像」と観察者との間に介在する媒質の光の拡散度合が大きいほど、観察者が知覚する空間周波数の幅は狭い。すなわち、この媒質の光の拡散度合が大きいほど、観察者が知覚する空間周波数の絶対値の最大値が小さくなる。そのため、「映像」と観察者との間に介在する媒質の光の拡散度合に応じ、観察者が「映像」から受ける動きの印象が異なる。なお「媒質」はすりガラスなどの固体であってもよいし、液体であってもよいし、気体であってもよい。
Hereinafter, embodiments of the present invention will be described.
[Overview]
First, an outline will be described. In the first to sixth embodiments and their modifications, a “video” including a “first region” and a “second region” different from each other is generated. The “first region” and the “second region” are spatial regions. "Video" in the first to fifth embodiments and their modifications is a moving image including dynamic information. The “image” may or may not include an area other than the “first area” and the “second area”. In the “first region”, the “first dynamic video component” belonging to the “first spatial frequency band” and the “first static video component” belonging to a spatial frequency band different from the “first spatial frequency band” Component "is superimposed. In the “second region”, a “second dynamic video component” belonging to a “second spatial frequency band” different from the “first spatial frequency band” and a spatial frequency band different from the “second spatial frequency band” are used. The “second static video component” to which it belongs is superimposed. An observer who sees this dynamic “image” receives different impressions of movement depending on the perceived spatial frequency. Generally, the closer the distance between the observer and the “image” is, the wider the range of the spatial frequency perceived by the observer is. That is, the maximum value of the absolute value of the spatial frequency perceived when the observer observes a nearby "video" is higher than the maximum value of the absolute value of the spatial frequency perceived when observing a distant "video". . Therefore, the observer of the “image” receives a different impression of the motion depending on the distance from the “image”. Also, the better the eyesight of the observer, the wider the range of spatial frequencies perceived by the observer. That is, the better the eyesight of the observer, the larger the maximum value of the absolute value of the spatial frequency perceived when the observer observes the “video”. Therefore, the impression of the movement that the observer receives from the “image” differs depending on the eyesight of the observer of the “image”. The ability to resolve (discriminate) fine image information even when the observation distance increases is referred to as “sight”, and the better (higher) the “sight”, the wider the space in the wider range when the observation distance is longer. You can perceive the frequency band. Furthermore, the greater the degree of diffusion of the light of the medium interposed between the “image” and the observer, the narrower the spatial frequency width perceived by the observer. That is, the greater the degree of diffusion of light in this medium, the smaller the maximum absolute value of the spatial frequency perceived by the observer. Therefore, the impression of the movement that the observer receives from the “image” differs according to the degree of diffusion of the light of the medium interposed between the “image” and the observer. The “medium” may be a solid such as frosted glass, a liquid, or a gas.

「第1の動的な映像成分」および「第2の動的な映像成分」は動きを持つ映像成分である。すなわち、「第1の動的な映像成分」は複数フレームの画像成分を含み、これらの画像成分は互いに異なる。同様に、「第2の動的な映像成分」は複数フレームの画像成分を含み、これらの画像成分は互いに異なる。「第1の静的な映像成分」および「第2の静的な映像成分」の例は動きを持たない静止成分である。例えば、「第1の静的な映像成分」は1フレームの画像成分からなり「第2の静的な映像成分」は1フレームの画像成分からなる。あるいは、「第1の静的な映像成分」および「第2の静的な映像成分」が完全に静止していなくてもよい。すなわち、「第1の静的な映像成分」が「第1の動的な映像成分」よりも動きの小さな成分であり、「第2の静的な映像成分」が「第2の動的な映像成分」よりも動きの小さな成分であってもよい。例えば、「第1の静的な映像成分」の画素の移動量の平均値が「第1の動的な映像成分」の画素の移動量の平均値よりも小さくてもよい。同様に、「第2の静的な映像成分」の画素の移動量の平均値が「第2の動的な映像成分」の画素の移動量の平均値よりも小さくてもよい。「第1の静的な映像成分」の画素の移動速度の平均値が「第1の動的な映像成分」の画素の移動速度の平均値よりも小さくてもよい。同様に、「第2の静的な映像成分」の画素の移動速度の平均値が「第2の動的な映像成分」の画素の移動速度の平均値よりも小さくてもよい。   The “first dynamic video component” and the “second dynamic video component” are video components having motion. That is, the “first dynamic video component” includes image components of a plurality of frames, and these image components are different from each other. Similarly, the “second dynamic video component” includes image components of a plurality of frames, and these image components are different from each other. Examples of the “first static video component” and the “second static video component” are stationary components having no motion. For example, the “first static video component” is composed of one frame image component, and the “second static video component” is composed of one frame image component. Alternatively, the “first static video component” and the “second static video component” may not be completely still. That is, the “first static video component” is a component having a smaller motion than the “first dynamic video component”, and the “second static video component” is the “second dynamic video component”. A component having a smaller motion than the “video component” may be used. For example, the average value of the movement amounts of the pixels of the “first static video component” may be smaller than the average value of the movement amounts of the pixels of the “first dynamic video component”. Similarly, the average value of the movement amounts of the pixels of the “second static video component” may be smaller than the average value of the movement amounts of the pixels of the “second dynamic video component”. The average value of the moving speeds of the pixels of the “first static video component” may be smaller than the average value of the moving speeds of the pixels of the “first dynamic video component”. Similarly, the average value of the moving speed of the pixel of the “second static video component” may be smaller than the average value of the moving speed of the pixel of the “second dynamic video component”.

「第1の動的な映像成分」および「第2の動的な映像成分」の動きは周期的な振動(往復運動)であることが望ましい。周期的な振動である場合、静的な映像成分と動的な映像成分とのずれが一定量以上大きくならない。また、観察者が「映像」から知覚する空間周波数の違い(観察者と「映像」との距離、観察者の視力、「映像」と観察者との間に介在する媒質の光の拡散度合などに基づく違い)に応じた、観察者が「映像」から受ける動きの印象の違いが顕著になる。   It is desirable that the movements of the “first dynamic video component” and the “second dynamic video component” are periodic vibrations (reciprocating motion). In the case of periodic vibration, the deviation between the static video component and the dynamic video component does not increase by a certain amount or more. In addition, differences in the spatial frequency perceived by the observer from the "image" (distance between the observer and the "image", visual acuity of the observer, degree of diffusion of light in the medium interposed between the "image" and the observer, etc. ), The difference in the impression of the movement that the observer receives from the “video” becomes remarkable.

「第1の動的な映像成分」の動き方と「第2の動的な映像成分」の動き方とが同一であるか近似することが望ましい。例えば、各フレームにおいて「第1の動的な映像成分」と「第2の動的な映像成分」との間で各画素の移動速度が同一であるか近似し、かつ、移動方向が同一であるか近似することが望ましい。言い換えると、各フレームにおいて「第1の動的な映像成分」と「第2の動的な映像成分」との間で各画素の移動ベクトルが同一であるか近似することが望ましい。例えば、「第1の動的な映像成分」が表す模様に対する「第2の動的な映像成分」が表す模様の相対位置が変化しないか、相対位置の変化量が所定値以下であることが望ましい。なお、「αとβとの間で各画素の移動速度が近似する」とは、αでの各画素の移動速度とβでの各画素の移動速度との違いがγ以下であることを意味する。γは正値であり、γの例はγ=0.5α、γ=0.3α、γ=0.1α、γ=0.05αなどである。「αとβとの間で各画素の移動方向が近似する」とは、αでの各画素の移動方向とβでの各画素の移動方向とでなす内角の大きさがγ以下であることを意味する。γは正の角度であり、γの例はγ=10°、γ=3°、γ=1°、γ=0.5°などである。「αとβとの間で各画素の移動ベクトルが近似する」とは、αでの各画素の移動ベクトルとβでの各画素の移動ベクトルとの距離がγ以下であることを意味する。γは正値であり、γの例はαの大きさの50%、30%、10%、5%などである。 It is desirable that the motion of the “first dynamic video component” and the motion of the “second dynamic video component” be the same or approximate. For example, in each frame, the moving speed of each pixel is the same or similar between the “first dynamic video component” and the “second dynamic video component”, and the moving directions are the same. It is desirable to have or approximate. In other words, in each frame, it is desirable that the movement vector of each pixel is the same or approximate between the “first dynamic video component” and the “second dynamic video component”. For example, the relative position of the pattern represented by the “second dynamic video component” with respect to the pattern represented by the “first dynamic video component” does not change, or the change amount of the relative position is equal to or less than a predetermined value. desirable. Note that the "moving speed of each pixel is approximated between alpha 1 and beta 1 ', the following 1 difference γ between the moving speed of each pixel in the moving speed and the beta 1 of each pixel in the alpha 1 Means that The gamma 1 is a positive value, examples of gamma 1 are γ 1 = 0.5α 1, γ 1 = 0.3α 1, γ 1 = 0.1α 1, and the like γ 1 = 0.05α 1. The "direction of movement of each pixel is approximated between alpha 2 and beta 2", the size of the internal angle formed by the direction of movement of each pixel in the moving direction and beta 2 of each pixel in the alpha 2 is γ 2 or less. The gamma 2 is a positive angle, examples of gamma 2 is γ 2 = 10 °, γ 2 = 3 °, γ 2 = 1 °, and the like γ 2 = 0.5 °. The "movement vector of each pixel is approximated between alpha 3 and beta 3", it is a gamma 3 or less the distance between the motion vector of each pixel in the motion vector and beta 3 of each pixel in the alpha 3 Means that. γ 3 is a positive value, and examples of γ 3 are 50%, 30%, 10%, 5%, etc. of the size of α 3 .

同様に「第1の静的な映像成分」および「第2の静的な映像成分」が完全に静止していない場合、それらの動き方が互いに同一であるか近似することが望ましい。すなわち、(1)「第1の動的な映像成分」の動き方と「第2の動的な映像成分」の動き方とが同一であるか近似し、かつ、(2−1)「第1の静的な映像成分」と「第2の静的な映像成分」とが静止成分であるか、または、(2−2)「第1の静的な映像成分」は「第1の動的な映像成分」よりも動きの小さな成分であり、「第2の静的な映像成分」は「第2の動的な映像成分」よりも動きの小さな成分であり、「第1の静的な映像成分」の動き方と「第2の静的な映像成分」の動き方とが同一であるか近似することが望ましい。これにより、観察者が「映像」から知覚する空間周波数の違いに応じた、観察者が「映像」から受ける動きの印象の違いが顕著になる。   Similarly, when the “first static video component” and the “second static video component” are not completely still, it is desirable that their movements be the same or approximate to each other. That is, (1) the motion of the “first dynamic video component” and the motion of the “second dynamic video component” are the same or approximate, and (2-1) the “ The “first static video component” and the “second static video component” are still components, or (2-2) the “first static video component” is the “first video component”. The second static video component is a component having a smaller motion than the “second dynamic video component”, and the “first static video component” is a component having a smaller motion than the “first static video component”. It is desirable that the way of movement of the “natural video component” and the way of movement of the “second static video component” be the same or approximate. Thereby, the difference in the impression of the movement that the observer receives from the “video” according to the difference in the spatial frequency that the observer perceives from the “video” becomes remarkable.

「第1空間周波数帯域」が「高空間周波数帯域」であり、「第1空間周波数帯域と異なる空間周波数帯域」が「高空間周波数帯域」と異なる「低空間周波数帯域」であり、「第2空間周波数帯域」が「低空間周波数帯域」であり、「第2空間周波数帯域と異なる空間周波数帯域」が「高空間周波数帯域」であってもよい。すなわち、「映像」が「高空間周波数帯域」に属する「第1の動的な映像成分」と、「低空間周波数帯域」に属する「第1の静的な映像成分」とが重畳されている「第1領域」と、「低空間周波数帯域」に属する「第2の動的な映像成分」と、「高空間周波数帯域」に属する「第2の静的な映像成分」とが重畳されている「第2領域」とを含んでもよい。ここで、観察者が当該「映像」の低い空間周波数から高い空間周波数までを広く知覚できる場合(例えば、観察者と「映像」との距離が近い場合、観察者の視力が良い場合、「映像」と観察者との間に介在する媒質の光の拡散度合が小さい場合)、観察者は「第2領域」の「低空間周波数帯域」に属する「第2の動的な映像成分」の動きと、「第1領域」の「高空間周波数帯域」に属する「第1の動的な映像成分」の動きとを十分に認識できる。その結果、「第2領域」の「高空間周波数帯域」に属する「第2の静的な映像成分」が浮き上がって見え、「第2領域」が静止しているか、ほぼ静止しているように見える。特に、「第1の動的な映像成分」の動き方と「第2の動的な映像成分」の動き方とが同一であるか近似する場合、「第2の動的な映像成分」の動きと「第1の動的な映像成分」の動きとが一体の動きに見え、この効果がより顕著になる。一方、観察者が当該「映像」の高い空間周波数を十分に知覚できない場合(例えば、観察者と「映像」との距離が遠い場合、観察者の視力が悪い場合、「映像」と観察者との間に介在する媒質の光の拡散度合が大きい場合)、観察者は「第2領域」の「低空間周波数帯域」に属する「第2の動的な映像成分」の動きを十分に認識できるものの、「第1領域」の「高空間周波数帯域」に属する「第1の動的な映像成分」の動きを十分に認識できない。その結果、「第2領域」の「低空間周波数帯域」のみが移動して見え、「第2領域」が動いて見える。このように、観察者が「映像」から知覚する空間周波数の幅に応じ、「第2領域」が静止(または、ほぼ静止)して見えたり、動いて見えたりする。このような効果は、「第1領域」と「第2領域」とが隣接するときに顕著である。そのため、「第1領域」と「第2領域」とは互いに隣接することが望ましい。同様な理由により、「第2領域」の少なくとも一部が「第1領域」に囲まれていることが望ましく、「第2領域」の全てが「第1領域」に囲まれていることがより望ましい。   The “first spatial frequency band” is a “high spatial frequency band”, the “spatial frequency band different from the first spatial frequency band” is a “low spatial frequency band” different from the “high spatial frequency band”, and the “second spatial frequency band” is a “second spatial frequency band”. The “spatial frequency band” may be a “low spatial frequency band”, and the “spatial frequency band different from the second spatial frequency band” may be a “high spatial frequency band”. That is, the “first dynamic video component” of which “video” belongs to the “high spatial frequency band” and the “first static video component” of the “low spatial frequency band” are superimposed. The “first region”, the “second dynamic video component” belonging to the “low spatial frequency band”, and the “second static video component” belonging to the “high spatial frequency band” are superimposed. May be included. Here, when the observer can widely perceive the low spatial frequency to the high spatial frequency of the “image” (for example, when the distance between the observer and the “image” is short, when the observer has good vision, ) And the observer have a low degree of diffusion of light of the medium interposed between the observer and the observer, the observer moves the “second dynamic video component” belonging to the “low spatial frequency band” of the “second region”. And the movement of the “first dynamic video component” belonging to the “high spatial frequency band” of the “first region” can be sufficiently recognized. As a result, the “second static video component” belonging to the “high spatial frequency band” of the “second region” appears to be raised, and the “second region” is stationary or almost stationary. appear. In particular, when the way of movement of the “first dynamic video component” and the way of movement of the “second dynamic video component” are the same or approximate, the “second dynamic video component” The motion and the motion of the “first dynamic video component” appear to be an integrated motion, and this effect becomes more remarkable. On the other hand, when the observer cannot sufficiently perceive the high spatial frequency of the “image” (for example, when the distance between the observer and the “image” is long, when the observer has poor eyesight, “image” and the observer (In the case where the degree of diffusion of the light of the medium interposed therebetween is large), the observer can sufficiently recognize the movement of the “second dynamic video component” belonging to the “low spatial frequency band” of the “second region”. However, the movement of the “first dynamic video component” belonging to the “high spatial frequency band” of the “first region” cannot be sufficiently recognized. As a result, only the “low spatial frequency band” of the “second region” appears to move, and the “second region” appears to move. As described above, the “second region” looks stationary (or almost still) or appears to move according to the width of the spatial frequency perceived by the observer from the “video”. Such an effect is remarkable when the “first region” and the “second region” are adjacent to each other. Therefore, it is desirable that the “first region” and the “second region” are adjacent to each other. For the same reason, it is desirable that at least a part of the “second region” is surrounded by the “first region”, and that all of the “second region” is surrounded by the “first region”. desirable.

「高空間周波数帯域」は、例えば、絶対値が「閾値(カットオフ周波数)」以上または「閾値」を超える空間周波数からなる。「低空間周波数帯域」は、例えば、絶対値が「閾値」未満もしくは「閾値」の近傍未満、または絶対値が「閾値」以下もしくは「閾値」の近傍以下の空間周波数からなる。   The “high spatial frequency band” includes, for example, a spatial frequency whose absolute value is equal to or more than a “threshold (cutoff frequency)” or exceeds a “threshold”. The “low spatial frequency band” includes, for example, a spatial frequency whose absolute value is less than the “threshold” or less than near the “threshold”, or whose absolute value is equal to or less than the “threshold” or less than the vicinity of the “threshold”.

この場合、「映像」から観察者までの「距離の範囲」を表す情報を入力とし、「距離の範囲」に応じた「閾値」が設定されてもよい。例えば、「距離の範囲」が広い場合に「閾値」を小さくし、狭い場合に「閾値」を大きくしてもよい。例えば、「映像」から観察者までの距離の最大値が大きい場合に「閾値」を小さくし、距離の最大値が小さい場合に「閾値」を大きくしてもよい。例えば、「映像」から観察者までの距離の最大値が大きいほど「閾値」を小さくし、距離の最大値が小さいほど「閾値」を大きくしてもよい。すなわち、「映像」から観察者までの距離の最大値が「第1値」であるときの「閾値」が、「映像」から観察者までの距離の最大値が「第2値」であるときの「閾値」よりも大きく、「第1値」が「第2値」よりも小さいことが望ましい。これにより、「映像」から観察者までの距離の自由度が大きい場合(距離の最大値が大きい場合)に「第2領域」での「第2の動的な映像成分」に対する「第2の静的な映像成分」の割合を増やすことができる。その結果、「映像」が近くで観察された場合には「第2領域」が静止しているような印象を明確に与えることができ、「映像」から観察者までの距離を十分にとったときには、「第2領域」が動いているような印象を与えることができる。逆に、「映像」から観察者までの距離の自由度が小さい場合(距離の最大値が小さい場合)には、「映像」から観察者までの距離を大きく変化させることなく、「第2領域」が静止しているような印象を与えたり、動いているような印象を与えたりできる。   In this case, information representing the “range of distance” from the “video” to the viewer may be input, and a “threshold” corresponding to the “range of distance” may be set. For example, the “threshold” may be decreased when the “range of distance” is wide, and the “threshold” may be increased when the “range of distance” is narrow. For example, the “threshold” may be decreased when the maximum value of the distance from the “video” to the observer is large, and the “threshold” may be increased when the maximum value of the distance is small. For example, the “threshold” may be decreased as the maximum value of the distance from the “video” to the observer increases, and the “threshold” may be increased as the maximum value of the distance decreases. That is, when the maximum value of the distance from the “image” to the observer is the “first value”, the “threshold” is set when the maximum value of the distance from the “image” to the observer is the “second value” It is preferable that the “first value” is larger than the “threshold value” and the “first value” is smaller than the “second value”. Accordingly, when the degree of freedom of the distance from the “video” to the observer is large (when the maximum value of the distance is large), the “second dynamic video component” in the “second region” The ratio of "static video components" can be increased. As a result, when the "image" is observed nearby, the impression that the "second region" is stationary can be clearly given, and the distance from the "image" to the observer is sufficient. At times, it is possible to give an impression that the “second region” is moving. Conversely, when the degree of freedom of the distance from the “image” to the observer is small (when the maximum value of the distance is small), the “second region” is not changed largely without changing the distance from the “image” to the observer. Can give the impression that it is stationary or the impression that it is moving.

同様な理由により、「映像」と観察者との間に介在する媒質の「光の拡散度合」を表す情報を入力とし、拡散度合に応じた「閾値」を設定してもよい。例えば、媒質の「光の拡散度合」が大きい場合に「閾値」を小さく、「光の拡散度合」が小さい場合に「閾値」を大きくしてもよい。例えば、「光の拡散度合」が大きいほど「閾値」を小さくし、「光の拡散度合」が小さいほど「閾値」を大きくしてもよい。すなわち、「光の拡散度合」を表す指標が「第1値」であるときの閾値が、「光の拡散度合」を表す指標が「第2値」であるときの閾値よりも小さく、指標が「第1値」であるときの「光の拡散度合」は、指標が「第2値」であるときの「光の拡散度合」よりも大きくてもよい。   For the same reason, information representing the “degree of light diffusion” of the medium interposed between the “image” and the observer may be input and a “threshold” corresponding to the degree of diffusion may be set. For example, the “threshold” may be decreased when the “light diffusion degree” of the medium is large, and the “threshold” may be increased when the “light diffusion degree” is small. For example, the “threshold” may be decreased as the “light diffusion degree” is increased, and the “threshold” may be increased as the “light diffusion degree” is decreased. That is, the threshold when the index indicating the “degree of light diffusion” is the “first value” is smaller than the threshold when the index indicating the “degree of light diffusion” is the “second value”, and the index is The “light diffusion degree” when the “first value” is set may be larger than the “light diffusion degree” when the index is the “second value”.

視力の悪い観察者が「映像」を観察した場合、「映像」から観察者の距離が近くても、「映像」が含む高空間周波数帯域の成分を知覚できない場合がある。そのため、観察者の視力を表す指標を入力とし、視力に応じた「閾値」が設定されてもよい。例えば、観察者の視力が悪い場合に「閾値」を小さくし、視力が良い場合に「閾値」を大きくしてもよい。すなわち、視力を表す指標が「第1値」であるときの閾値が、視力を表す指標が「第2値」であるときの閾値よりも小さく、指標が「第1値」であるときの視力が、指標が「第2値」であるときの視力よりも悪くてもよい。   When an observer with poor eyesight observes an “image”, there is a case where a component in a high spatial frequency band included in the “image” cannot be perceived even if the observer is short from the “image”. Therefore, an index indicating the visual acuity of the observer may be input and a “threshold” corresponding to the visual acuity may be set. For example, the “threshold” may be decreased when the observer has poor eyesight, and the “threshold” may be increased when the eyesight is good. That is, the threshold when the index representing visual acuity is “first value” is smaller than the threshold when the index representing visual acuity is “second value”, and the visual acuity when the index is “first value”. May be worse than the visual acuity when the index is the “second value”.

「映像」を生成する「映像生成装置」は、例えば、「第1領域」で「第1の動的な映像成分」と「第1の静的な映像成分」とを重畳した「第1映像成分」を得、「第2領域」で「第2の動的な映像成分」と「第2の静的な映像成分」とを重畳した「第2映像成分」を得、少なくとも「第1映像成分」と「第2映像成分」とを重畳して「映像」を得る。「映像」は「映像提示装置」によって観察者に提示される。「映像提示装置」はディスプレイに「映像」を表示してもよいし、スクリーンなどに「映像」を投影してもよい。「映像提示装置」が「映像」を提示するための「映像」のデータ構造が提供されてもよい。   The “video generation device” that generates the “video” is, for example, the “first video” in which the “first dynamic video component” and the “first static video component” are superimposed in the “first region”. A second video component ”obtained by superimposing a“ second dynamic video component ”and a“ second static video component ”in a“ second region ”, and at least a“ first video component ”. The “image” is obtained by superimposing the “component” and the “second image component”. The “video” is presented to the observer by the “video presenting device”. The “video presenting device” may display “video” on a display or project “video” on a screen or the like. A “video” data structure for the “video presenting device” to present the “video” may be provided.

第6実施形態およびその変形例の「映像」は、上述のような動的な情報を含む動画であってもよいし、動的な情報を含まない静止画であってもよい。この「映像」を提示する映像提示システムは「映像提示装置」と「拡散部材」とを有する。この「映像提示装置」は、「第1空間周波数帯域」に属する「第1映像成分」と、「第1空間周波数帯域」と異なる「第2空間周波数帯域」に属する「第2映像成分」と、が重畳された領域を含む映像を提示する。「拡散部材」は、「映像」と観察者との間に介在させることが可能な媒質であり、光を拡散する性質を持つ。「第1空間周波数帯域」の例は前述の「高空間周波数帯域」であり、「第2空間周波数帯域」の例は前述の「低空間周波数帯域」である。「映像」と観察者との間に「拡散部材」を介在させ、観察者が「拡散部材」を通して「映像」を見ることもできるし、「映像」と観察者との間に「拡散部材」を介在させずに、観察者が直接「映像」を見ることもできる。観察者が「拡散部材」を通して「映像」を見たときに観察者が知覚する見え方は、観察者が直接「映像」を見たときに観察者が知覚する見え方と異なる。すなわち、「拡散部材」を通さずに「映像」を観察した観察者は、「映像」に含まれた「第1映像成分」および「第2映像成分」の両方を知覚する。一方、「拡散部材」を通して「映像」を観察した観察者は、これら両成分のうち空間周波数の低い方の成分を他方の成分よりも優位に知覚する。   The “video” in the sixth embodiment and its modified example may be a moving image including the above-described dynamic information, or may be a still image including no dynamic information. The video presentation system that presents this “video” has a “video presentation device” and a “diffusion member”. The “video presenting device” includes a “first video component” belonging to a “first spatial frequency band” and a “second video component” belonging to a “second spatial frequency band” different from the “first spatial frequency band”. , Are presented. The “diffusion member” is a medium that can be interposed between the “image” and the observer, and has a property of diffusing light. An example of the “first spatial frequency band” is the aforementioned “high spatial frequency band”, and an example of the “second spatial frequency band” is the aforementioned “low spatial frequency band”. A "diffusion member" can be interposed between the "image" and the observer, and the observer can see the "image" through the "diffusion member", or the "diffusion member" between the "image" and the observer The observer can also directly see the "image" without intervening. The appearance that the observer perceives when the observer looks at the “image” through the “diffusion member” is different from the appearance that the observer perceives when the observer directly looks at the “image”. That is, an observer who observes the “video” without passing through the “diffusion member” perceives both the “first video component” and the “second video component” included in the “video”. On the other hand, an observer who observes the “image” through the “diffusion member” perceives a component having a lower spatial frequency out of these components more dominantly than the other component.

[第1実施形態]
本形態では、互いに異なる第1領域から第N領域を含む映像Mを例示する。ただし、Nは2以上の正整数である。
[First Embodiment]
In the present embodiment, an image M including first to N-th areas different from each other is exemplified. Here, N is a positive integer of 2 or more.

<構成>
図1に例示するように、本形態の映像生成装置1は、帯域分離部11、動的成分生成部12−1〜12−N、重み付け地図記憶部13−1〜3−N、重畳部14−1〜14−N、および統合部15を有する。
<Structure>
As illustrated in FIG. 1, the video generation device 1 according to the present embodiment includes a band separation unit 11, dynamic component generation units 12-1 to 12-N, weighted map storage units 13-1 to 3-N, and a superposition unit 14. -1 to 14-N, and an integration unit 15.

<前処理>
本形態では、空間領域の互い異なる領域R,…,Rを含む映像Mを生成する。その前処理として、各領域R(ただし、i=1,…,N)に対応する重み付け地図MAPが重み付け地図記憶部13−iに格納される。重み付け地図MAPは、画素値を要素とする二次元配列である。重み付け地図MAPは、任意の領域Rで任意の空間周波数帯域の画像成分を動かすために利用するものであり、領域Rを表す二次元配列(画像)である。重み付け地図MAPの例は、領域Rに属する画素の画素値を1とし、領域Rに属さない画素の画素値を0とした二値からなる二次元配列である。あるいは、このような二値の二次元配列にガウシアンフィルタを適用して得られる二次元配列を重み付け地図MAPとしてもよい。その他、領域Rに属する画素の画素値が領域Rに属さない画素の画素値よりも大きく、画素値の範囲が0以上1以下に正規化された二次元配列を重み付け地図MAPとしてもよい。なお、領域R,…,Rは互いに異なる。望ましくは、領域R,…,Rのいずれも互いに重なり合わない。しかし、領域R,…,Rの少なくとも一部が互いに重なり合っている領域が存在してもよい。また、領域R,…,Rの少なくとも何れかは互いに隣接していることが望ましい。さらに、領域R,…,Rの少なくとも何れかが、領域R,…,Rの他の何れかに囲まれていることが望ましい。例えば、図2の例では、重み付け地図MAPに対応する領域R(2つの星形領域外の背景領域)が重み付け地図MAP,MAPに対応する領域R,R(2つの星形領域)に隣接しており、領域R,Rが領域Rに囲まれている。
<Pre-processing>
In this embodiment, another different regions R 1 in the spatial domain, ..., and generates an image M containing R N. As a pretreatment, each region R i (however, i = 1, ..., N ) weighting map MAP i corresponding to is stored in the weighting map storage unit 13-i. Weighting map MAP i is a two-dimensional array of pixel values as elements. Weighting map MAP i takes advantage to move the image component of any spatial frequency bands in any region R i, is a two-dimensional array representing the region R i (image). Examples of the weighting map MAP i is the pixel values of the pixels belonging to the region R i is 1, the pixel values of the pixels that do not belong to the region R i is a two-dimensional array of binary was zero. Alternatively, a two-dimensional array obtained by applying a Gaussian filter to the two-dimensional array of such binary or as a weighting map MAP i. Other, larger than the pixel value of the pixel in which the pixel values of the pixels belonging to the region R i does not belong to the region R i, also a two-dimensional array range is normalized to 0 to 1 inclusive pixel value as a weighting map MAP i Good. Note that the regions R 1 ,..., RN are different from each other. Desirably, the region R 1, ..., none of R N non-overlapping. However, the region R 1, ..., there may be a region where at least a part of R N are overlapped with each other. The region R 1, ..., at least one of R N is preferably adjacent to each other. Furthermore, the region R 1, ..., at least one of R N is, regions R 1, ..., it is desirable that is surrounded by any other R N. For example, in the example of FIG. 2, a region R 1 (a background region outside the two star regions) corresponding to the weight map MAP 1 is a region R 2 , R 3 (two star regions) corresponding to the weight maps MAP 2 and MAP 3. ), And the regions R 2 and R 3 are surrounded by the region R 1 .

<処理>
以下に本形態の処理を説明する。
≪入力画像Pの入力≫
映像生成装置1に入力画像Pが入力される。入力画像Pはカラー画像であってもよいし、グレースケール画像であってもよいし、白黒画像であってもよい。カラー画像の入力画像Pは、RGBの3チャネルそれぞれの二次元配列からなる集合である。これらの二次元配列は各チャネルの各画素値を要素とするものであり、それぞれのサイズは重み付け地図MAPのサイズと同じである。グレースケール画像または白黒画像の入力画像Pは、各画素値を要素とするものであり、そのサイズは重み付け地図MAPのサイズと同じである。
<Process>
Hereinafter, the processing of this embodiment will be described.
≫Input of input image P≫
The input image P is input to the video generation device 1. The input image P may be a color image, a grayscale image, or a black and white image. The input image P of a color image is a set composed of a two-dimensional array of each of the three RGB channels. These two-dimensional array are for the respective pixel values of each channel element, each size is the same as the size of the weighting map MAP i. Input image P grayscale or black and white images is for the each pixel value elements, the size is the same as the size of the weighting map MAP i.

≪帯域分離部11の処理≫
帯域分離部11は入力画像Pを入力とし、入力画像PをN個の空間周波数帯域B,…,Bに分離し、各空間周波数帯域B(ただし、i=1,…,N)の画像成分Pを得て出力する。図2にN=3の場合の例を示す。画像成分P,…,Pは空間領域における静止画像成分であり、画像成分Pのサイズは重み付け地図MAPのサイズと同じである。空間周波数帯域B,…,Bの絶対値は互いに異なる。空間周波数帯域B,…,Bの絶対値の中心空間周波数をそれぞれb,…,bとすると、b<b<…<bの関係を満たす。空間周波数帯域B,…,Bは互いに重複する空間周波数を含まないことが望ましいが、空間周波数帯域B,…,Bの少なくとも一部が互いに重複する空間周波数を含んでもよい。空間周波数帯域B,…,Bの帯域幅は、互いに同一であってもよいし、同一でなくてもよい。各空間周波数帯域B(ただし、i=1,…,N)の帯域幅の一例は2オクターブ程度の帯域幅である。すなわち、各空間周波数帯域Bの最も低い空間周波数LBからその4倍の空間周波数4×LBまでをBの帯域幅とする。例えば、N=3の場合、帯域分離部11は2cpi(cycles per image)以下の低空間周波数帯域をBとし、2〜8cpiの中空間周波数帯域をBとし、8〜32cpiの高空間周波数帯域をBとする。画像成分P(ただし、j=1,…,Nかつj≠i)は、静的な映像成分PSとして重畳部14−i(ただし、i=1,…,N)に送られる。さらに画像成分P(ただし、i=1,…,N)は、動的成分生成部12−iに送られる。
<< Process of Band Separation Unit 11 >>
Band separation unit 11 inputs the input image P, the input image P N number of spatial frequency bands B 1, ..., separated into B N, the spatial frequency band B i (however, i = 1, ..., N ) Is obtained and output. FIG. 2 shows an example where N = 3. The image components P 1 ,..., PN are still image components in the spatial domain, and the size of the image component P i is the same as the size of the weight map MAP i . Spatial frequency band B 1, ..., the absolute value of B N are different from each other. Spatial frequency band B 1, ..., respectively b 1 a center spatial frequency of the absolute value of B N, ..., When b N, satisfy the relationship of b 1 <b 2 <... < b N. Spatial frequency band B 1, ..., but B N is preferably free of spatial frequencies overlap each other, the spatial frequency band B 1, ..., at least some of B N may contain spatial frequencies overlap each other. The bandwidths of the spatial frequency bands B 1 ,..., B N may or may not be the same. An example of the bandwidth of each spatial frequency band B i (where i = 1,..., N) is a bandwidth of about two octaves. That is, up to a spatial frequency 4 × LB i of four times the bandwidth of the B i from the lowest spatial frequency LB i for each spatial frequency band B i. For example, the case of N = 3, the band separation unit 11 is the following low spatial frequency band 2cpi (cycles per image) and B 1, and the spatial frequency band and B 2 in the 2~8Cpi, high spatial frequency 8~32cpi the band and the B 3. The image component P j (where j = 1,..., N and j ≠ i) is sent to the superimposing unit 14-i (where i = 1,..., N) as a static video component PS j . Further, the image component P i (where i = 1,..., N) is sent to the dynamic component generation unit 12-i.

≪動的成分生成部12−iの処理≫
動的成分生成部12−i(ただし、i=1,…,N)のそれぞれは、入力された画像成分Pに動きを与え、それによってK個(ただし、Kは2以上の整数)のフレームの画像PDi,k(ただし、k=1,…,K)を含む動的な映像成分PD={PDi,1,…,PDi,K}を得て出力する。なお、画像PDi,kは動的な映像成分PDのk番目のフレームの画像である。画像PDi,kは空間領域における画像である。複数のフレームk=1,…,Kの画像PDi,kを時間順(k=1からKまでの順序)にならべて得られる動的な映像成分PDは動きを表す(つまり、PDは動画である)。各空間周波数帯域Bの複数のフレームk=1,…,Kの画像PDi,kの少なくとも一部は互いに異なる。動的成分生成部12−iによって画像成分Pに与えられる動きは周期的な振動であることが望ましい。しかし、画像成分Pにその他の動きが与えられてもよい。また、動的成分生成部12−1〜Nのそれぞれが互いに同一または近似する動きを画像成分Pに与えることが望ましい。すなわち、動的な映像成分PDの動き方と動的な映像成分PDの動き方とが同一であるか近似することが望ましい(ただし、i,j∈{1,…,N}かつi≠j)。しかし、動的成分生成部12−1〜Nの少なくとも一部が他と異なる動きを与えてもよい。画像成分Pに与える画素の移動量が大きすぎると、観察者が「映像」から知覚する空間周波数の違い(例えば、観察者と映像Mとの距離の違い)に基づいて受ける印象の違いが小さくなる場合がある。そのため、観察者と映像Mとの距離(観察距離)などを変えてみて、見かけの変化が生じない場合には移動量を小さくする工夫が必要である。
<< Process of Dynamic Component Generation Unit 12-i >>
Each of the dynamic component generation units 12-i (where i = 1,..., N) gives a motion to the input image component P i , whereby K (where K is an integer of 2 or more) K components are provided. A dynamic video component PD i = {PD i, 1 ,..., PD i, K } including a frame image PD i, k (where k = 1,..., K) is obtained and output. Note that the image PD i, k is the image of the k-th frame of the dynamic video component PD i . Images PD i, k are images in the spatial domain. A dynamic video component PD i obtained by arranging images PD i, k of a plurality of frames k = 1,..., K in time order (order from k = 1 to K) represents motion (that is, PD i). Is a video). At least some of the images PD i, k of the plurality of frames k = 1,..., K in each spatial frequency band B i are different from each other. Motion imparted to the image component P i by the dynamic component generating unit 12-i is preferably a cyclic vibration. However, other movements may be provided to the image component P i. It is also desirable to provide a motion, each identical or close to each other of the dynamic component generation unit 12-1~N to the image component P i. That is, it is desirable that the way of movement of the dynamic image component PD i and the way of movement of the dynamic image component PD j are the same or approximate (however, i, j∈ {1,..., N} and i ≠ j). However, at least a part of the dynamic component generation units 12-1 to 12-N may give a different motion from the others. If the amount of pixel movement given to the image component P i is too large, the difference in impression received by the observer based on the difference in spatial frequency perceived from the “image” (for example, the difference in the distance between the observer and the image M) is reduced. May be smaller. Therefore, when the distance (observation distance) between the observer and the image M is changed, if the appearance does not change, it is necessary to devise a method of reducing the moving amount.

≪重畳部14−iの処理≫
重畳部14−i(ただし、i=1,…,N)のそれぞれは、動的な映像成分PD={PDi,1,…,PDi,K}および静的な映像成分PS(ただし、j=1,…,Nかつj≠i)を入力とし、重み付け地図記憶部13−iから読み出した重み付け地図MAPをこれらに乗じた後に重畳して映像成分Mを得て出力する。すなわち、重畳部14−iは、画像PDi,kに重み付け地図MAPを乗じた画像と、i=1,…,Nかつj≠iについて静的な映像成分PSに地図MAPを乗じた画像成分と、を重畳した画像Mi,kを映像成分Mのk番目のフレームの画像として出力する。画像Mi,kは重み付け地図MAPとサイズが等しい二次元配列である。

Figure 0006666298

ただし、入力画像Pがグレースケール画像または白黒画像の場合、式(1)における乗算および加算は画素ごとに行われる。入力画像Pがカラー画像の場合、式(1)における乗算および加算はRGBの3チャネルそれぞれの画素ごとに行われる。このように得られる画像Mi,kを1番目のフレームからK番目のフレームまで時間順にならべて得られる映像成分M(第i映像成分)は、領域R(第i領域)で動的な映像成分PD(第iの動的な映像成分)と静的な映像成分PS(第iの静的な映像成分)とを重畳(加算)した成分に相当する。なお、図2の重み付け地図MAPは、領域Rの画素値を1とし、それ以外の画素値を0としたものである。画素値1の領域が白で表現され、画素値0の領域が黒で表現されている。図2の映像成分Mは、2つの星形領域外の背景領域で、空間周波数帯域(低空間周波数帯域)Bの動的な映像成分PDと、空間周波数帯域(中空間周波数帯域)Bの静的な映像成分PSと、空間周波数帯域(高空間周波数帯域)Bの静的な映像成分PSとを重畳したものである。映像成分Mでは、空間周波数帯域Bの背景領域の成分のみが動きを持つ。図2の映像成分Mは、左側の星形領域で、空間周波数帯域Bの動的な映像成分PDと、空間周波数帯域Bの静的な映像成分PSと、空間周波数帯域Bの静的な映像成分PSとを重畳したものである。映像成分Mでは、空間周波数帯域Bの左側の星形領域の成分のみが動きを持つ。図2の映像成分Mは、右側の星形領域で、空間周波数帯域Bの動的な映像成分PDと、空間周波数帯域Bの静的な映像成分PSと、空間周波数帯域Bの静的な映像成分PSとを重畳したものである。映像成分Mでは、空間周波数帯域Bの右側の星形領域の成分のみが動きを持つ。 << Processing of Superposition Unit 14-i >>
Each of the superimposing units 14-i (where i = 1,..., N) includes a dynamic video component PD i = {PD i, 1 ,..., PD i, K } and a static video component PS j ( However, j = 1, ..., a N and j ≠ i) input, and outputs obtained video component M i weighted map mAP i read from the weighting map storage unit 13-i superimposed after multiplying these . That is, the superimposing unit 14-i multiplies the image obtained by multiplying the image PD i, k by the weighted map MAP i and the static video component PS j for i = 1,..., N and j ≠ i by the map MAP i . Then, the image M i, k on which the image component is superimposed is output as the image of the k-th frame of the video component M i . The image M i, k is a two-dimensional array having the same size as the weight map MAP i .
Figure 0006666298

However, when the input image P is a grayscale image or a black and white image, the multiplication and addition in Expression (1) are performed for each pixel. When the input image P is a color image, the multiplication and addition in Expression (1) are performed for each pixel of each of the three RGB channels. A video component M i (i-th video component) obtained by arranging the images M i, k obtained in this manner in chronological order from the first frame to the K-th frame is dynamic in a region R i (i-th region). The video component PD i (the i-th dynamic video component) and the static video component PS j (the i-th static video component) are superimposed (added). In the weight map MAP i of FIG. 2, the pixel value of the region R i is 1 and the other pixel values are 0. The area of the pixel value 1 is represented by white, and the area of the pixel value 0 is represented by black. Video component M 1 in FIG. 2, two star-shaped region outside the background region, the spatial frequency band and dynamic video components PD 1 (low spatial frequency band) B 1, spatial frequency band (middle spatial frequency band) a static image components PS 2 of the B 2, is obtained by superimposing the static image components PS 3 spatial frequency band (high spatial frequency band) B 3. In the video component M 1, only the component of the background region of the spatial frequency band B 1 is with motion. Video component M 2 in FIG. 2, the left side of the star-type region, a dynamic image components PD 2 of the spatial frequency band B 2, a static video component PS 1 spatial frequency band B 1, the spatial frequency band B 3 superimposed on three static video components PS3. In the video component M 2, only the component of the star-shaped area on the left of the spatial frequency band B 2 has a motion. Image components M 3 in FIG. 2, the right star region, a dynamic image components PD 3 spatial frequency band B 3, a static video component PS 1 spatial frequency band B 1, the spatial frequency band B 2 of a static image components PS 2 is obtained by superimposing. The video component M 3, only the component of the right star-type region of the spatial frequency band B 3 has the motion.

≪統合部15の処理≫
統合部15は、映像成分M,…,Mを入力とし、映像成分M,…,Mを重畳(加算)して映像Mを得て出力する。
M=M+…+M (2)
ただし、入力画像Pがグレースケール画像または白黒画像の場合、式(2)における加算は画素ごとに行われる。入力画像Pがカラー画像の場合、式(2)における加算はRGBの3チャネルそれぞれの画素ごとに行われる。このように得られた映像Mの領域R(第i領域)では、空間周波数帯域B(第i空間周波数帯域)に属する動的な映像成分PD(第iの動的な映像成分)と、空間周波数帯域B(第i空間周波数帯域と異なる空間周波数帯域)に属する静的な映像成分PS(第iの静的な映像成分)とが重畳されている。図2の映像Mでは、2つの星形領域外の背景領域で空間周波数帯域Bの成分が動き、左側の星形領域で空間周波数帯域Bの成分が動き、右側の星形領域で空間周波数帯域Bの成分が動く。
<< Processing of integration unit 15 >>
Integrated unit 15 includes a video component M 1, ..., as input M N, video component M 1, ..., superimposing the M N (addition) and outputs obtained video M by.
M = M 1 +... + M N (2)
However, when the input image P is a grayscale image or a black-and-white image, the addition in Expression (2) is performed for each pixel. When the input image P is a color image, the addition in Expression (2) is performed for each pixel of each of the three RGB channels. In the region R i (i-th region) of the image M thus obtained, the dynamic image component PD i (i-th dynamic image component) belonging to the spatial frequency band B i (i-th spatial frequency band) And a static video component PS j (i-th static video component) belonging to the spatial frequency band B j (a spatial frequency band different from the i-th spatial frequency band). In the image M of FIG. 2, two star-shaped region outside the movement component of the spatial frequency band B 1 in the background area, the component of the spatial frequency band B 2 on the left side of the star region moves, the space in the right star region component of the frequency band B 3 moves.

≪映像Mの提示≫
映像Mは映像提示装置100に入力され、映像提示装置100は映像Mを提示する。映像提示装置100は映像Mをディスプレイに表示してもよいし、スクリーン等に投影してもよい。なお、映像Mを構成する各フレームの画像の提示時間は、映像Mが静止画の系列ではなく動画像として認識可能なように調整される。この範囲であればフレームレートは固定であっても可変であってもよい。映像Mを観察した観察者は、映像Mからの距離に応じ、映像Mから異なる動きの印象を受ける。また、観察者の視力の良し悪しに応じ、観察者が映像Mから受ける動きの印象も異なる。さらに、観察者は、観察者と映像Mとの間に介在する媒質の光の拡散度合に応じ、映像Mから異なる動きの印象を受ける。このように観察者は、映像Mから知覚可能な空間周波数によって異なる動きの印象を受ける。具体的には、映像M中の知覚可能な空間周波数帯域が低くなるにつれ、映像M中の一部分が動いて見えるが、映像M中の知覚可能な空間周波数帯域が高空間周波数を含むにつれ、映像M全体が動いて見えるとともに、その一部が止まって見える。
≫Presentation of image M≫
The video M is input to the video presentation device 100, and the video presentation device 100 presents the video M. The video presentation device 100 may display the video M on a display or project the video M on a screen or the like. Note that the presentation time of the image of each frame constituting the video M is adjusted so that the video M can be recognized as a moving image instead of a series of still images. Within this range, the frame rate may be fixed or variable. An observer who observes the image M receives a different impression of movement from the image M according to the distance from the image M. In addition, the impression of the movement that the observer receives from the image M differs depending on the quality of the eyesight of the observer. Further, the observer receives an impression of a different motion from the image M according to the degree of diffusion of light of a medium interposed between the observer and the image M. As described above, the observer receives an impression of a different motion depending on the spatial frequency perceivable from the image M. Specifically, as the perceivable spatial frequency band in the image M decreases, a part of the image M appears to move, but as the perceptible spatial frequency band in the image M includes a high spatial frequency, the image M appears to move and a part of it appears to stop.

[第1実施形態の変形例1]
第1実施形態では、画像成分Pがそのまま静的な映像成分PS(ただし、j=1,…,Nかつj≠i)として用いられた。すなわち、静的な映像成分PSは静止成分であった。しかしながら、静的な映像成分PSが動きを持ってもよい。この場合、映像生成装置1(図1)は、さらに静的成分生成部17−i(ただし、i=1,…,N)を有する。本変形例1では、画像成分P(ただし、j=1,…,Nかつj≠i)が静的な映像成分PSとして重畳部14−i(ただし、i=1,…,N)に送られることに代え、画像成分Pが静的成分生成部17−jに送られる。静的成分生成部17−jのそれぞれは、入力された画像成分Pに動きを与え、それによってK個(ただし、Kは2以上の整数)のフレームの画像PSj,k(ただし、k=1,…,K)を含む静的な映像成分PS={PSj,1,…,PSj,K}を得て出力する。画像PSi,kは空間領域における画像である。複数のフレームk=1,…,Kの画像PSj,kを時間順(k=1からKまでの順序)にならべて得られる静的な映像成分PSは動きを表す(つまり、変形例1のPSは動画である)。各空間周波数帯域Bの複数のフレームk=1,…,Kの画像PSj,kの少なくとも一部は互いに異なる。ただし、各空間周波数帯域Bでの静的な映像成分PSの動きは動的な映像成分PDの動きよりも小さい。静的成分生成部17−iによって画像成分Pに与えられる動きは周期的な振動であることが望ましい。しかし、画像成分Pにその他の動きが与えられてもよい。また、静的成分生成部17−1〜Nのそれぞれが互いに同一または近似する動きを画像成分Pに与えることが望ましい。すなわち、静的な映像成分PSの動き方と静的な映像成分PSの動き方とが同一であるか近似することが望ましい(ただし、i,j∈{1,…,N}かつi≠j)。しかし、静的成分生成部17−1〜Nの少なくとも一部が他と異なる動きを与えてもよい。出力された静的な映像成分PS(ただし、j=1,…,Nかつj≠i)は重畳部14−i(ただし、i=1,…,N)に送られる。その他は第1実施形態と同じである。
[Modification 1 of First Embodiment]
In the first embodiment, the image component P j is used as it is as a static video component PS j (where j = 1,..., N and j ≠ i). That is, the static video component PSj is a still component. However, the static image components PS j may have a motion. In this case, the video generation device 1 (FIG. 1) further includes a static component generation unit 17-i (where i = 1,..., N). In the first modification, the image component P j (where j = 1,..., N and j ≠ i) is a static video component PS j and the superimposing unit 14-i (where i = 1,..., N) instead sent is possible, the image component P j is sent to the static component generating unit 17-j. Each of the static component generation units 17-j gives a motion to the input image component P j , whereby the images PS K, (where K is an integer of 2 or more) of K frames ( where k is an integer) = 1,..., K), and outputs the static video component PS j = {PS j, 1 ,..., PS j, K }. The images PS i, k are images in the spatial domain. A static video component PS j obtained by arranging images PS j, k of a plurality of frames k = 1,..., K in time order (order from k = 1 to K) represents a motion (that is, a modified example). 1 PS j is a moving image). At least some of the images PS j, k of the plurality of frames k = 1,..., K in each spatial frequency band B j are different from each other. However, the motion of the static video component PS j in each spatial frequency band B j is smaller than the motion of the dynamic video component PD j . Motion imparted to the image component P i by the static component generating unit 17-i is preferably a cyclic vibration. However, other movements may be provided to the image component P i. In addition, it is desirable that each of the static component generation units 17-1 to 17-N gives the same or similar motion to the image component P i . That is, it is desirable that the motion of the static video component PS i and the motion of the static video component PS j are the same or approximate (however, i, j∈ {1,..., N} and i ≠ j). However, at least a part of the static component generation units 17-1 to 17-N may give a different motion from the others. The output static video component PS j (where j = 1,..., N and j ≠ i) is sent to the superimposing unit 14-i (where i = 1,..., N). Others are the same as the first embodiment.

[第2実施形態]
第2実施形態では、N=2として空間周波数を2つの空間周波数帯域B,Bに分離し、互いに異なる2つの領域R,Rで互いに異なる2つの空間周波数帯域B,Bの成分が運動する映像Mを生成する。以下では既に説明した事項との相違点を中心に説明し、既に説明した事項と共通する部分については同じ参照番号を用いて説明を簡略化する場合がある。
[Second embodiment]
In the second embodiment, N = two spatial frequency bands spatial frequency as 2 B 1, B 2 to separate two different regions R 1, two different spatial frequency bands in R 2 B 1 together, B 2 Generates an image M in which the component moves. In the following, differences from the already described items will be mainly described, and portions common to the already described items may be simplified by using the same reference numerals.

<構成>
図1に例示するように、本形態の映像生成装置2は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、および統合部15を有する。
<Structure>
As illustrated in FIG. 1, the video generation device 2 according to the present embodiment includes a band separation unit 11, dynamic component generation units 12-1 and 12-2, weighted map storage units 13-1 and 13-2, and a superposition unit 14. -1, 14-2, and the integration unit 15.

<前処理>
本形態では、空間領域の互い異なる2個の領域R,Rを含む映像Mを生成する。その前処理として、各領域R(ただし、i=1,2)に対応する重み付け地図MAPが重み付け地図記憶部13−iに格納される。図3の例では、背景領域である領域Rに対応する重み付け地図MAPが重み付け地図記憶部13−1に格納され、星形領域である領域Rに対応する重み付け地図MAPが重み付け地図記憶部13−2に格納される。図3に例示する重み付け地図MAPは、領域Rに属する画素の画素値を1とし、領域Rに属さない画素の画素値を0とした二値からなる二次元配列であり、MAPを反転させたもの(つまり、画素値が1であった画素の画素値を0にし、画素値が0であった画素の画素値を1にしたもの)がMAPである。
<Pre-processing>
In this embodiment, an image M including two different regions R 1 and R 2 in the spatial region is generated. As a pretreatment, each region R i (however, i = 1, 2) weighting map MAP i corresponding to is stored in the weighting map storage unit 13-i. In the example of FIG. 3, the weighting map MAP 1 corresponding to the region R 1 is a background region is stored in the weighting map storage unit 13-1, a weighting map MAP 2 weighting map corresponding to the region R 2 is a star-shaped region It is stored in the storage unit 13-2. Weighting map MAP i illustrated in FIG. 3, the pixel values of the pixels belonging to the region R i is 1, the pixel values of the pixels that do not belong to the region R i is a two-dimensional array of binary which was 0, MAP 1 obtained by inverting the (i.e., those pixel values are the pixel values of the pixels was 1 to 0, and the pixel value of the pixel a pixel value is 0 to 1) it is MAP 2.

<処理>
以下に本形態の処理を説明する。
≪入力画像Pの入力≫
映像生成装置2に入力画像Pが入力される。
<Process>
Hereinafter, the processing of this embodiment will be described.
≫Input of input image P≫
The input image P is input to the video generation device 2.

≪帯域分離部11の処理≫
帯域分離部11は入力画像Pを入力とし、入力画像Pを2個の空間周波数帯域B,Bに分離し、各空間周波数帯域B(ただし、i=1,2)の画像成分Pを得て出力する(図3)。本形態では、空間周波数帯域B(第1空間周波数帯域)が高空間周波数帯域であり、空間周波数帯域B(第2空間周波数帯域)が高空間周波数帯域と異なる低空間周波数帯域である。高空間周波数帯域である空間周波数帯域Bは、絶対値が閾値TH(カットオフ周波数)以上または閾値THを超える空間周波数からなる。低空間周波数帯域である空間周波数帯域Bは、絶対値が閾値TH未満もしくは閾値THの近傍未満、または絶対値が閾値TH以下もしくは閾値THの近傍以下の空間周波数からなる。帯域分離部11は、例えば、入力画像Pにハイパスフィルタを適用して空間周波数帯域Bの画像成分Pを得、入力画像Pにローパスフィルタを適用して空間周波数帯域Bの画像成分Pを得て出力する。画像成分P(ただし、j=1,2かつj≠i)は、静的な映像成分PSとして重畳部14−i(ただし、i=1,2)に送られる。画像成分P(ただし、i=1,2)は、動的成分生成部12−iに送られる。
<< Process of Band Separation Unit 11 >>
The band separation unit 11 receives the input image P as input, separates the input image P into two spatial frequency bands B 1 , B 2 , and generates an image component P of each spatial frequency band B i (where i = 1, 2). i is obtained and output (FIG. 3). In this embodiment, the spatial frequency band B 1 (first spatial frequency band) is a high spatial frequency band, and the spatial frequency band B 2 (second spatial frequency band) is a low spatial frequency band different from the high spatial frequency band. Spatial frequency band B 1 is a high spatial frequency band consists of spatial frequency which the absolute value exceeds the threshold TH (cutoff frequency) or higher or threshold TH. Spatial frequency band B 2 is a low spatial frequency band is less than near the absolute value the threshold value TH or less than the threshold value TH, or an absolute value consists of the following spatial frequency near the threshold TH below or threshold TH. The band separation unit 11 applies, for example, a high-pass filter to the input image P to obtain an image component P 1 of the spatial frequency band B 1 , and applies a low-pass filter to the input image P to obtain an image component P of the spatial frequency band B 2. 2 and output. The image component P j (where j = 1, 2 and j ≠ i) is sent to the superimposing unit 14-i (where i = 1, 2) as a static video component PS j . The image component P i (where i = 1, 2) is sent to the dynamic component generation unit 12-i.

≪動的成分生成部12−iの処理≫
動的成分生成部12−i(ただし、i=1,2)のそれぞれは、入力された画像成分Pに動きを与え、それによってK個(ただし、Kは2以上の整数)のフレームの画像PDi,k(ただし、k=1,…,K)を含む動的な映像成分PD={PDi,1,…,PDi,K}を得て出力する(図3)。前述のように動的な映像成分PDの動きは周期的な振動であることが望ましい。
<< Process of Dynamic Component Generation Unit 12-i >>
Each of the dynamic component generation units 12-i (where i = 1, 2) gives a motion to the input image component P i , whereby the K (where K is an integer of 2 or more) frames is input. A dynamic video component PD i = {PD i, 1 ,..., PD i, K } including an image PD i, k (where k = 1,..., K) is obtained and output (FIG. 3). Dynamic motion video component PD i as described above is preferably a cyclic vibration.

≪重畳部14−iの処理≫
重畳部14−i(ただし、i=1,2)のそれぞれは、動的な映像成分PD={PDi,1,…,PDi,K}および静的な映像成分PS(ただし、j=1,2かつj≠i)を入力とし、重み付け地図記憶部13−iから読み出した重み付け地図MAPをこれらに乗じた後に重畳して映像成分Mを得て出力する。映像成分M(第i映像成分)は、領域R(第i領域)で動的な映像成分PD(第iの動的な映像成分)と静的な映像成分PS(第iの静的な映像成分)とを重畳(加算)した成分に相当する。
<< Processing of Superposition Unit 14-i >>
Each of the superimposing units 14-i (where i = 1, 2) includes a dynamic video component PD i = {PD i, 1 ,..., PD i, K } and a static video component PS j (where, j = 1, 2 and a j ≠ i) input, and outputs obtained video component M i weighted map mAP i read from the weighting map storage unit 13-i is superimposed on after multiplication thereto. The video component M i (the i-th video component) includes a dynamic video component PD i (the i-th dynamic video component) and a static video component PS j (the i-th video component) in the region R i (the i-th region). (A static video component).

≪統合部15の処理≫
統合部15は、映像成分M,Mを入力とし、映像成分M,Mを重畳(加算)して映像M=M+Mを得て出力する。図3の映像Mでは、星形領域外の背景領域(領域R)で空間周波数帯域B(高空間周波数帯域)の成分のみが動き、星形領域(領域R)で空間周波数帯域B(低空間周波数帯域)の成分のみが動く。
<< Processing of integration unit 15 >>
Integrated unit 15 includes a video component M, the M 2 as input, superimposes the video component M 1, M 2 (addition) and outputs obtained video M = M 1 + M 2 in. In the image M of FIG. 3, only the component of the spatial frequency band B 1 (high spatial frequency band) moves in the background region (region R 1 ) outside the star region, and the spatial frequency band B in the star region (region R 2 ). Only the 2 (low spatial frequency band) component moves.

≪映像Mの提示≫
映像Mは映像提示装置100に入力され、映像提示装置100は映像Mを提示する。
図4Aに例示するように、観察者101がこの映像Mを短い距離Dだけ離れたところから観察すると、星形領域(領域R)の低空間周波数成分(空間周波数帯域B)の動きと、背景領域(領域R)の高空間周波数成分(空間周波数帯域B)の動きがまとまった一つの動きに見える。その結果、動いていない星形領域の高空間周波数成分が浮き上がって見え、星形領域が止まっているように感じられる。一方、図4Bに例示するように、観察者101がこの映像Mを長い距離D(ただし、D>D)だけ離れたところから観察すると、背景領域で動いている高空間周波数成分が見えなくなる。結果的に星形領域の低空間周波数成分のみが移動して見え、星形領域が動いているように見える。
≫Presentation of image M≫
The video M is input to the video presentation device 100, and the video presentation device 100 presents the video M.
As illustrated in FIG. 4A, when the observer 101 observes from a distance the image M short distance D 1, the movement of the low spatial frequency components (spatial frequency band B 2) of the star-shaped region (region R 2) Then, the motion of the high spatial frequency component (spatial frequency band B 1 ) in the background region (region R 1 ) looks like one motion. As a result, the high spatial frequency components of the non-moving star region appear to rise, and the star region appears to be stopped. On the other hand, as illustrated in FIG. 4B, when the observer 101 observes the image M from a long distance D 2 (where D 2 > D 1 ), the high spatial frequency component moving in the background region is Become invisible. As a result, only the low spatial frequency components of the star region appear to move, and the star region appears to move.

観察者101が、図5Bに例示するように映像Mを直接観察したときに、動いていない星形領域の高空間周波数成分が浮き上がって見え、星形領域が止まっているように感じられるとする。このような場合でも、図5Bに例示するように、観察者101が映像Mとの間に光の拡散度合の大きなすりガラスなどの媒質である拡散部材102を配置し、観察者101が拡散部材102越しに映像Mを観察すると、背景領域で動いている高空間周波数成分が見えなくなる。結果的に星形領域の低空間周波数成分のみが移動して見え、星形領域が動いているように見える。   When the observer 101 directly observes the image M as illustrated in FIG. 5B, it is assumed that the high spatial frequency components of the non-moving star-shaped region appear to rise, and the star-shaped region appears to be stopped. . Even in such a case, as illustrated in FIG. 5B, the observer 101 arranges the diffusion member 102 which is a medium such as frosted glass having a high degree of light diffusion between the image M and the observer 101 and the observer 101 When observing the image M through it, the high spatial frequency component moving in the background region becomes invisible. As a result, only the low spatial frequency components of the star region appear to move, and the star region appears to move.

視力の悪い観察者101が、視力矯正用の眼鏡をかけて映像Mを観察したときに、動いていない星形領域の高空間周波数成分が浮き上がって見え、星形領域が止まっているように感じられるとする。この場合に観察者101が眼鏡をはずして映像Mを観察すると、星形領域の低空間周波数成分のみが移動して見え、星形領域が動いているように見える。また、視力の良い観察者101が映像Mを観察したときには星形領域が止まっているように感じられるが、視力の悪い観察者101が映像Mを観察したときには星形領域が動いているように見える。   When the observer 101 with poor visual acuity observes the image M with eyesight correcting glasses, the high spatial frequency component of the unmoved star-shaped region appears to be raised, and the star-shaped region seems to be stopped. It is assumed that In this case, when the observer 101 removes the glasses and observes the image M, only the low spatial frequency components of the star region appear to move, and the star region appears to move. Also, when the observer 101 with good visual acuity observes the image M, it seems that the star-shaped region stops, but when the observer 101 with poor visual acuity observes the image M, the star-shaped region moves. appear.

[第2実施形態の変形例1]
第1実施形態の変形例1と同様、静的な映像成分PSが動きを持ってもよい。この場合、映像生成装置2(図1)は、さらに静的成分生成部17−i(ただし、i=1,2)を有する。静的成分生成部17−iの処理内容は、第1実施形態の変形例1で説明した通りである。
[Modification 1 of Second Embodiment]
Similarly to the first modification of the first embodiment, a static image components PS j may have a motion. In this case, the video generation device 2 (FIG. 1) further includes a static component generation unit 17-i (where i = 1, 2). The processing content of the static component generation unit 17-i is as described in the first modification of the first embodiment.

[第3実施形態]
第2実施形態およびその変形例1において、映像Mから観察者101までの距離(観察距離)δを比較的小さな範囲δ≦δ≦δ(ただし、0<δ<δ)でしか変化させることができない場合には閾値THを高くし、逆に観察距離δを比較的大きな範囲δ≦δ≦δ(ただし、0<δ<δ<δ)で変化させることができる場合には閾値THを低くしてもよい。閾値THを高くするほど、映像Mから観察者までの距離を大きく変化させることなく、領域Rが静止しているような印象を与えたり、動いているような印象を与えたりできる。閾値THを低くするほど、観察距離δを大きく変化させないと領域Rの動きの印象を変化させることができないが、その反面、映像Mが近くで観察されたときに領域Rが静止しているような印象を明確に与えることができる。
[Third embodiment]
In the second embodiment and its first modification, the distance (observation distance) δ from the image M to the observer 101 is set to a relatively small range δ 1 ≦ δ ≦ δ 2 (where 0 <δ 12 ). If it cannot be changed, the threshold value TH may be increased, and conversely, the observation distance δ may be changed in a relatively large range δ 1 ≦ δ ≦ δ 3 (where 0 <δ 123 ). If possible, the threshold value TH may be lowered. The higher the threshold value TH, without significantly changing the distance from the image M to the viewer, or gives the impression of a region R 2 is stationary, it or give the impression of motion. The lower the threshold TH, can not be changed unless significantly alter the viewing distance δ the impression of movement of the region R 2, on the other hand, the region R 2 when image M was observed in nearly stationary You can clearly give the impression that you are.

図1に例示するように、本形態の映像生成装置3は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、統合部15、および閾値設定部36を有する。第3実施形態の第2実施形態およびその変形例1からの相違点は、閾値設定部36が映像Mから観察者までの距離の範囲を表す情報を入力とし、距離の範囲に応じた閾値THを設定して出力する点である。ただし、映像Mから観察者までの距離の最大値がδ(第1値)であるときの閾値THは、映像Mから観察者までの距離の最大値がδ(第2値)であるときの閾値THよりも大きい(δ<δ)。例えば、映像Mから観察者までの距離の最大値が大きいほど閾値THが小さくてもよいし、映像Mから観察者までの距離の最大値に対して閾値THが広義単調減少する関係(増加しない関係)にあってもよい。あるいは、映像Mから観察者までの距離の最大値が特定の範囲にあるときにだけ、映像Mから観察者までの距離の最大値がδであるときの閾値THは、映像Mから観察者までの距離の最大値がδであるときの閾値THよりも大きくてもよい。 As illustrated in FIG. 1, the video generation device 3 of the present embodiment includes a band separation unit 11, dynamic component generation units 12-1 and 12-2, weighted map storage units 13-1 and 13-2, and a superposition unit 14. -1, 14-2, the integration unit 15, and the threshold setting unit 36. The difference between the third embodiment and the second embodiment and its modification 1 is that the threshold value setting unit 36 receives information representing the range of the distance from the image M to the observer as an input and sets a threshold value TH according to the distance range. Is set and output. However, when the maximum value of the distance from the image M to the observer is δ 2 (first value), the maximum value of the distance from the image M to the observer is δ 3 (second value). Is larger than the threshold value TH (δ 23 ). For example, the larger the maximum value of the distance from the image M to the observer is, the smaller the threshold value TH may be. Alternatively, the threshold value TH may decrease monotonically in a broad sense with respect to the maximum value of the distance from the image M to the observer (not increase). Relationship). Alternatively, only when the maximum value of the distance from the image M to the viewer is in a specific range, the threshold TH when the maximum value of the distance from the image M to the viewer is [delta] 2 is an observer from the image M it may be larger than the threshold TH when the maximum value of the distance to it is [delta] 3.

設定された閾値THは帯域分離部11に入力され、帯域分離部11はこの閾値THに基づいて、第2実施形態の≪帯域分離部11の処理≫で説明したように、入力画像Pを2個の空間周波数帯域B,Bに分離し、各空間周波数帯域B(ただし、i=1,2)の画像成分Pを得て出力する。その他は第2実施形態およびその変形例1で説明した通りである。 The set threshold value TH is input to the band separation unit 11, and the band separation unit 11 converts the input image P into two based on the threshold value TH as described in {Processing of the band separation unit 11} of the second embodiment. It separates into spatial frequency bands B 1 and B 2 to obtain and output image components P i of each spatial frequency band B i (where i = 1, 2). Others are as described in the second embodiment and its first modification.

[第4実施形態]
観察者の視力が低い場合、観察距離どれだけ小さくしても、高空間周波数帯域の動きが明確に知覚できない可能性がある。そのため、観察者の視力が低い場合に、閾値THを低くし、観察者がすべての領域で与えられた動きを知覚できるようにしてもよい。
[Fourth embodiment]
When the observer has low visual acuity, no matter how small the observation distance is, the movement in the high spatial frequency band may not be clearly perceived. Therefore, when the eyesight of the observer is low, the threshold value TH may be reduced so that the observer can perceive the given motion in all the regions.

図1に例示するように、本形態の映像生成装置4は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、統合部15、および閾値設定部46を有する。第4実施形態の第2実施形態およびその変形例1からの相違点は、閾値設定部46が観察者の視力を表す指標を入力とし、視力に応じた閾値THを設定して出力する点である。ただし、視力を表す指標VAがVA(第1値)であるときの閾値THは、視力を表す指標VAがVA(第2値)であるときの閾値THよりも小さく、指標VAがVAであるときの視力は、指標VAがVAであるときの視力よりも悪い。例えば、観察者の視力が悪いほど閾値THを小さくしてもよいし、観察者の視力に対して閾値THが広義単調増加する関係(減少しない関係)にあってもよい。あるいは、観察者の視力が特定の範囲にあるときにだけ、視力を表す指標VAがVAであるときの閾値THが、視力を表す指標VAがVAであるときの閾値THよりも小さくてもよい。 As illustrated in FIG. 1, the video generation device 4 of the present embodiment includes a band separation unit 11, dynamic component generation units 12-1 and 12-2, weighted map storage units 13-1 and 13-2, and a superposition unit 14. -1, 14-2, the integration unit 15, and the threshold setting unit 46. The difference between the fourth embodiment and the second embodiment and the first modification thereof is that the threshold setting unit 46 receives an index representing the visual acuity of the observer as an input, sets a threshold TH according to the visual acuity, and outputs the threshold TH. is there. However, the threshold value TH when the index VA representing visual acuity is VA 1 (first value) is smaller than the threshold value TH when the index VA representing visual acuity is VA 2 (second value), and the index VA is VA. vision of time is 1, worse than the sight of when the index VA is VA 2. For example, the threshold value TH may be reduced as the visual acuity of the observer worsens, or the threshold TH may be broadly monotonically increased (not reduced) with respect to the visual acuity of the observer. Alternatively, only when the vision of the viewer is in a specific range, the threshold value TH at the time index representing the visual acuity VA is VA 1 is smaller than the threshold value TH at the time index representing the visual acuity VA is VA 2 Is also good.

設定された閾値THは帯域分離部11に入力され、帯域分離部11はこの閾値THに基づいて、第2実施形態の≪帯域分離部11の処理≫で説明したように、入力画像Pを2個の空間周波数帯域B,Bに分離し、各空間周波数帯域B(ただし、i=1,2)の画像成分Pを得て出力する。その他は第2実施形態およびその変形例1で説明した通りである。 The set threshold value TH is input to the band separation unit 11, and the band separation unit 11 converts the input image P into two based on the threshold value TH as described in {Processing of the band separation unit 11} of the second embodiment. It separates into spatial frequency bands B 1 and B 2 to obtain and output image components P i of each spatial frequency band B i (where i = 1, 2). Others are as described in the second embodiment and its first modification.

[第5実施形態]
観察者がすりガラスなど光を拡散する媒質を通して映像Mを観察する場合(図5Aおよび図5B)、媒質の光の拡散の度合いが大きいほど、カットオフ周波数を低く設定してもよい。
[Fifth Embodiment]
When the observer observes the image M through a medium that diffuses light, such as frosted glass (FIGS. 5A and 5B), the cutoff frequency may be set lower as the degree of light diffusion in the medium increases.

図1に例示するように、本形態の映像生成装置5は、帯域分離部11、動的成分生成部12−1,12−2、重み付け地図記憶部13−1,13−2、重畳部14−1,14−2、統合部15、および閾値設定部56を有する。第5実施形態の第2実施形態およびその変形例1からの相違点は、閾値設定部56が映像Mと観察者との間に介在する媒質の光の拡散度合を表す指標を入力とし、その拡散度合に応じた閾値THを設定して出力する点である。ただし、媒質の光の拡散度合を表す指標HがH(第1値)であるときの閾値は、媒質の光の拡散度合を表す指標がH(第2値)であるときの閾値よりも小さく、指標HがHであるときの光の拡散度合は、指標HがHであるときの光の拡散度合よりも大きい。例えば、媒質の光の拡散度合が大きいほど閾値THを小さくしてもよいし、媒質の光の拡散度合に対して閾値THが広義単調減少する関係にあってもよい。あるいは、媒質の光の拡散度合が特定の範囲にあるときにだけ、媒質の光の拡散度合を表す指標HがHであるときの閾値が、媒質の光の拡散度合を表す指標がHであるときの閾値よりも小さくてもよい。なお、媒質の光の拡散度合を表す指標Hの例は曇価(ヘイズ:HAZE)である。 As illustrated in FIG. 1, the video generation device 5 according to the present embodiment includes a band separation unit 11, dynamic component generation units 12-1 and 12-2, weighted map storage units 13-1 and 13-2, and a superposition unit 14. -1, 14-2, an integration unit 15, and a threshold setting unit 56. The difference of the fifth embodiment from the second embodiment and its modification 1 is that the threshold setting unit 56 receives an index indicating the degree of diffusion of light of a medium interposed between the image M and the observer as an input. The point is that a threshold value TH according to the diffusion degree is set and output. However, the threshold value when the index H indicating the degree of diffusion of light in the medium is H 1 (first value) is larger than the threshold value when the index indicating the degree of diffusion of light in the medium is H 2 (second value). is small, the diffusion degree of light when the index H is H 1 is greater than the degree of diffusion of light when the index H is H 2. For example, the threshold value TH may be reduced as the degree of light diffusion of the medium increases, or the threshold value TH may decrease in a broad sense monotonically with respect to the degree of light diffusion of the medium. Alternatively, only when the diffusion degree of light of the medium is in a particular range, threshold value when an index H representing the degree of diffusion of light of the medium is H 1 is the index indicating the degree of diffusion of light of the medium H 2 May be smaller than the threshold value when. Note that an example of the index H indicating the degree of diffusion of light in the medium is a haze (Haze).

設定された閾値THは帯域分離部11に入力され、帯域分離部11はこの閾値THに基づいて、第2実施形態の≪帯域分離部11の処理≫で説明したように、入力画像Pを2個の空間周波数帯域B,Bに分離し、各空間周波数帯域B(ただし、i=1,2)の画像成分Pを得て出力する。その他は第2実施形態およびその変形例1で説明した通りである。 The set threshold value TH is input to the band separation unit 11, and the band separation unit 11 converts the input image P into two based on the threshold value TH as described in {Processing of the band separation unit 11} of the second embodiment. It separates into spatial frequency bands B 1 and B 2 to obtain and output image components P i of each spatial frequency band B i (where i = 1, 2). Others are as described in the second embodiment and its first modification.

[第6実施形態]
図6に例示するように、第1〜5実施形態またはその変形例で得られた映像Mを入力とし、映像Mを提示する映像提示装置100、および、映像Mと観察者101との間に配置される拡散部材102とを有する映像提示システムが構成されてもよい。ただし、拡散部材102は映像Mと観察者101との間に介在させることが可能な媒質であり、光を拡散する性質を持つ。拡散部材102の例は、すりガラスである。前述したように、観察者101が拡散部材102を通して映像Mを見たときに観察者101が知覚する見え方は、観察者101が直接映像Mを見たときに観察者101が知覚する見え方と異なる。
[Sixth embodiment]
As illustrated in FIG. 6, a video presentation device 100 that receives a video M obtained in the first to fifth embodiments or its modifications and presents the video M, and between the video M and the observer 101 An image presentation system having the diffusion member 102 arranged may be configured. However, the diffusion member 102 is a medium that can be interposed between the image M and the observer 101, and has a property of diffusing light. An example of the diffusion member 102 is frosted glass. As described above, the appearance that the observer 101 perceives when the observer 101 views the image M through the diffusion member 102 is the appearance that the observer 101 perceives when the observer 101 directly views the image M. And different.

なお、第1〜5実施形態またはその変形例で得られた映像Mは動画であり、映像Mの領域R(第i領域)では、空間周波数帯域B(第i空間周波数帯域)に属する動的な映像成分PD(第iの動的な映像成分)と、空間周波数帯域B(第i空間周波数帯域と異なる空間周波数帯域)に属する静的な映像成分PS(第iの静的な映像成分)とが重畳されていた(ただし、i,j∈{1,…,N}かつj≠i)。しかし、第6実施形態の映像提示システムの映像提示装置100から提示される映像Mは、空間周波数帯域B(第1空間周波数帯域)に属する第1映像成分と、空間周波数帯域B(第i空間周波数帯域と異なる第2空間周波数帯域)に属する第2映像成分と、が重畳された領域を含む映像であれば、どのようなものであってもよい。例えば、映像Mが動画ではなく、静止画であってもよい。映像Mが静止画であったとしても、観察者101が拡散部材102を通して映像Mを見たときに観察者101が知覚する見え方は、観察者101が直接映像Mを見たときに観察者101が知覚する見え方と異なる。このように観察者101が拡散部材102を通して映像Mを見るか否かによって、異なる印象を与える技術はこれまで知られていない。さらに、映像Mから拡散部材102までの距離を離すと、より低い空間周波数成分のみが観察者101に提供される。また、より高い拡散度を持つ拡散部材102を設置することで、より低い空間周波数成分のみが観察者101に提供される。これらによって異なる印象を与える技術も知られていない。 The image M obtained in the first to fifth embodiments or its modifications is a moving image, and belongs to the spatial frequency band B i (i-th spatial frequency band) in the region R i (i-th region) of the image M. A dynamic video component PD i (i-th dynamic video component) and a static video component PS j (i-th static video band) belonging to a spatial frequency band B j (a spatial frequency band different from the i-th spatial frequency band) (I, j} 1,..., N} and j ≠ i). However, the video M presented from the video presentation device 100 of the video presentation system according to the sixth embodiment includes the first video component belonging to the spatial frequency band B i (first spatial frequency band) and the spatial frequency band B j (the Any video may be used as long as the video includes a region where the second video component belonging to the second spatial frequency band different from the i-spatial frequency band) is superimposed. For example, the video M may be a still image instead of a moving image. Even if the image M is a still image, the appearance that the observer 101 perceives when the observer 101 views the image M through the diffusion member 102 depends on the observer's view when the observer 101 directly views the image M. It is different from the appearance that 101 perceives. A technique for giving a different impression depending on whether or not the observer 101 views the image M through the diffusion member 102 has not been known so far. Further, when the distance from the image M to the diffusion member 102 is increased, only the lower spatial frequency components are provided to the observer 101. In addition, by installing the diffusion member 102 having a higher degree of diffusion, only the lower spatial frequency components are provided to the observer 101. There is no known technique that gives a different impression depending on these.

[その他の変形例等]
本発明は上述の実施の形態に限定されるものではない。例えば、重畳部14−i(ただし、i=1,…,N)の少なくとも何れかが、さらに付加映像を重畳して映像成分Mを得てもよい。また統合部15がさらに付加映像を重畳して映像Mを得てもよい。
[Other modified examples]
The present invention is not limited to the above embodiment. For example, superimposing unit 14-i (however, i = 1, ..., N ) of at least one of, may be obtained video component M i by superimposing further additional image. Further, the integrating unit 15 may obtain the video M by further superimposing the additional video.

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。   The various processes described above may be executed not only in chronological order as described, but also in parallel or individually according to the processing capability of the device that executes the process or as necessary. In addition, it goes without saying that changes can be made as appropriate without departing from the spirit of the present invention.

上記の各装置は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。   Each of the above devices is, for example, a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory). Is executed by executing a predetermined program. This computer may include one processor or memory, or may include a plurality of processors or memories. This program may be installed in a computer, or may be recorded in a ROM or the like in advance. Some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. You may. An electronic circuit constituting one device may include a plurality of CPUs.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。   When the above configuration is implemented by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the processing functions described above are realized on the computer. A program describing this processing content can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   The distribution of this program is carried out, for example, by selling, transferring, lending, or the like a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own storage device and executes a process according to the read program. As another execution form of this program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and further, each time the program is transferred from the server computer to this computer. The processing may be sequentially performed according to the received program. A configuration in which the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by executing instructions and obtaining results without transferring the program from the server computer to this computer is performed. Good.

コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。   Instead of executing a predetermined program on a computer to realize the processing functions of the present apparatus, at least a part of these processing functions may be realized by hardware.

1〜6 映像生成装置
100 映像提示装置
1-6 Image generation device 100 Image presentation device

Claims (14)

観察者と映像との距離、観察者の視力、映像と観察者との間に介在する媒質の光の拡散度合い、の少なくともいずれかに応じて、観察者が映像から知覚する空間周波数の違いに応じた、観察者が映像から受ける動きの印象が異なる映像を生成する映像生成装置であって、
互いに異なる第1領域と第2領域とを含む映像を生成する映像生成部を有し、
前記第1領域では、第1空間周波数帯域に属する第1の動的な映像成分と、前記第1空間周波数帯域と異なる空間周波数帯域に属する第1の静的な映像成分とが重畳されており、
前記第2領域では、前記第1空間周波数帯域と異なる第2空間周波数帯域に属する第2の動的な映像成分と、前記第2空間周波数帯域と異なる空間周波数帯域に属する第2の静的な映像成分とが重畳されており、
前記第1空間周波数帯域は、高空間周波数帯域を含み、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域を含み、
前記第2空間周波数帯域は、前記低空間周波数帯域を含み、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域を含む、映像生成装置。
Depending on at least one of the distance between the observer and the image, the observer's visual acuity, and the degree of diffusion of light in the medium interposed between the image and the observer, the difference in the spatial frequency perceived by the observer from the image An image generation device that generates an image having a different impression of a motion received by the observer from the image,
An image generation unit that generates an image including a first region and a second region that are different from each other;
In the first region, a first dynamic video component belonging to a first spatial frequency band and a first static video component belonging to a spatial frequency band different from the first spatial frequency band are superimposed. ,
In the second region, a second dynamic video component belonging to a second spatial frequency band different from the first spatial frequency band, and a second static video component belonging to a spatial frequency band different from the second spatial frequency band. Video components are superimposed,
The first spatial frequency band includes a high spatial frequency band,
The spatial frequency band different from the first spatial frequency band includes a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band includes the low spatial frequency band,
The video generation device, wherein a spatial frequency band different from the second spatial frequency band includes the high spatial frequency band.
請求項1の映像生成装置であって、
前記第1空間周波数帯域は、前記高空間周波数帯域であり、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域であり、
前記第2空間周波数帯域は、前記低空間周波数帯域であり、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域である、映像生成装置。
The video generation device according to claim 1,
The first spatial frequency band is the high spatial frequency band,
The spatial frequency band different from the first spatial frequency band is a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band is the low spatial frequency band,
The video generation device, wherein a spatial frequency band different from the second spatial frequency band is the high spatial frequency band.
請求項2の映像生成装置であって、
前記映像から観察者までの距離の範囲を表す情報を入力とし、前記距離の範囲に応じた閾値を設定する閾値設定部を有し、
前記高空間周波数帯域は、絶対値が前記閾値以上または前記閾値を超える空間周波数からなり、
前記低空間周波数帯域は、絶対値が前記閾値未満もしくは前記閾値の近傍未満、または絶対値が前記閾値以下もしくは前記閾値の近傍以下の空間周波数からなる、映像生成装置。
The video generation device according to claim 2,
The information representing the range of the distance from the video to the observer is input, and has a threshold setting unit that sets a threshold according to the range of the distance,
The high spatial frequency band comprises a spatial frequency whose absolute value is equal to or greater than the threshold or greater than the threshold,
The video generation device, wherein the low spatial frequency band includes a spatial frequency whose absolute value is less than the threshold or less than the vicinity of the threshold or whose absolute value is equal to or less than the threshold or equal to or less than the vicinity of the threshold.
請求項3の映像生成装置であって、
前記映像から前記観察者までの距離の最大値が第1値であるときの前記閾値は、前記映像から前記観察者までの距離の最大値が第2値であるときの前記閾値よりも大きく、
前記第1値が前記第2値よりも小さい、映像生成装置。
The video generation device according to claim 3,
The threshold value when the maximum value of the distance from the image to the observer is the first value is larger than the threshold value when the maximum value of the distance from the image to the observer is the second value,
The image generation device, wherein the first value is smaller than the second value.
請求項2の映像生成装置であって、
観察者の視力を表す指標を入力とし、前記視力に応じた閾値を設定する閾値設定部を有し、
前記高空間周波数帯域は、絶対値が前記閾値以上または前記閾値を超える空間周波数からなり、
前記低空間周波数帯域は、絶対値が前記閾値未満もしくは前記閾値の近傍未満、または絶対値が前記閾値以下もしくは前記閾値の近傍以下の空間周波数からなる、映像生成装置。
The video generation device according to claim 2,
An index representing the visual acuity of the observer is input, and has a threshold setting unit that sets a threshold according to the visual acuity,
The high spatial frequency band comprises a spatial frequency whose absolute value is equal to or greater than the threshold or greater than the threshold,
The video generation device, wherein the low spatial frequency band includes a spatial frequency whose absolute value is less than the threshold or less than the vicinity of the threshold or whose absolute value is equal to or less than the threshold or equal to or less than the vicinity of the threshold.
請求項5の映像生成装置であって、
前記視力を表す指標が第1値であるときの前記閾値は、前記視力を表す指標が第2値であるときの前記閾値よりも小さく、
前記指標が前記第1値であるときの前記視力は、前記指標が前記第2値であるときの前記視力よりも悪い、映像生成装置。
The video generation device according to claim 5,
The threshold value when the index representing the visual acuity is a first value is smaller than the threshold value when the index representing the visual acuity is a second value,
The image generation device, wherein the visual acuity when the index is the first value is worse than the visual acuity when the index is the second value.
請求項2の映像生成装置であって、
前記映像と観察者との間に介在する媒質の光の拡散度合を表す指標を入力とし、前記拡散度合に応じた閾値を設定する閾値設定部を有し、
前記高空間周波数帯域は、絶対値が前記閾値以上または前記閾値を超える空間周波数からなり、
前記低空間周波数帯域は、絶対値が前記閾値未満もしくは前記閾値の近傍未満、または絶対値が前記閾値以下もしくは前記閾値の近傍以下の空間周波数からなる、映像生成装置。
The video generation device according to claim 2,
An index indicating the degree of diffusion of the light of the medium interposed between the image and the observer is input, and has a threshold setting unit that sets a threshold according to the degree of diffusion.
The high spatial frequency band comprises a spatial frequency whose absolute value is equal to or greater than the threshold or greater than the threshold,
The video generation device, wherein the low spatial frequency band includes a spatial frequency whose absolute value is less than the threshold or less than the vicinity of the threshold or whose absolute value is equal to or less than the threshold or equal to or less than the vicinity of the threshold.
請求項7の映像生成装置であって、
前記光の拡散度合を表す指標が第1値であるときの前記閾値は、前記光の拡散度合を表す指標が第2値であるときの前記閾値よりも小さく、
前記指標が第1値であるときの前記光の拡散度合は、前記指標が第2値であるときの前記光の拡散度合よりも大きい、映像生成装置。
The video generation device according to claim 7,
The threshold when the index indicating the degree of light diffusion is a first value is smaller than the threshold when the index indicating the degree of light diffusion is a second value,
The image generation device, wherein the degree of diffusion of the light when the index is the first value is larger than the degree of diffusion of the light when the index is the second value.
請求項1から8の何れかの映像生成装置であって、
(1)前記第1の動的な映像成分の動き方と前記第2の動的な映像成分の動き方とが同一であるか近似し、かつ、
(2−1)前記第1の静的な映像成分と前記第2の静的な映像成分とが静止成分であるか、または、(2−2)前記第1の静的な映像成分は前記第1の動的な映像成分よりも動きの小さな成分であり、前記第2の静的な映像成分は前記第2の動的な映像成分よりも動きの小さな成分であり、前記第1の静的な映像成分の動き方と前記第2の静的な映像成分の動き方とが同一であるか近似する、映像生成装置。
The video generation device according to claim 1, wherein:
(1) the way of movement of the first dynamic image component and the way of movement of the second dynamic image component are the same or approximate, and
(2-1) the first static video component and the second static video component are still components, or (2-2) the first static video component is The second static video component is a component having a smaller motion than the first dynamic video component, and the second static video component is a component having a smaller motion than the second dynamic video component. A video image generating apparatus, wherein a typical video component moves in the same way as or similar to the second static video component.
請求項1から9の何れかの映像生成装置であって、
前記第1の動的な映像成分および前記第2の動的な映像成分の動きは周期的な振動である、映像生成装置。
The video generation device according to any one of claims 1 to 9,
The image generation device, wherein the movement of the first dynamic image component and the second dynamic image component is a periodic vibration.
請求項1から10の何れかの映像生成装置であって、
前記映像生成部は、
前記第1領域で前記第1の動的な映像成分と前記第1の静的な映像成分とを重畳した第1映像成分を得る第1重畳部と、
前記第2領域で前記第2の動的な映像成分と前記第2の静的な映像成分とを重畳した第2映像成分を得る第2重畳部と、
少なくとも前記第1映像成分と前記第2映像成分とを重畳して前記映像を得る統合部とを含む、映像生成装置。
The video generation device according to any one of claims 1 to 10,
The image generation unit,
A first superimposing unit that obtains a first video component in which the first dynamic video component and the first static video component are superimposed in the first region;
A second superimposing unit that obtains a second video component in which the second dynamic video component and the second static video component are superimposed in the second region;
An image generation device, comprising: an integration unit that obtains the image by at least superimposing the first image component and the second image component.
観察者と映像との距離、観察者の視力、映像と観察者との間に介在する媒質の光の拡散度合い、の少なくともいずれかに応じて、観察者が映像から知覚する空間周波数の違いに応じた、観察者が映像から受ける動きの印象が異なる映像を提示する映像提示システムであって、
第1空間周波数帯域に属する第1映像成分と、前記第1空間周波数帯域と異なる第2空間周波数帯域に属する第2映像成分と、が重畳された領域を含む映像を提示する映像提示装置と、
前記映像と観察者との間に介在させることが可能な媒質であり、光を拡散する性質を持つ拡散部材と、を有し、
前記観察者が前記拡散部材を通して前記映像を見たときに前記観察者が知覚する見え方は、前記観察者が直接前記映像を見たときに前記観察者が知覚する見え方と異なり、
前記第1空間周波数帯域は、高空間周波数帯域を含み、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域を含み、
前記第2空間周波数帯域は、前記低空間周波数帯域を含み、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域を含む、映像提示システム。
Depending on at least one of the distance between the observer and the image, the observer's visual acuity, and the degree of diffusion of light in the medium interposed between the image and the observer, the difference in the spatial frequency perceived by the observer from the image An image presentation system that presents images having different impressions of movements received by the observer from the images,
A video presentation device that presents a video including a region where a first video component belonging to a first spatial frequency band and a second video component belonging to a second spatial frequency band different from the first spatial frequency band are superimposed;
A diffusion member having a property of diffusing light, which is a medium that can be interposed between the image and the observer,
The appearance perceived by the observer when the observer views the image through the diffusion member is different from the appearance perceived by the observer when the observer directly views the image,
The first spatial frequency band includes a high spatial frequency band,
The spatial frequency band different from the first spatial frequency band includes a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band includes the low spatial frequency band,
The video presentation system, wherein a spatial frequency band different from the second spatial frequency band includes the high spatial frequency band.
観察者と映像との距離、観察者の視力、映像と観察者との間に介在する媒質の光の拡散度合い、の少なくともいずれかに応じて、観察者が映像から知覚する空間周波数の違いに応じた、観察者が映像から受ける動きの印象が異なる映像を生成する映像生成方法であって、
互いに異なる第1領域と第2領域とを含む映像を生成する映像生成ステップを有し、
前記第1領域では、第1空間周波数帯域に属する第1の動的な映像成分と、前記第1空間周波数帯域と異なる空間周波数帯域に属する第1の静的な映像成分とが重畳されており、
前記第2領域では、前記第1空間周波数帯域と異なる第2空間周波数帯域に属する第2の動的な映像成分と、前記第2空間周波数帯域と異なる空間周波数帯域に属する第2の静的な映像成分とが重畳されており、
前記第1空間周波数帯域は、高空間周波数帯域を含み、
前記第1空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域と異なる低空間周波数帯域を含み、
前記第2空間周波数帯域は、前記低空間周波数帯域を含み、
前記第2空間周波数帯域と異なる空間周波数帯域は、前記高空間周波数帯域を含む、映像生成方法。
Depending on at least one of the distance between the observer and the image, the observer's visual acuity, and the degree of diffusion of light in the medium interposed between the image and the observer, the difference in the spatial frequency perceived by the observer from the image A video generation method for generating a video having a different impression of a motion received by the observer from the video,
An image generation step of generating an image including a first region and a second region different from each other,
In the first region, a first dynamic video component belonging to a first spatial frequency band and a first static video component belonging to a spatial frequency band different from the first spatial frequency band are superimposed. ,
In the second region, a second dynamic video component belonging to a second spatial frequency band different from the first spatial frequency band, and a second static video component belonging to a spatial frequency band different from the second spatial frequency band. Video components are superimposed,
The first spatial frequency band includes a high spatial frequency band,
The spatial frequency band different from the first spatial frequency band includes a low spatial frequency band different from the high spatial frequency band,
The second spatial frequency band includes the low spatial frequency band,
The image generation method, wherein a spatial frequency band different from the second spatial frequency band includes the high spatial frequency band.
請求項1から11の何れかの映像生成装置としてコンピュータを機能させるためのプログラム。 Program for causing a computer to function to claims 1 and any of the video generation equipment 11.
JP2017093135A 2017-05-09 2017-05-09 Video generation apparatus, video presentation system, method, and program Active JP6666298B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017093135A JP6666298B2 (en) 2017-05-09 2017-05-09 Video generation apparatus, video presentation system, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017093135A JP6666298B2 (en) 2017-05-09 2017-05-09 Video generation apparatus, video presentation system, method, and program

Publications (2)

Publication Number Publication Date
JP2018190233A JP2018190233A (en) 2018-11-29
JP6666298B2 true JP6666298B2 (en) 2020-03-13

Family

ID=64479653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017093135A Active JP6666298B2 (en) 2017-05-09 2017-05-09 Video generation apparatus, video presentation system, method, and program

Country Status (1)

Country Link
JP (1) JP6666298B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084436B2 (en) * 2020-02-19 2022-06-14 株式会社平和 Pachinko machine

Also Published As

Publication number Publication date
JP2018190233A (en) 2018-11-29

Similar Documents

Publication Publication Date Title
AU2017246716B2 (en) Efficient determination of optical flow between images
US10275855B2 (en) Image demosaicing for hybrid optical sensor arrays
KR101775253B1 (en) Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video
US9286658B2 (en) Image enhancement
KR101690297B1 (en) Image converting device and three dimensional image display device including the same
US20180197274A1 (en) Image demosaicing for hybrid optical sensor arrays
US20110229024A1 (en) Devices and Methods for Processing Images Using Scale Space
KR101377733B1 (en) -up-scaling
US20210004969A1 (en) Multi-level optical flow estimation framework for stereo pairs of images based on spatial partitioning
JP2018537748A (en) Light field rendering of images with variable computational complexity
KR20130132922A (en) Multi-sample resolving of re-projection of two-dimensional image
US20120176367A1 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
US10298914B2 (en) Light field perception enhancement for integral display applications
CN110290285A (en) Image processing method, image processing apparatus, image processing system and medium
JP6666298B2 (en) Video generation apparatus, video presentation system, method, and program
US11062424B2 (en) Systems and methods for motion adaptive filtering as pre-process to video encoding
KR20170038526A (en) Method and apparatus for processing holographic image
US20130120461A1 (en) Image processor and image processing method
US20220108420A1 (en) Method and system of efficient image rendering for near-eye light field displays
WO2011121563A1 (en) Detecting saliency in an image
JP5545059B2 (en) Moving image processing method, moving image processing apparatus, and moving image processing program
JP5515864B2 (en) Image processing method, image processing apparatus, and image processing program
US11350065B2 (en) Video generation device, video generation method, and program
JP6305942B2 (en) Image texture operation method, image texture operation device, and program
JP2018182353A (en) Video generation apparatus, video generation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200220

R150 Certificate of patent or registration of utility model

Ref document number: 6666298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150