JP7300294B2 - 3D image transmission system, 3D image transmission device and 3D image display device - Google Patents

3D image transmission system, 3D image transmission device and 3D image display device Download PDF

Info

Publication number
JP7300294B2
JP7300294B2 JP2019059710A JP2019059710A JP7300294B2 JP 7300294 B2 JP7300294 B2 JP 7300294B2 JP 2019059710 A JP2019059710 A JP 2019059710A JP 2019059710 A JP2019059710 A JP 2019059710A JP 7300294 B2 JP7300294 B2 JP 7300294B2
Authority
JP
Japan
Prior art keywords
stereoscopic image
viewpoint
display device
angle
viewing position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059710A
Other languages
Japanese (ja)
Other versions
JP2020161995A (en
Inventor
菊文 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2019059710A priority Critical patent/JP7300294B2/en
Publication of JP2020161995A publication Critical patent/JP2020161995A/en
Application granted granted Critical
Publication of JP7300294B2 publication Critical patent/JP7300294B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、視聴者の視点に対応した立体画像で構成される立体画像群を伝送する立体画像伝送システム、立体画像送信装置及び立体画像表示装置に関する。 The present invention relates to a stereoscopic image transmission system, a stereoscopic image transmission device, and a stereoscopic image display device for transmitting a stereoscopic image group composed of stereoscopic images corresponding to a viewer's viewpoint.

任意の視点から自由に見られる立体映像方式として、インテグラルフォトグラフィ(IP:Integral Photography)方式が知られている(例えば、特許文献1及び非特許文献1)。このIP方式では、例えば、図9(a)に示すような撮影装置100により被写体110の3次元映像を撮影している。図9(a)に示すように、撮影時には、撮影装置100は、撮影用の要素レンズ120,120…,120,…,120が平面内に配列された撮影用の要素レンズ群120を介して被写体110を撮影する。ただし、n>i>2を満たす整数である。撮影装置100では、撮像素子130上に各撮影用の要素レンズ120によって被写体110の像(視点毎の要素画像140,140,…,140,…,140)が形成され、被写体110の要素画像群140が撮影される。 Integral photography (IP: Integral Photography) is known as a stereoscopic video system that allows viewing freely from any viewpoint (for example, Patent Document 1 and Non-Patent Document 1). In this IP method, for example, a three-dimensional image of a subject 110 is captured by an imaging device 100 as shown in FIG. 9(a). As shown in FIG. 9A, at the time of photographing, the photographing apparatus 100 includes a photographing element lens group in which photographing element lenses 120 1 , 120 2 . . . , 120 i , . A subject 110 is photographed via 120 . However, it is an integer that satisfies n>i>2. In the imaging device 100, an image of the subject 110 (elemental images 140 1 , 140 2 , . . . , 140 i , . A group of 110 elemental images 140 are captured.

図9(b)に示すように、表示時には、表示装置200が用いられる。視聴者Wは、被写体110を撮影した要素画像群140が表示された表示素子150を、表示用の要素レンズ160,160,…,160,…,160からなる要素レンズ群160を通して見ることで、被写体110の3次元映像(立体再生映像)170を視聴できる。 As shown in FIG. 9B, a display device 200 is used for display. The viewer W views the display element 150 displaying the elemental image group 140 photographing the subject 110 through the elemental lens group 160 composed of the elemental lenses 160i , 1602 , . . . , 160i, . A three-dimensional image (stereoscopic reproduction image) 170 of the subject 110 can be viewed by viewing.

特開2013-160808号公報JP 2013-160808 A

立体テレビ研究の概要、菊池宏、NHK技研 R&D、No.166、2017年11月Overview of 3D Television Research, Hiroshi Kikuchi, NHK Giken R&D, No.166, November 2017

ここで、前記した要素画像群を視聴者に提供するIP立体画像伝送システムについて検討する。従来のIP立体画像伝送システムでは、データ量が膨大な要素画像を同一の伝送レートで伝送するため、伝送負荷が増大するという問題がある。その一方、従来のIP立体画像伝送システムでは、伝送レートを低下させた場合、伝送負荷を軽減できるものの、要素画像の品質が低下してしまう。つまり、従来のIP立体画像伝送システムでは、要素画像の伝送レートを低下させつつ、要素画像の品質劣化を抑制するのが困難であった。 Here, an IP stereoscopic image transmission system that provides the viewer with the above-described elemental image group will be examined. In the conventional IP stereoscopic image transmission system, since elemental images with a huge amount of data are transmitted at the same transmission rate, there is a problem that the transmission load increases. On the other hand, in the conventional IP stereoscopic image transmission system, when the transmission rate is lowered, although the transmission load can be reduced, the quality of the elemental images is degraded. In other words, in the conventional IP stereoscopic image transmission system, it was difficult to reduce the transmission rate of the elemental images while suppressing quality deterioration of the elemental images.

そこで、本発明は、立体画像の伝送レートを低下させつつ、立体画像の品質劣化を抑制できる立体画像伝送システム、立体画像送信装置及び立体画像表示装置を提供することを課題とする。 Accordingly, it is an object of the present invention to provide a stereoscopic image transmission system, a stereoscopic image transmission device, and a stereoscopic image display device capable of suppressing quality deterioration of stereoscopic images while reducing the transmission rate of stereoscopic images.

前記した課題に鑑みて、本発明に係る立体画像伝送システムは、各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、立体画像表示装置に立体画像群を送信する立体画像送信装置と、を備える構成とした。 In view of the above problems, a stereoscopic image transmission system according to the present invention provides a stereoscopic image display device that displays a stereoscopic image group composed of stereoscopic images corresponding to each viewpoint, and transmits the stereoscopic image group to the stereoscopic image display device. and a stereoscopic image transmission device.

立体画像表示装置は、立体画像送信装置から立体画像群を受信し、受信した立体画像群を復号する復号部と、復号部が復号した立体画像群を表示する表示部と、視聴者の視聴位置を検出し、検出した視聴位置を立体画像送信装置に送信する検出部と、を備える。 The stereoscopic image display device includes a decoding unit that receives a stereoscopic image group from the stereoscopic image transmission device and decodes the received stereoscopic image group, a display unit that displays the stereoscopic image group decoded by the decoding unit, and a viewer's viewing position. and a detection unit that detects the viewing position and transmits the detected viewing position to the stereoscopic image transmission device.

また、立体画像送信装置は、立体画像表示装置から視聴位置を受信し、受信した視聴位置から表示画面に予め設定された各視点位置に向かう方向と表示画面とのなす角を算出し、算出したなす角が小さくなる視点に対応する立体画像の伝送レートを、なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、立体画像群を符号化し、符号化した立体画像群を立体画像表示装置に送信する符号化部と、を備える。 Further, the stereoscopic image transmission device receives the viewing position from the stereoscopic image display device, and calculates the angle formed between the display screen and the direction from the received viewing position to each viewpoint position preset on the display screen. a control unit that lowers the transmission rate of a stereoscopic image corresponding to a viewpoint with a smaller angle than the transmission rate of another stereoscopic image that corresponds to a viewpoint with a larger angle; and an encoding unit that transmits the image group to the stereoscopic image display device.

つまり、立体画像伝送システムは、オブジェクトの移動角速度が小さくなるとストロボ効果が低減することを利用し、視聴位置と表示画面上の各視点位置とのなす角が小さくなる視点に対応した立体画像の伝送レートを低下させる。 In other words, the 3D image transmission system utilizes the fact that the strobe effect decreases as the moving angular velocity of an object decreases, and transmits 3D images corresponding to viewpoints where the angle between the viewing position and each viewpoint position on the display screen becomes small. lower the rate.

なお、本発明は、前記した立体画像伝送システムが備える立体画像送信装置、又は、立体画像表示装置により実現可能である。 The present invention can be realized by the stereoscopic image transmission device or the stereoscopic image display device provided in the stereoscopic image transmission system described above.

本発明によれば、立体画像の伝送レートを低下させつつ、立体画像の品質劣化を抑制できるので、符号化処理の演算量や伝送帯域を低減し、立体画像を効率的に伝送することができる。 According to the present invention, it is possible to reduce the quality deterioration of stereoscopic images while reducing the transmission rate of stereoscopic images. .

(a)及び(b)は、本発明の原理を説明する説明図である。(a) and (b) are explanatory diagrams for explaining the principle of the present invention. 第1実施形態に係る立体画像伝送システムの概略構成図である。1 is a schematic configuration diagram of a stereoscopic image transmission system according to a first embodiment; FIG. 第1実施形態に係る立体画像伝送システムの構成を示すブロック図である。1 is a block diagram showing the configuration of a stereoscopic image transmission system according to a first embodiment; FIG. (a)及び(b)は、第1実施形態において、フレームレート制御の第1例を説明する説明図である。(a) and (b) are explanatory diagrams for explaining a first example of frame rate control in the first embodiment. (a)及び(b)は、第1実施形態において、なす角とフレームレートとの対応関係を説明する説明図である。(a) and (b) is explanatory drawing explaining the correspondence of the angle|corner to form, and a frame rate in 1st Embodiment. (a)及び(b)は、第1実施形態において、フレームレート制御の第2例を説明する説明図である。(a) and (b) are explanatory diagrams for explaining a second example of frame rate control in the first embodiment. 第1実施形態に係る立体画像伝送システムの動作を示すフローチャートである。4 is a flow chart showing the operation of the stereoscopic image transmission system according to the first embodiment; 第2実施形態において、伝送レートの制御を説明する説明図である。FIG. 11 is an explanatory diagram for explaining transmission rate control in the second embodiment; (a)及び(b)は従来技術を説明する説明図である。(a) and (b) are explanatory diagrams for explaining the prior art.

以下、本発明の原理を説明した後、本発明の各実施形態を詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。 Hereinafter, after explaining the principle of the present invention, each embodiment of the present invention will be explained in detail. In addition, in each embodiment, the same code|symbol was attached|subjected to the same means, and description was abbreviate|omitted.

(本発明の原理)
図1を参照し、本発明の原理について説明する。
図1(a)に示すように、一般的なディスプレイの表示画面90の正面に視聴者Wが位置し、視聴者Wが表示画面90の中央を向いている場合を考える。この場合、視聴者Wの視線方向と表示画面90の各位置とのなす角θは、視聴者Wの視聴位置と表示画面90の各位置との相対的な関係で定まる。つまり、表示画面90の中央では、なす角θが大きくなる一方、表示画面90の右端では、なす角θが小さくなる。
(Principle of the present invention)
The principle of the present invention will be described with reference to FIG.
As shown in FIG. 1A, consider a case where a viewer W is positioned in front of a display screen 90 of a general display, and the viewer W faces the center of the display screen 90 . In this case, the angle ? That is, at the center of the display screen 90, the formed angle θ C increases, while at the right end of the display screen 90, the formed angle θ R decreases.

表示画面90に表示されている画像上でオブジェクト91が移動している場合を考える。この場合、図1(b)に示すように、表示画面90の端に行くにしたがい(つまり、なす角θが小さくなるにしたがい)、視聴者Wから見たオブジェクト91の移動速度(移動角速度ω)は小さくなる。 Consider the case where the object 91 is moving on the image displayed on the display screen 90 . In this case, as shown in FIG. 1B, the moving speed of the object 91 (moving angular velocity ω ) becomes smaller.

ここで、表示画面90上でオブジェクト91が移動しているとき、オブジェクト91が多重に見えることがある。この現象は、ストロボ効果と呼ばれるものであり、テレビジョン等の映像メディアの主観的な品質を劣化させる要因である(参考文献1参照)。このストロボ効果は、オブジェクト91の移動角速度ωとフレームレート(伝送レート)との関係で発生することが知られている。オブジェクト91の移動角速度ωが小さくなると、ストロボ効果が発生するフレームレートが低くなる。つまり、オブジェクト91の移動角速度ωが小さければ、フレームレートを低くしても、ストロボ効果が発生しにくくなる。 Here, when the object 91 is moving on the display screen 90, the object 91 may appear multiple. This phenomenon is called a strobe effect, and is a factor that degrades the subjective quality of video media such as television (see Reference 1). It is known that this strobe effect occurs due to the relationship between the moving angular velocity ω of the object 91 and the frame rate (transmission rate). As the moving angular velocity ω of the object 91 decreases, the frame rate at which the strobe effect occurs decreases. That is, if the moving angular velocity ω of the object 91 is small, the strobe effect is less likely to occur even if the frame rate is lowered.

参考文献1:「撮像のフレーム周波数・開口率をパラメータとしたジャーキネスの主観評価」、大村ほか、映像情報メディア学会技術報告、2009年、Vol.33、No.6 Reference 1: “Subjective evaluation of jerkiness using imaging frame frequency and aperture ratio as parameters”, Omura et al., Institute of Image Information and Television Engineers Technical Report, 2009, Vol. 6

そこで、立体画像伝送システム1(図2)は、オブジェクト91の移動角速度ωが小さくなるとストロボ効果が低減することを利用し、視聴者Wの視聴位置と表示画面の各視点位置とのなす角θが小さくなる視点に対応した要素画像のフレームレートを低下させる。これにより、立体画像伝送システム1は、要素画像のフレームレートを低下させつつ、要素画像の品質劣化を抑制することができる。 Therefore, the stereoscopic image transmission system 1 (FIG. 2) uses the fact that the stroboscopic effect is reduced when the movement angular velocity ω of the object 91 is reduced, and the angle θ between the viewing position of the viewer W and each viewpoint position on the display screen reduces the frame rate of the elemental image corresponding to the viewpoint for which . As a result, the stereoscopic image transmission system 1 can suppress quality deterioration of the element images while reducing the frame rate of the element images.

(第1実施形態)
[立体画像伝送システムの全体構成]
図2を参照し、立体画像伝送システム1の全体構成について説明する。
図2に示すように、立体画像伝送システム1は、IP方式の要素画像群(立体画像群)を立体画像送信装置2から立体画像表示装置3に送信するものであり、立体画像送信装置2と、立体画像表示装置3とを備える。本実施形態では、立体画像送信装置2及び立体画像表示装置3が、インターネット等のネットワークで接続されていることとする。
(First embodiment)
[Overall Configuration of Stereoscopic Image Transmission System]
The overall configuration of the stereoscopic image transmission system 1 will be described with reference to FIG.
As shown in FIG. 2, a stereoscopic image transmission system 1 transmits a group of IP-based element images (a group of stereoscopic images) from a stereoscopic image transmission device 2 to a stereoscopic image display device 3. , and a stereoscopic image display device 3 . In this embodiment, it is assumed that the stereoscopic image transmission device 2 and the stereoscopic image display device 3 are connected via a network such as the Internet.

立体画像送信装置2は、各視点に対応する要素画像で構成される要素画像群を予め記憶し、ネットワークを介して、記憶した要素画像群を立体画像表示装置3に送信するものである。このとき、立体画像送信装置2は、立体画像表示装置3から視聴者Wの視聴位置を受信し、受信した視聴位置に基づいて、各要素画像のフレームレートを制御する。例えば、立体画像送信装置2は、後記する各手段(図3)を備えるネットワーク配信サーバである。 The stereoscopic image transmission device 2 stores in advance an elemental image group composed of elemental images corresponding to each viewpoint, and transmits the stored elemental image group to the stereoscopic image display device 3 via a network. At this time, the stereoscopic image transmission device 2 receives the viewing position of the viewer W from the stereoscopic image display device 3, and controls the frame rate of each elemental image based on the received viewing position. For example, the stereoscopic image transmission device 2 is a network distribution server including means (FIG. 3) to be described later.

立体画像表示装置3は、ネットワークを介して、立体画像送信装置2から要素画像群を受信し、受信した要素画像群を表示画面35aに表示するものである。例えば、立体画像表示装置3は、従来技術と同様、要素レンズ31が2次元方向に配列された要素レンズ群32を備えるIP立体画像表示装置である。また、立体画像表示装置3は、視聴者Wの視聴位置を検出する視聴位置検出部33がディスプレイ上部に配置されている。 The stereoscopic image display device 3 receives the elemental image group from the stereoscopic image transmission device 2 via the network, and displays the received elemental image group on the display screen 35a. For example, the stereoscopic image display device 3 is an IP stereoscopic image display device that includes an element lens group 32 in which element lenses 31 are arranged in two-dimensional directions, as in the prior art. In the stereoscopic image display device 3, a viewing position detection unit 33 for detecting the viewing position of the viewer W is arranged above the display.

[立体画像送信装置の構成]
図3を参照し、立体画像送信装置2の構成について説明する。
図3に示すように、立体画像送信装置2は、要素画像群記憶部21と、伝送レート制御部(制御部)22と、符号化部23とを備える。
[Configuration of Stereoscopic Image Transmission Device]
The configuration of the stereoscopic image transmission device 2 will be described with reference to FIG.
As shown in FIG. 3 , the stereoscopic image transmission device 2 includes an element image group storage section 21 , a transmission rate control section (control section) 22 and an encoding section 23 .

要素画像群記憶部21は、所望の要素画像群を予め記憶するメモリ、HDD(Hard Disk Drive)等の記憶装置である。この要素画像群記憶部21は、後記する伝送レート制御部22によって参照される。 The elemental image group storage unit 21 is a storage device such as a memory or HDD (Hard Disk Drive) that stores a desired elemental image group in advance. This elemental image group storage unit 21 is referred to by a transmission rate control unit 22, which will be described later.

伝送レート制御部22は、立体画像表示装置3から視聴位置を受信し、受信した視聴位置と表示画面35aに予め設定した各視点位置とのなす角θを算出するものである。このように、立体画像表示装置3から受信した視聴位置から、視聴者Wの視聴位置と表示画面35a上の各視点位置との相対的な位置関係(なす角θ)が得られる。そこで、伝送レート制御部22は、前記したようにストロボ効果が低減することを利用し、フレームレートを制御する。具体的には、伝送レート制御部22は、なす角θが小さくなる視点に対応する立体画像の伝送レートを、なす角θが大きくなる視点に対応する他の立体画像の伝送レートより低くする。言い換えるなら、伝送レート制御部22は、なす角θが大きくなる視点に対応する他の要素画像のフレームレートを、なす角θが小さくなる視点に対応する要素画像のフレームレートより高くする。
その後、伝送レート制御部22は、ネットワークを介して、フレームレートが制御された要素画像群を符号化部23に出力する。
The transmission rate control unit 22 receives the viewing position from the stereoscopic image display device 3, and calculates the angle θ between the received viewing position and each viewpoint position preset on the display screen 35a. Thus, from the viewing position received from the stereoscopic image display device 3, the relative positional relationship (angle θ) between the viewing position of the viewer W and each viewpoint position on the display screen 35a can be obtained. Therefore, the transmission rate control unit 22 controls the frame rate by utilizing the fact that the strobe effect is reduced as described above. Specifically, the transmission rate control unit 22 makes the transmission rate of a stereoscopic image corresponding to a viewpoint with a small angle θ lower than the transmission rate of other stereoscopic images corresponding to a viewpoint with a large angle θ. In other words, the transmission rate control unit 22 makes the frame rate of other elemental images corresponding to viewpoints with a large angle θ higher than the frame rate of elemental images corresponding to viewpoints with a small angle θ.
After that, the transmission rate control unit 22 outputs the element image group whose frame rate is controlled to the encoding unit 23 via the network.

符号化部23は、伝送レート制御部22から入力された要素画像群を符号化し、ネットワークを介して、符号化した要素画像群を立体画像表示装置3に送信するものである。つまり、符号化部23は、フレームレートが制御された要素画像群を符号化し、要素画像群のストリームを送信する。 The encoding unit 23 encodes the elemental image group input from the transmission rate control unit 22, and transmits the encoded elemental image group to the stereoscopic image display device 3 via the network. That is, the encoding unit 23 encodes the elemental image group whose frame rate is controlled, and transmits a stream of the elemental image group.

符号化部23は、任意の符号化方式を用いることができる。また、符号化部23は、要素画像同士の相関が高く冗長性が多いので、各要素画像を相互に予測する符号化方式を用いることが好ましい。これにより、符号化部23は、高い相関を十分に活用し、符号化効率を高めることができる。
さらに、符号化部23は、圧縮されたストリームに階層構造をもたせる階層符号化方式を用いてもよい。
The encoding unit 23 can use any encoding method. Further, since the element images are highly correlated with each other and have a lot of redundancy, the encoding unit 23 preferably uses an encoding method that predicts each element image with respect to the other. Thereby, the encoding unit 23 can fully utilize the high correlation and improve the encoding efficiency.
Furthermore, the encoding unit 23 may use a hierarchical encoding method that gives a layered structure to the compressed stream.

[立体画像表示装置の構成]
図3を参照し、立体画像表示装置3の構成について説明する。
図3に示すように、立体画像表示装置3は、視聴位置検出部(検出部)33と、復号部34と、表示部35とを備える。
[Configuration of stereoscopic image display device]
The configuration of the stereoscopic image display device 3 will be described with reference to FIG.
As shown in FIG. 3 , the stereoscopic image display device 3 includes a viewing position detection section (detection section) 33 , a decoding section 34 and a display section 35 .

視聴位置検出部33は、視聴者Wの視聴位置を検出し、ネットワークを介して、検出した視聴位置を立体画像送信装置2に送信するものである。ここで、視聴位置検出部33は、立体画像表示装置3が立体画像を表示している間、リアルタイムで視聴者Wの視聴位置を検出する。また、視聴位置検出部33は、任意の視聴位置検出手法を用いることができる。例えば、視聴位置検出部33としては、測距センサ(赤外線センサ)やステレオカメラがあげられる。 The viewing position detection unit 33 detects the viewing position of the viewer W, and transmits the detected viewing position to the stereoscopic image transmission device 2 via the network. Here, the viewing position detection unit 33 detects the viewing position of the viewer W in real time while the stereoscopic image display device 3 is displaying the stereoscopic image. Also, the viewing position detection unit 33 can use any viewing position detection method. For example, the viewing position detection unit 33 may be a distance measuring sensor (infrared sensor) or a stereo camera.

復号部34は、ネットワークを介して、立体画像送信装置2から要素画像群を受信し、受信した要素画像群を復号するものである。ここで、復号部34は、符号化部23に対応した復号方式で要素画像群を復号する。そして、復号部34は、復号した各要素画像を表示部35に出力する。 The decoding unit 34 receives the elemental image group from the stereoscopic image transmission device 2 via the network, and decodes the received elemental image group. Here, the decoding unit 34 decodes the elemental image group using a decoding method compatible with the encoding unit 23 . Then, the decoding unit 34 outputs each decoded element image to the display unit 35 .

表示部35は、復号部34から入力された要素画像群を表示画面35a(図2)に表示するものである。このとき、表示部35は、復号部34から入力された各要素画像のフレームレートが異なるため、要素画像が同一時刻に表示されるように同期処理を施してもよい。 The display unit 35 displays the elemental image group input from the decoding unit 34 on the display screen 35a (FIG. 2). At this time, since the frame rate of each elemental image input from the decoding unit 34 is different, the display unit 35 may perform synchronization processing so that the elemental images are displayed at the same time.

<フレームレートの制御>
図4~図6を参照し、伝送レート制御部22によるフレームレートの制御を詳細に説明する。
なお、図4では、説明を簡易にするため、視点Sが水平方向のみに3つ(右視点S、中央視点S、左視点S)であることとする。実際には、視点Sは、水平方向だけでなく、垂直方向にも存在しており、その数も3つに限定されない。
<Frame rate control>
Frame rate control by the transmission rate control unit 22 will be described in detail with reference to FIGS. 4 to 6. FIG.
In addition, in FIG. 4, in order to simplify the explanation, it is assumed that there are three viewpoints S only in the horizontal direction (right viewpoint S R , center viewpoint S C , and left viewpoint S L ). In reality, viewpoints S exist not only in the horizontal direction but also in the vertical direction, and the number of viewpoints is not limited to three.

図4(a)は、右視点Sに対応した要素画像F、中央視点Sに対応した要素画像F、及び、左視点Sに対応した要素画像Fを表している。各要素画像F(F,F,F)では、円筒状のオブジェクト91が各視点S(S,S,S)に対応した位置で撮影されている。すなわち、視聴者Wは、各視点Sに対応した3つの要素画像Fのうち、その視点に対応した1つの要素画像Fを見ることになる。なお、図4(a)の符号tは、時間軸を表す。
図4(b)は、視聴者Wの視聴位置と表示画面35aとの位置関係を表している。図4の例では、視聴者Wの視聴位置が表示画面35aの左側(左視点S)であることとする。
FIG. 4A shows an elemental image F R corresponding to the right viewpoint S R , an elemental image F C corresponding to the central viewpoint SC , and an elemental image FL corresponding to the left viewpoint S L . In each elemental image F ( FR , FC , FL ), a cylindrical object 91 is photographed at a position corresponding to each viewpoint S ( SR , SC , SL ). That is, the viewer W sees one element image F corresponding to each viewpoint S among the three element images F corresponding to each viewpoint S. FIG. Note that the symbol t in FIG. 4A represents the time axis.
FIG. 4B shows the positional relationship between the viewing position of the viewer W and the display screen 35a. In the example of FIG. 4, it is assumed that the viewing position of the viewer W is on the left side (left viewpoint S L ) of the display screen 35a.

まず、伝送レート制御部22は、視点S毎になす角θを算出する。つまり、伝送レート制御部22は、視点S,S,Sのそれぞれで、なす角θ,θ,θを算出する。図4(b)に示すように、左視点Sのなす角θが最も大きくなる。なす角θは、視聴者Wの正面での最大値の90°となる。また、中央視点Sのなす角θが2番目に大きく、右視点Sのなす角θが最も小さくなる。 First, the transmission rate control unit 22 calculates the angle θ formed for each viewpoint S. That is, the transmission rate control unit 22 calculates the angles θ R , θ C , and θ L formed by the viewpoints SR, SC , and SL , respectively. As shown in FIG. 4B, the angle θL formed by the left viewpoint SL is the largest. The angle θ formed is 90°, which is the maximum value in front of the viewer W. Also, the angle θ C formed by the center viewpoint S C is the second largest, and the angle θ R formed by the right viewpoint S R is the smallest.

また、伝送レート制御部22は、なす角θとフレームレートとの対応関係を予め設定しておく。例えば、伝送レート制御部22では、図5(a)に示すような一次関数、又は、5(b)に示すようなステップ関数など、なす角θとフレームレートとの対応関係を任意に設定できる。 Further, the transmission rate control unit 22 presets the correspondence between the angle θ and the frame rate. For example, the transmission rate control unit 22 can arbitrarily set the correspondence relationship between the angle θ and the frame rate, such as a linear function as shown in FIG. 5(a) or a step function as shown in 5(b). .

次に、伝送レート制御部22は、その対応関係に基づいて、要素画像Fのフレームレートを制御する。ここでは、フレームレートの制御手法を2つ説明する。第1の制御手法は、なす角θに応じて、各要素画像のフレームレートを段階的に低くする手法である。また、第2の制御手法は、なす角θが最大となる要素画像以外の要素画像のフレームレートを等しく低下させる手法である。 Next, the transmission rate control unit 22 controls the frame rate of the elemental image F based on the correspondence. Here, two methods of controlling the frame rate will be described. A first control method is a method of gradually lowering the frame rate of each elemental image according to the angle θ formed. A second control method is a method of equally reducing the frame rate of element images other than the element image having the maximum angle θ.

<<第1の制御手法>>
以下、第1の制御手法について説明する。
図4(a)に示すように、伝送レート制御部22は、要素画像Fのフレームレートを中央視点Sに対応する要素画像Fのフレームレートより低くする。また、伝送レート制御部22は、中央視点Sに対応する要素画像Fのフレームレートを、左視点Sに対応する要素画像Fのフレームレートより低くする。つまり、左視点Sに対応する要素画像Fのフレームレートが最も高くなる。また、中央視点Sに対応する要素画像Fのフレームレートが2番目に高く、要素画像Fのフレームレートに対して1/2となる。また、右視点Sに対応する要素画像Fのフレームレートが最も低く、要素画像Fのフレームレートに対して1/4となる。
<<First Control Method>>
The first control method will be described below.
As shown in FIG. 4A, the transmission rate control unit 22 makes the frame rate of the elemental image FR lower than the frame rate of the elemental image FC corresponding to the central viewpoint SC . Also, the transmission rate control unit 22 makes the frame rate of the elemental image FC corresponding to the central viewpoint SC lower than the frame rate of the elemental image FL corresponding to the left viewpoint SL . That is, the frame rate of the element image FL corresponding to the left viewpoint SL is the highest. Also, the frame rate of the elemental image FC corresponding to the central viewpoint SC is the second highest, which is half the frame rate of the elemental image FL . Also, the frame rate of the elemental image FR corresponding to the right viewpoint SR is the lowest, which is ¼ of the frame rate of the elemental image FL .

<<第2の制御手法>>
以下、第2の制御手法について説明する。
図6に示すように、伝送レート制御部22は、左視点Sに対応する要素画像F以外の要素画像F,Fのフレームレートを等しく低下させる。従って、中央視点Sに対応する要素画像F及び右視点Sに対応する要素画像Fのフレームレートは、要素画像Fのフレームレートに対して1/4となる。
<<Second control method>>
The second control method will be described below.
As shown in FIG. 6, the transmission rate control unit 22 equally reduces the frame rates of the element images FC and FR other than the element image FL corresponding to the left viewpoint SL . Therefore, the frame rate of the element image FC corresponding to the central viewpoint SC and the element image FR corresponding to the right viewpoint SR is 1/4 of the frame rate of the element image FL .

なお、伝送レート制御部22には、第1の制御手法又は第2の制御手法の何れを用いるかを予め設定しておく。例えば、要素画像の品質を重視する場合には第1の制御手法を設定し、要素画像の伝送効率を重視する場合には第2の制御手法を設定する。 The transmission rate control unit 22 is set in advance as to which of the first control method and the second control method is to be used. For example, the first control method is set when the quality of the elemental image is important, and the second control method is set when the transmission efficiency of the elemental image is important.

[立体画像伝送システムの動作]
図7を参照し、立体画像伝送システム1の動作について説明する。
図7に示すように、ステップS1において、立体画像表示装置3の視聴位置検出部33は、視聴者Wの視聴位置を検出し、ネットワークを介して、検出した視聴位置を立体画像送信装置2に送信する。
[Operation of stereoscopic image transmission system]
The operation of the stereoscopic image transmission system 1 will be described with reference to FIG.
As shown in FIG. 7, in step S1, the viewing position detection unit 33 of the stereoscopic image display device 3 detects the viewing position of the viewer W, and transmits the detected viewing position to the stereoscopic image transmission device 2 via the network. Send.

ステップS2において、立体画像送信装置2の伝送レート制御部22は、立体画像表示装置3から視聴位置を受信し、受信した視聴位置と表示画面35aの各視点位置とのなす角θを算出する。そして、伝送レート制御部22は、なす角θが小さくなる視点Sに対応する要素画像のフレームレートを他の要素画像のフレームレートより低くする。 In step S2, the transmission rate control unit 22 of the stereoscopic image transmission device 2 receives the viewing position from the stereoscopic image display device 3, and calculates the angle θ between the received viewing position and each viewpoint position on the display screen 35a. Then, the transmission rate control unit 22 makes the frame rate of the elemental image corresponding to the viewpoint S with the smaller angle θ lower than the frame rate of the other elemental images.

ステップS3において、立体画像送信装置2の符号化部23は、ステップS2でフレームレートが制御された要素画像群を符号化し、ネットワークを介して、符号化した要素画像群を立体画像表示装置3に送信する。
ステップS4において、立体画像表示装置3の復号部34は、ネットワークを介して、立体画像送信装置2から要素画像群を受信し、受信した要素画像群を復号する。
ステップS5において、立体画像表示装置3の表示部35は、ステップS4で復号した要素画像群を表示画面35aに表示する。
In step S3, the encoding unit 23 of the stereoscopic image transmission device 2 encodes the elemental image group whose frame rate is controlled in step S2, and transmits the encoded elemental image group to the stereoscopic image display device 3 via the network. Send.
In step S4, the decoding unit 34 of the stereoscopic image display device 3 receives the elemental image group from the stereoscopic image transmission device 2 via the network, and decodes the received elemental image group.
In step S5, the display unit 35 of the stereoscopic image display device 3 displays the element image group decoded in step S4 on the display screen 35a.

[作用・効果]
以上のように、立体画像伝送システム1は、オブジェクト91の移動角速度ωが小さくなるとストロボ効果が低減することを利用し、視聴位置と表示画面35aとのなす角θが小さくなる視点Sに対応した要素画像のフレームレートを低下させる。このように、立体画像伝送システム1は、要素画像のフレームレートを低下させつつ、要素画像の品質劣化を抑制できるので、符号化処理の演算量や伝送帯域を低減し、データ量が膨大な要素画像を効率的に伝送することができる。
[Action/effect]
As described above, the stereoscopic image transmission system 1 utilizes the fact that the strobe effect is reduced when the moving angular velocity ω of the object 91 is reduced, and supports the viewpoint S where the angle θ between the viewing position and the display screen 35a is reduced. Decrease the frame rate of elemental images. In this way, the stereoscopic image transmission system 1 can suppress quality deterioration of the element images while reducing the frame rate of the element images. Images can be transmitted efficiently.

(第2実施形態)
[立体画像伝送システムの構成]
図3を参照し、立体画像伝送システム1Bの構成について、第1実施形態と異なる点を説明する。
第1実施形態では視聴者Wが一人であることとして説明したが、第2実施形態では視聴者Wが複数である。このため、立体画像表示装置3Bは、複数の視聴者Wの視聴位置を検出する。
(Second embodiment)
[Structure of stereoscopic image transmission system]
With reference to FIG. 3, the configuration of the stereoscopic image transmission system 1B will be described with respect to the differences from the first embodiment.
In the first embodiment, the number of viewers W is one, but in the second embodiment, the number of viewers W is plural. Therefore, the stereoscopic image display device 3B detects the viewing positions of the plurality of viewers W. FIG.

図3に示すように、立体画像伝送システム1Bは、立体画像送信装置2Bと、立体画像表示装置3Bとを備える。
立体画像送信装置2Bは、要素画像群記憶部21と、伝送レート制御部(制御部)22Bと、符号化部23とを備える。
立体画像表示装置3Bは、視聴位置検出部(検出部)33Bと、復号部34と、表示部35Bとを備える。
As shown in FIG. 3, the stereoscopic image transmission system 1B includes a stereoscopic image transmission device 2B and a stereoscopic image display device 3B.
The stereoscopic image transmission device 2B includes an element image group storage unit 21, a transmission rate control unit (control unit) 22B, and an encoding unit .
The stereoscopic image display device 3B includes a viewing position detection section (detection section) 33B, a decoding section 34, and a display section 35B.

まず、立体画像表示装置3Bを先に説明した後、立体画像送信装置2Bを説明する。
視聴位置検出部33Bは、視聴者Wが複数の場合、視聴者W毎に視聴位置を検出するものである。そして、視聴位置検出部33Bは、ネットワークを介して、検出した各視聴者Wの視聴位置を立体画像送信装置2Bに送信する。なお、視聴位置の検出手法は、第1実施形態と同様のため、これ以上の説明を省略する。
表示部35Bは、画素単位で伝送レートが異なる要素画像を表示するものである。例えば、表示部35Bとしては、画素がLED(Light Emitting Diode)で構成されたLEDアレイがあげられる。
First, the stereoscopic image display device 3B will be described first, and then the stereoscopic image transmission device 2B will be described.
The viewing position detection unit 33B detects a viewing position for each viewer W when there are a plurality of viewers W. FIG. Then, the viewing position detection unit 33B transmits the detected viewing position of each viewer W to the stereoscopic image transmission device 2B via the network. Note that the method of detecting the viewing position is the same as in the first embodiment, so further explanation will be omitted.
The display unit 35B displays elemental images with different transmission rates for each pixel. For example, the display section 35B may be an LED array in which pixels are composed of LEDs (Light Emitting Diodes).

伝送レート制御部22Bは、視聴者W毎になす角θを算出し、何れかの視聴者Wでなす角θが大きくなる視点に対応する他の要素画像の伝送レートより、なす角θが小さくなる視点に対応する要素画像の伝送レートを低くする。 The transmission rate control unit 22B calculates the angle θ formed for each viewer W, and makes the angle θ smaller than the transmission rate of the other elemental images corresponding to the viewpoint at which the angle θ formed by any viewer W becomes large. The transmission rate of element images corresponding to different viewpoints is lowered.

<伝送レートの制御>
図8を参照し、伝送レート制御部22Bによる伝送レートの制御を詳細に説明する。
なお、図8では、説明を簡易にするため、視点Sが水平方向に3つ(右視点S、中央視点S、左視点S)であることとする。
また、図8の例では、表示画面35aの左右にそれぞれ視聴者W,Wが位置することとする。
<Transmission rate control>
The transmission rate control by the transmission rate control unit 22B will be described in detail with reference to FIG.
In addition, in FIG. 8, in order to simplify the explanation, it is assumed that there are three viewpoints S in the horizontal direction (right viewpoint S R , center viewpoint S C , and left viewpoint S L ).
In the example of FIG. 8, the viewers W L and W R are positioned on the left and right sides of the display screen 35a, respectively.

ここで、左側の視聴者Wの視聴位置が表示画面35aの左側(左視点S)となる。従って、左側の視聴者Wでは、左視点Sのなす角θが最大となる。一方、右側の視聴者Wの視聴位置が表示画面35aの右側(右視点S)となる。従って、右側の視聴者Wでは、右視点Sのなす角θが最大となる。この場合、伝送レート制御部22Bは、中央視点Sに対応する要素画像の伝送レートを、視聴者W,Wのそれぞれでなす角θが最大になる視点S,Sに対応する要素画像F,Fの伝送レートより低くすればよい。 Here, the viewing position of the left viewer W L is the left side (left viewpoint S L ) of the display screen 35a. Therefore, for the viewer WL on the left side, the angle θ formed by the left viewpoint SL is maximized. On the other hand, the viewing position of the viewer W R on the right side is the right side (right viewpoint S R ) of the display screen 35a. Therefore, for the viewer W R on the right side, the angle θ formed by the right viewpoint S R is maximum. In this case, the transmission rate control unit 22B sets the transmission rate of the elemental image corresponding to the center viewpoint SC to the viewpoints SL and SR at which the angles θ formed by the viewers W L and W R are maximized. It should be lower than the transmission rate of the elemental images FL and FR .

なお、複数の視聴者W,Wから見た表示画面35a上の画素(つまり、同一の要素レンズを通して見た画素)は、同一の要素画像Fで異なる画素が対応することになる。従って、伝送レート制御部22Bは、要素画像Fの画素単位で伝送レートを制御すれば、複数の視聴者W,Wに対応できる。例えば、表示部35Bと視聴者W,Wとの位置関係から、視聴者W,Wが各要素画像Fのどの画素を注視しているか分かる。そこで、伝送レート制御部22Bは、視聴者W,Wが注視している画素に対して、なす角θに応じてフレームレートを制御すればよい。 Pixels on the display screen 35a viewed from a plurality of viewers W L and W R (that is, pixels viewed through the same element lens) correspond to different pixels in the same element image F. Therefore, if the transmission rate control unit 22B controls the transmission rate for each pixel of the element image F, it can handle a plurality of viewers WL and WR . For example, from the positional relationship between the display section 35B and the viewers WL and WR , it can be known which pixel of each element image F the viewers WL and WR are gazing. Therefore, the transmission rate control unit 22B may control the frame rate according to the angle θ formed with respect to the pixels watched by the viewers W L and W R .

[作用・効果]
以上のように、立体画像伝送システム1Bは、視聴者Wが複数の場合でも、第1実施形態と同様、要素画像の伝送レートを低下させつつ、要素画像の品質劣化を抑制することができる。これにより、立体画像伝送システム1Bは、符号化処理の演算量や伝送帯域を低減し、データ量が膨大な要素画像を効率的に伝送することができる。
[Action/effect]
As described above, even when there are a plurality of viewers W, the stereoscopic image transmission system 1B can reduce the transmission rate of the elemental images and suppress quality deterioration of the elemental images, as in the first embodiment. As a result, the stereoscopic image transmission system 1B can reduce the amount of computation for the encoding process and the transmission band, and efficiently transmit elemental images with a huge amount of data.

(変形例)
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、立体画像表示装置が、フレームレートが異なる各視点の要素画像を同期して表示することとして説明したが、これに限定されない。例えば、立体画像表示装置は、フレームレートが低い視点の要素画像を時間方向で補間(内挿)してもよい。
(Modification)
Although the respective embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described respective embodiments, and includes design changes and the like within the scope of the present invention.
In each of the above-described embodiments, the stereoscopic image display device synchronously displays elemental images of viewpoints with different frame rates, but the present invention is not limited to this. For example, the stereoscopic image display device may interpolate elemental images of viewpoints with a low frame rate in the time direction.

前記した各実施形態では、視聴位置検出部が、視聴者の視聴位置を検出することとして説明したが、これに限定されない。例えば、視聴者が注視する物体が移動している場合、その視線方向は、変化すると考えられる。また、視聴者の視野の中心付近であるか、視野の周辺であるかによっても、ストロボ効果が異なると考えられる。そこで、視聴位置検出部は、視聴者の視聴位置に加えて、その視線方向を検出してもよい。そして、伝送レート制御部は、視聴者の視線方向も加味して伝送レートを制御すればよい。 In each of the above-described embodiments, the viewing position detection unit detects the viewing position of the viewer, but the present invention is not limited to this. For example, if the object that the viewer is gazing at is moving, its line-of-sight direction is considered to change. Also, it is considered that the stroboscopic effect differs depending on whether it is near the center of the viewer's field of view or in the periphery of the field of view. Therefore, the viewing position detection unit may detect the direction of the viewer's line of sight in addition to the viewing position of the viewer. Then, the transmission rate control unit may control the transmission rate taking into account the line-of-sight direction of the viewer.

前記した各実施形態では、IP方式を適用することとして説明したが、これに限定されない。例えば、本発明は、レンチキュラ方式など、IP方式と同様の原理の立体方式にも適用できる。 In each of the above-described embodiments, the IP method is applied, but the present invention is not limited to this. For example, the present invention can also be applied to a three-dimensional method, such as a lenticular method, which has the same principle as the IP method.

前記した各実施形態では、なす角とフレームレートとの対応関係が一次関数やステップ関数で設定されることとして説明したが、これに限定されない。例えば、下記の参考文献2には、オブジェクトの移動角速度とフレームレートとの主観的な品質の関係が記載されている。この参考文献2によれば、移動角速度が20~25deg/sのときに品質改善効果が高くなり、移動角速度がその範囲よりも遅くても速くても、品質改善効果が低くなる。そこで、伝送レート制御部には、所定範囲の移動角速度(例えば、20~25deg/s)に対応するなす角でフレームレートが高く、それ以外のなす角でフレームレートが低くなるような対応関係を設定すればよい。ここでは、表示画面上の移動角速度となす角との関係から、視聴者が見たときの移動角速度が定まる。そして、移動角速度と主観的な品質との関係から、なす角と主観的な品質の関係が定まる。フレームレートを高くすれば主観的な品質が向上するので、なす角とフレームレートとの対応関係を設定できる。 In each of the above-described embodiments, the correspondence relationship between the formed angle and the frame rate has been described as being set by a linear function or a step function, but the present invention is not limited to this. For example, Reference 2 below describes the subjective quality relationship between the moving angular velocity of an object and the frame rate. According to Reference 2, the quality improvement effect is high when the movement angular velocity is 20 to 25 deg/s, and the quality improvement effect is low when the movement angular velocity is slower or faster than that range. Therefore, in the transmission rate control unit, a correspondence relationship is established in which the frame rate is high at angles corresponding to a movement angular velocity within a predetermined range (for example, 20 to 25 deg/s), and the frame rate is low at other angles. You can set it. Here, the angular velocity of movement as seen by the viewer is determined from the relationship between the angular velocity of movement on the display screen and the angle formed. Then, the relationship between the formed angle and subjective quality is determined from the relationship between moving angular velocity and subjective quality. Higher frame rates improve subjective quality, so you can set the correspondence between angles and frame rates.

参考文献2:「高フレームレート撮像テレビジョンシステムの動画質改善効果」、江本ほか、映像情報メディア学会、Vol.65、No.8、pp.1208~1214、2011年 Reference 2: “Effect of Improving Motion Picture Quality of High Frame Rate Imaging Television System”, Emoto et al., Institute of Image Information and Television Engineers, Vol. 65, No. 8, pp. 1208-1214, 2011

前記した各実施形態では、立体画像表示装置が据え置き型であることとして説明したが、これに限定されない。つまり、本発明は、立体画像表示装置と視聴者との相対的位置関係を取得できれば、立体画像表示装置が移動してもよい。この場合、視聴者が携帯可能なタブレット型の立体画像表示装置となる。 In each of the above-described embodiments, the stereoscopic image display device has been described as a stationary type, but the stereoscopic image display device is not limited to this. That is, according to the present invention, the stereoscopic image display device may move as long as the relative positional relationship between the stereoscopic image display device and the viewer can be obtained. In this case, a tablet-type stereoscopic image display device that can be carried by the viewer is used.

前記した各実施形態では、立体画像表示装置が1台であることとして説明したが、立体画像伝送システムは、複数台の立体画像表示装置を備えてもよい。この場合、立体画像送信装置は、立体画像表示装置から送信された視聴位置に基づいて、立体画像表示装置毎にフレームレートを制御する。 Although each of the above-described embodiments has been described as having one stereoscopic image display device, the stereoscopic image transmission system may include a plurality of stereoscopic image display devices. In this case, the stereoscopic image transmission device controls the frame rate for each stereoscopic image display device based on the viewing position transmitted from the stereoscopic image display device.

1,1B 立体画像伝送システム
2,2B 立体画像送信装置
21 要素画像群記憶部
22,22B 伝送レート制御部(制御部)
23 符号化部
3,3B 立体画像表示装置
31 要素レンズ
32 要素レンズ群
33,33B 視聴位置検出部(検出部)
34 復号部
35,35B 表示部
35a 表示画面
1, 1B Stereoscopic image transmission system 2, 2B Stereoscopic image transmission device 21 Elemental image group storage unit 22, 22B Transmission rate control unit (control unit)
23 encoding unit 3, 3B stereoscopic image display device 31 element lens 32 element lens group 33, 33B viewing position detection unit (detection unit)
34 decoding units 35, 35B display unit 35a display screen

Claims (6)

各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムであって、
前記立体画像表示装置は、
前記立体画像送信装置から前記立体画像群を受信し、受信した前記立体画像群を復号する復号部と、
前記復号部が復号した立体画像群を表示画面に表示する表示部と、
視聴者の視聴位置を検出し、検出した前記視聴位置を前記立体画像送信装置に送信する検出部と、を備え、
前記立体画像送信装置は、
前記立体画像表示装置から前記視聴位置を受信し、受信した前記視聴位置から前記表示画面に予め設定された各視点位置に向かう方向と前記表示画面とのなす角を算出し、算出した前記なす角が小さくなる視点に対応する立体画像の伝送レートを、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、
前記立体画像群を符号化し、符号化した前記立体画像群を前記立体画像表示装置に送信する符号化部と、を備えることを特徴とする立体画像伝送システム。
A stereoscopic image transmission system comprising: a stereoscopic image display device that displays a stereoscopic image group composed of stereoscopic images corresponding to each viewpoint; and a stereoscopic image transmission device that transmits the stereoscopic image group to the stereoscopic image display device. hand,
The stereoscopic image display device
a decoding unit that receives the stereoscopic image group from the stereoscopic image transmission device and decodes the received stereoscopic image group;
a display unit that displays the stereoscopic image group decoded by the decoding unit on a display screen;
a detection unit that detects a viewing position of a viewer and transmits the detected viewing position to the stereoscopic image transmission device;
The stereoscopic image transmission device,
receiving the viewing position from the stereoscopic image display device, calculating an angle between a direction from the received viewing position to each viewpoint position preset on the display screen and the display screen , and calculating the calculated angle a controller for lowering the transmission rate of a stereoscopic image corresponding to a viewpoint with a smaller angle than the transmission rate of another stereoscopic image corresponding to a viewpoint with a larger angle;
and an encoding unit that encodes the stereoscopic image group and transmits the encoded stereoscopic image group to the stereoscopic image display device.
前記制御部は、予め設定された前記なす角と前記伝送レートとの対応関係に基づいて、前記立体画像群の伝送レートを制御することを特徴とする請求項1に記載の立体画像伝送システム。 2. The stereoscopic image transmission system according to claim 1, wherein the control unit controls the transmission rate of the stereoscopic image group based on a preset correspondence relationship between the formed angle and the transmission rate. 前記立体画像群は、インテグラル方式の要素画像で構成される要素画像群であることを特徴とする請求項1又は請求項2の何れか一項に記載の立体画像伝送システム。 3. The stereoscopic image transmission system according to claim 1, wherein the stereoscopic image group is an elemental image group composed of integral type elemental images. 前記検出部は、前記視聴者が複数の場合、前記視聴者毎に前記視聴位置を検出し、
前記制御部は、前記視聴者毎に前記なす角を算出し、記視聴者のそれぞれで前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより、前記なす角が小さくなる視点に対応する立体画像の伝送レートを低くすることを特徴とする請求項1から請求項3の何れか一項に記載の立体画像伝送システム。
When the number of viewers is plural, the detection unit detects the viewing position for each viewer,
The control unit calculates the angle for each of the viewers, and a viewpoint with a smaller angle than a transmission rate of another stereoscopic image corresponding to a viewpoint with a larger angle for each of the viewers. 4. The stereoscopic image transmission system according to any one of claims 1 to 3, wherein the transmission rate of stereoscopic images corresponding to .
各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムに用いられる前記立体画像送信装置であって、
前記立体画像表示装置から視聴者の視聴位置を受信し、受信した前記視聴位置から前記立体画像表示装置の表示画面に予め設定された各視点位置に向かう方向と前記表示画面とのなす角を算出し、算出した前記なす角が小さくなる視点に対応する立体画像の伝送レートを、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、
前記立体画像群を符号化し、符号化した前記立体画像群を前記立体画像表示装置に送信する符号化部と、を備えることを特徴とする立体画像送信装置。
Used in a stereoscopic image transmission system comprising a stereoscopic image display device for displaying a stereoscopic image group composed of stereoscopic images corresponding to each viewpoint, and a stereoscopic image transmission device for transmitting the stereoscopic image group to the stereoscopic image display device The stereoscopic image transmission device,
A viewing position of a viewer is received from the stereoscopic image display device, and an angle between a direction from the received viewing position to each viewpoint position preset on a display screen of the stereoscopic image display device and the display screen is calculated. a control unit for lowering the transmission rate of the stereoscopic image corresponding to the calculated viewpoint with the smaller angle than the transmission rate of the other stereoscopic image corresponding to the viewpoint with the larger angle;
and an encoding unit that encodes the stereoscopic image group and transmits the encoded stereoscopic image group to the stereoscopic image display device.
各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムに用いられる前記立体画像表示装置であって、
前記立体画像送信装置から前記立体画像群を受信し、受信した前記立体画像群を復号する復号部と、
前記復号部が復号した立体画像群を表示画面に表示する表示部と、
視聴者の視聴位置を検出し、検出した前記視聴位置を前記立体画像送信装置に送信する検出部と、を備え、
前記復号部受信して復号る立体画像群は、前記視聴位置から前記表示画面に予め設定された各視点位置に向かう方向と前記表示画面とのなす角が小さくなる視点に対応する立体画像の伝送レートが、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低いことを特徴とする立体画像表示装置。
Used in a stereoscopic image transmission system comprising a stereoscopic image display device for displaying a stereoscopic image group composed of stereoscopic images corresponding to each viewpoint, and a stereoscopic image transmission device for transmitting the stereoscopic image group to the stereoscopic image display device The stereoscopic image display device,
a decoding unit that receives the stereoscopic image group from the stereoscopic image transmission device and decodes the received stereoscopic image group;
a display unit that displays the stereoscopic image group decoded by the decoding unit on a display screen;
a detection unit that detects a viewing position of a viewer and transmits the detected viewing position to the stereoscopic image transmission device;
The stereoscopic image group received and decoded by the decoding unit is a stereoscopic image corresponding to a viewpoint having a small angle between the display screen and a direction from the viewing position to each viewpoint position preset on the display screen. A stereoscopic image display device, wherein a transmission rate of an image is lower than a transmission rate of another stereoscopic image corresponding to a viewpoint with a large angle.
JP2019059710A 2019-03-27 2019-03-27 3D image transmission system, 3D image transmission device and 3D image display device Active JP7300294B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019059710A JP7300294B2 (en) 2019-03-27 2019-03-27 3D image transmission system, 3D image transmission device and 3D image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059710A JP7300294B2 (en) 2019-03-27 2019-03-27 3D image transmission system, 3D image transmission device and 3D image display device

Publications (2)

Publication Number Publication Date
JP2020161995A JP2020161995A (en) 2020-10-01
JP7300294B2 true JP7300294B2 (en) 2023-06-29

Family

ID=72640022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059710A Active JP7300294B2 (en) 2019-03-27 2019-03-27 3D image transmission system, 3D image transmission device and 3D image display device

Country Status (1)

Country Link
JP (1) JP7300294B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104107A (en) 2013-11-28 2015-06-04 日本放送協会 Ip stereoscopic video estimation device and program therefor
JP2016116162A (en) 2014-12-17 2016-06-23 日立マクセル株式会社 Video display device, video display system and video display method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104107A (en) 2013-11-28 2015-06-04 日本放送協会 Ip stereoscopic video estimation device and program therefor
JP2016116162A (en) 2014-12-17 2016-06-23 日立マクセル株式会社 Video display device, video display system and video display method

Also Published As

Publication number Publication date
JP2020161995A (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US10419737B2 (en) Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) Encoding and decoding virtual reality video
US10546424B2 (en) Layered content delivery for virtual and augmented reality experiences
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US10567464B2 (en) Video compression with adaptive view-dependent lighting removal
US11120837B2 (en) System and method for use in playing back panorama video content
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
Zilly et al. Production rules for stereo acquisition
US20110157315A1 (en) Interpolation of three-dimensional video content
EP3065049A2 (en) Interactive video display method, device, and system
Balogh et al. Real-time 3D light field transmission
EP2417770A1 (en) Methods and apparatus for efficient streaming of free view point video
KR20110039537A (en) Multistandard coding device for 3d video signals
US11350080B2 (en) Methods and apparatus for displaying images
TWI824016B (en) Apparatus and method for generating and rendering a video stream
CN111226264A (en) Playback apparatus and method, and generation apparatus and method
EP2309766A2 (en) Method and system for rendering 3D graphics based on 3D display capabilities
JP7300294B2 (en) 3D image transmission system, 3D image transmission device and 3D image display device
JP4523538B2 (en) 3D image display device
WO2011024423A1 (en) Control device for stereoscopic image display and imaging device for stereoscopic images
CN116320506A (en) Stereoscopic interaction service management method for film and television videos
US11025804B2 (en) Modular wedges for generating panoramic video
KR101582131B1 (en) 3 3D real image displayable system
Guo et al. Real-Time 3D Video Acquisition and Auto-Stereoscopic Display End-to-End Algorithm Based on Tiled Multi-projectors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7300294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150