JPH09107561A - Automatic selection device of two cameras, method of automatic selection of two cameras and its application - Google Patents
Automatic selection device of two cameras, method of automatic selection of two cameras and its applicationInfo
- Publication number
- JPH09107561A JPH09107561A JP8203731A JP20373196A JPH09107561A JP H09107561 A JPH09107561 A JP H09107561A JP 8203731 A JP8203731 A JP 8203731A JP 20373196 A JP20373196 A JP 20373196A JP H09107561 A JPH09107561 A JP H09107561A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- cameras
- camera
- stereoscopic
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、観察者のヘッド位
置の決定によって複数のカメラ信号から2つのカメラ信
号を自動的に選択するための装置および方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device and a method for automatically selecting two camera signals from a plurality of camera signals by determining the position of an observer's head.
【0002】[0002]
【従来の技術】2つカメラより多くのカメラが1つのシ
ーンを撮影する所謂マルチビューステレオ画像シーケン
スの伝送の際、撮影されたシーンを表すカメラ信号の伝
送に際して多数の問題がある。マルチビューステレオ画
像シーケンスでは、受信機は、異なった光景(視点)か
ら成る同一シーンを表す2つのカメラ信号を必要とす
る。撮影されたカメラ信号の画像の存在する不同性によ
って、即ち受信機において立体写真画像スクリーンにお
いて表示される2つのカメラ信号の画像間の相応の画素
の位置的なずれによって、観察者にとって、奥行き効果
が得られ、即ち観察者は、3次元の画像を観察している
という印象を受ける。BACKGROUND OF THE INVENTION During the transmission of so-called multi-view stereo image sequences in which more than two cameras capture one scene, there are numerous problems in transmitting the camera signals representing the captured scenes. In a multi-view stereo image sequence, the receiver requires two camera signals that represent the same scene from different scenes (viewpoints). Due to the existing dissimilarity of the images of the captured camera signal, i.e. the positional displacement of the corresponding pixels between the images of the two camera signals displayed on the stereoscopic image screen at the receiver, the depth effect for the observer That is, the observer has the impression that he is observing a three-dimensional image.
【0003】1つのシーンが複数のカメラによって撮影
され、かつすべてのカメラからのすべてのカメラ信号が
受信機に伝送されかつ2つの必要とされるカメラ信号の
選択が受信機において行われるとすれば、不必要なほど
多くの冗長性を含むことになる非常に膨大な伝送容量が
必要になる。Given that a scene is filmed by multiple cameras and all camera signals from all cameras are transmitted to the receiver and the two required camera signal selections are made at the receiver. , Would require a very large transmission capacity that would include an unnecessarily large amount of redundancy.
【0004】受信機ユニットにおいては、僅か2つの、
しかも観察者にとって“正しい”カメラ信号が必要とさ
れるので、実際に必要とされる2つのカメラ信号のみを
伝送することが望ましい。更に、このために大したコス
トをかける必要なく、シーンの光景(視点)を変化でき
るようにすることが望まれる。In the receiver unit, only two,
Moreover, it is desirable to transmit only the two camera signals that are actually needed, since the "correct" camera signal is needed for the observer. Furthermore, it is desirable to be able to change the scene (viewpoint) of the scene without having to incur significant cost for this.
【0005】更に、ヨーロッパ特許出願公開第0653
01号公報から、立体写真画像撮影において、2つのカ
メラより多くのカメラを使用することが公知である。更
に、ドイツ連邦共和国第4027471号明細書は、観
察者の、センサにより検出される位置に依存した、画像
の空間的な表示に係っている。Further, European Patent Application Publication No. 0653
From publication 01, it is known to use more than two cameras in stereoscopic photography. Furthermore, DE 40 27 471 relates to the spatial display of the image of the observer depending on the position detected by the sensor.
【0006】[0006]
【発明が解決しようとする課題】従って本発明の課題
は、簡単な手法で、1つのシーンを複数の光景(視点)
から撮影する、n個のカメラによって生成される複数の
カメラ信号から2つのカメラ信号を、受信機において存
在する、シーンの観察者によって自動的に選択する装置
および方法を提供することである。SUMMARY OF THE INVENTION Therefore, an object of the present invention is to make a single scene into a plurality of scenes (viewpoints) by a simple method.
It is an object of the present invention to provide an apparatus and method for automatically selecting two camera signals from a plurality of camera signals generated by n cameras, which are present at a receiver, by an observer of a scene.
【0007】[0007]
【課題を解決するための手段】この課題は本発明によれ
ば、請求項1記載の装置によっておよび請求項3記載の
方法によって解決される。This object is achieved according to the invention by the device according to claim 1 and by the method according to claim 3.
【0008】本発明の装置の利点はとりわけ次の点にあ
る:即ち、装置が非常に簡素でありかつ従って、1つの
シーンを撮影する2つの固定接続されたカメラに基づい
て立体写真ビデオデータ流を実現するためにいずれにせ
よ必要とされる装置に比べてほんの僅かな拡張しか必要
でないということである。The advantages of the device according to the invention are inter alia: the device is very simple and therefore a stereoscopic video data stream based on two fixedly connected cameras capturing one scene. That is, only a small amount of expansion is required compared to the device that is required anyway to realize
【0009】本発明の方法もその簡潔さによって特徴付
けられており、そのために本発明の方法は非常に迅速に
実施され、これにより本発明の方法のリアルタイムの実
施が可能になり、その際観察されるシーンの別の光景
(視点)の選択の際観察者に対して障害となる遅延効果
は生じない。The method according to the invention is also characterized by its simplicity, which makes it possible to carry out the method according to the invention very quickly, which makes it possible to carry out the method according to the invention in real time. When selecting another scene (viewpoint) of the scene to be taken, there is no delay effect which is an obstacle to the observer.
【0010】請求項4に記載の本発明の方法の用途は、
障害発生時における例外処理、即ちビデオデータ流のコ
ーディングのためのモデルに基づいたコーディング方法
の使用の際の、所謂フォールバック解決法であって、こ
れによりモデルに基づいたコーディング方法の信頼性が
著しく高められる。The use of the method of the present invention according to claim 4 is as follows:
A so-called fallback solution when using a model-based coding method for fault handling, i.e. coding of a video data stream, which makes the model-based coding method highly reliable. To be enhanced.
【0011】本発明の実施例はその他の請求項に記載さ
れている。Embodiments of the invention are described in the other claims.
【0012】[0012]
【発明の実施の形態】次に本発明の図示の実施例につき
図面を用いて詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Next, an illustrated embodiment of the present invention will be described in detail with reference to the drawings.
【0013】図1には、少なくとも次の構成要素を有す
る本発明の装置が図示されている:少なくとも次の構成
要素を有する送信ユニットSE:1つのシーンを複数の
光景(視点)、即ち種々異なった視角から撮影する複数
のカメラKai。それぞれのカメラを一義的に識別する
第1のインデックスiは、1およびnの間の領域にある
数であり、その際値1およびnはこの領域に含まれてい
る。FIG. 1 shows a device according to the invention having at least the following components: a transmission unit SE having at least the following components: one scene in several views, ie different. Multiple cameras Kai shooting from different viewing angles. The first index i that uniquely identifies each camera is a number lying in the region between 1 and n, the values 1 and n being included in this region.
【0014】n個の入力側および2つの出力側を有する
スイッチユニットS、その際スイッチユニットSの入力
側はそれぞれ、1つのカメラKaiに接続されている。A switch unit S having n input sides and two output sides, each input side of the switch unit S being connected to one camera Kai.
【0015】コーディングされて送出すべきビデオデー
タ流CVをコーディングするための立体写真コーディン
グユニットSC。A stereoscopic picture coding unit SC for coding a video data stream CV to be coded and sent.
【0016】少なくとも次の構成要素を有する受信ユニ
ットEE:受信されたコーディングされたビデオデータ
流CVのデコーディングを実施する立体写真デコーディ
ングユニットSD。Receiving unit EE having at least the following components: Stereoscopic decoding unit SD for carrying out the decoding of the received coded video data stream CV.
【0017】観察者Bのヘッド位置Pjを決定するヘッ
ド追跡ユニットKVE。ここではヘッド位置の所定の座
標から、必要とされる2つの光景、即ち2つの必要とさ
れるカメラ信号Kiが選択され、その際第1のインデッ
クスiはi番目のカメラKaiから取り出すことができ
るカメラ信号とも称し、観察者Bのその都度のヘッド位
置Pjを識別する第2のインデックスjは、1とn−1
との間の領域にある数であり、値1およびn−1はこの
領域内に含まれている。A head tracking unit KVE for determining the head position Pj of the observer B. Here, from the given coordinates of the head position, the two required scenes, ie the two required camera signals Ki, are selected, the first index i being taken out from the i-th camera Kai. Also referred to as a camera signal, the second index j for identifying the respective head position Pj of the observer B is 1 and n-1.
Is a number in the region between and and the values 1 and n-1 are contained within this region.
【0018】デコーディングされたビデオデータ流DC
Vを観察者Bに、観察者Bにとって立体写真効果、即ち
画像の観察の際に奥行きの印象が生じるように表示する
立体写真画像スクリーンDIS。Decoded video data stream DC
A stereoscopic picture screen DIS which displays V to the viewer B so that the viewer B has a stereoscopic effect, ie an impression of depth when observing the image.
【0019】カメラKaiはシーンSZを撮影する。カ
メラKaiは任意の手法で配置されている。The camera Kai photographs the scene SZ. The cameras Kai are arranged by an arbitrary method.
【0020】このことは、2つのカメラKaiおよびK
ai+xの任意の選択において、観察者Bに対して立体
写真効果を実現することができることに対する前提であ
り、ここにおいて数xは領域1ないしn−1内にある。This means that the two cameras Kai and K
It is a premise to be able to realize a stereoscopic effect for the observer B in any choice of ai + x, where the number x lies in the regions 1 to n-1.
【0021】送信ユニットSEは、少なくともn個のカ
メラKai、1つのスイッチユニットSおよび立体写真
コーディングユニットSCを有している。The transmission unit SE comprises at least n cameras Kai, a switch unit S and a stereoscopic picture coding unit SC.
【0022】スイッチユニットSは、2つの出力側が立
体写真コーディングユニットSCに接続されている。立
体写真コーディングユニットSCの構成は当業者には公
知であり、例えば(R. ter Horst, A Demonstrator for
Codings and Transmissionof Stereoscopic Video Sig
nals, Proceedings of Steroscopic Video Signals,Pro
ceedings of 4-th European Workshop on Three-Dimens
ional Television,Rom, 20.- 21. 1993年10月、
第273頁ないし290頁)に記載されている。The switch unit S has two outputs connected to the stereoscopic picture coding unit SC. The construction of the stereoscopic picture coding unit SC is known to those skilled in the art, for example (R. ter Horst, A Demonstrator for
Codings and Transmissionof Stereoscopic Video Sig
nals, Proceedings of Steroscopic Video Signals, Pro
ceedings of 4-th European Workshop on Three-Dimens
ional Television, Rom, 20.- 21. October 1993,
Pp. 273-290).
【0023】送出すべき、立体写真コーディングユニッ
トSCにおいてコーディングされたビデオデータ流CV
は、受信機ユニットEEに伝送される。スイッチユニッ
トSのn個の入力側はそれぞれ1つのカメラKaiに接
続されている。Video data stream CV coded in the stereoscopic picture coding unit SC to be transmitted
Are transmitted to the receiver unit EE. Each of the n input sides of the switch unit S is connected to one camera Kai.
【0024】以下に説明するカメラ要求情報KANに相
応して、スイッチユニットSにおいて、カメラ要求情報
KANによって要求されたカメラKaiおよびKai+
1が選択され、その結果その都度カメラKaiおよびK
ai+1の要求されたカメラ信号KiおよびKi+1が
コーディングされかつ伝送される。According to the camera request information KAN described below, in the switch unit S, the cameras Kai and Kai + requested by the camera request information KAN.
1 is selected so that the cameras Kai and K are selected each time.
The requested camera signals Ki and Ki + 1 of ai + 1 are coded and transmitted.
【0025】従って常に、要求されたカメラ信号のみが
選択されかつ立体写真コーディングユニットSCに通し
接続され(図2の3)、ここにおいてこれらはコーディ
ングされたビデオデータ流CVにコーディングされ(図
2の4)かつ受信機ユニットEEに伝送される。Therefore, always only the required camera signals are selected and connected through the stereoscopic coding unit SC (3 in FIG. 2), where they are coded in the coded video data stream CV (in FIG. 2). 4) and transmitted to the receiver unit EE.
【0026】受信機ユニットEEにおいてコーディング
されたビデオデータ流CVが受信されかつデコーディン
グされる(図2の5)。引き続いて、デコーディングさ
れたビデオデータ流は立体写真画像スクリーンDISに
おいて観察者Bに表示される。The coded video data stream CV is received and decoded at the receiver unit EE (5 in FIG. 2). Subsequently, the decoded video data stream is displayed to the viewer B on the stereoscopic picture screen DIS.
【0027】受信機ユニットEEは少なくとも、立体写
真デコーディングユニットSD、ヘッド追跡ユニットK
VE並びに立体写真画像スクリーンDIS(図2の6)
を有している。The receiver unit EE comprises at least a stereoscopic picture decoding unit SD and a head tracking unit K.
VE and stereoscopic image screen DIS (6 in FIG. 2)
have.
【0028】立体写真デコーディングユニットSDは立
体写真画像スクリーンDISに接続されている。ヘッド
追跡ユニットKVEにおいて、観察者Bのヘッド位置
が、別のカメラによって観察者Bのヘッド位置を撮影
し、検出しかつ観察者Bのヘッドの空間位置、即ち観察
者Bのヘッド位置Pjを決定することによって決定され
る。The stereoscopic picture decoding unit SD is connected to the stereoscopic picture screen DIS. In the head tracking unit KVE, the head position of the observer B photographs and detects the head position of the observer B by another camera and determines the spatial position of the head of the observer B, that is, the head position Pj of the observer B. It is determined by
【0029】このヘッド位置Pj(第2のインデックス
ルjは1とn−1との間の領域にある)に基づいて、ヘ
ッド位置Pjに対応するカメラ信号KiおよびKi+1
が選択されかつヘッド追跡ユニットKVEによって要求
される。Based on the head position Pj (the second index j is in the area between 1 and n-1), the camera signals Ki and Ki + 1 corresponding to the head position Pj are obtained.
Is selected and requested by the head tracking unit KVE.
【0030】ヘッド追跡ユニットKVEにおいて、観察
者Bのヘッド位置Pjが決定され(図2の1)かつ観察
者Bの、画像スクリーンに対する水平方向の動きが追跡
される。このために、観察者Bのヘッドを撮影する少な
くとも1つのカメラが使用される。ヘッド追跡ユニット
KVEは例えば、ドイツ連邦共和国特許出願第1951
6664.7号明細書に記載されている方法に従って動
作する。In the head tracking unit KVE, the head position Pj of the observer B is determined (1 in FIG. 2) and the movement of the observer B in the horizontal direction with respect to the image screen is tracked. For this purpose, at least one camera is used which images the head of the observer B. The head tracking unit KVE is, for example, the German patent application 1951.
It operates according to the method described in 6664.7.
【0031】そこに記載の方法では、そこに記載の方法
の期間に分類される被撮影目標物に対する空間的な位置
が決定される。この方法は本発明の方法では、観察者B
のヘッドを検出しかつヘッドの動きを追跡するために使
用される。これにより、ドイツ連邦共和国特許出願第1
9516664.7号明細書に記載されている方法は、
立体写真画像スクリーンDISの観察者Bのヘッドの空
間位置を求める。The method described therein determines the spatial position relative to the object to be imaged, which is classified during the period of the method described therein. This method is the same as that of the observer B in the method of the present invention.
Used to detect the head and track the movement of the head. As a result, the German Federal Patent Application No. 1
The method described in the specification of 95166664.7 is
The spatial position of the head of the observer B on the stereoscopic image screen DIS is determined.
【0032】しかし本発明においては水平方向の動きを
表す座標のみが使用される。2つの別の空間座標は、本
発明の方法にとって重要でなく、この理由から必要とさ
れない。However, in the present invention, only the coordinates representing the horizontal movement are used. Two separate spatial coordinates are not important to the method of the invention and are not needed for this reason.
【0033】図2には、2つの必要とされるカメラ信号
KiおよびKi+1を選択するための方法が記載されて
いる。FIG. 2 describes a method for selecting the two required camera signals Ki and Ki + 1.
【0034】まず、観察者Bのヘッド位置Pjに対する
2つの許容極限位置、即ちヘッド位置P1およびヘッド
位置Pn−1が定義される。First, two allowable limit positions with respect to the head position Pj of the observer B, that is, the head position P1 and the head position Pn-1 are defined.
【0035】所望の自然に忠実な伝送の場合、カメラK
aiを等間隔に目の間隔において設置すると有利であ
り、即ちこの場合、ヘッド位置P1およびヘッド位置P
n−1の間の距離はカメラKa1とカメラKan−1と
の間のカメラ間隔と同じになるはずである。その場合観
察者Bの位置に依存して、必要なカメラ信号が選択され
かつ伝送される。For the transmission that is faithful to the desired nature, the camera K
It is advantageous to install ai at equal intervals at eye intervals, ie in this case head position P1 and head position P
The distance between n-1 should be the same as the camera spacing between camera Ka1 and camera Kan-1. Then, depending on the position of the observer B, the required camera signal is selected and transmitted.
【0036】観察者のヘッドがヘッド位置P1にある、
即ち図1に示された配置において、1番左側またはそれ
より更に左側にあるとき、ヘッド追跡ユニットKVEに
よって2つのカメラ信号K1およびK2、すなわち2つ
の左側にあるカメラKa1およびKa2によって生成さ
れるカメラ信号が選択され(2)かつヘッド追跡ユニッ
トKVEによって要求される。The observer's head is at the head position P1,
That is, in the arrangement shown in FIG. 1, when on the leftmost or further left, the camera produced by the head tracking unit KVE by the two camera signals K1 and K2, ie the two cameras Ka1 and Ka2 on the left. The signal is selected (2) and requested by the head tracking unit KVE.
【0037】カメラ信号K1およびK2は選択されず、
例えば1番左側に位置決めされたカメラKa1および別
のカメラKa1+xおよびこれらのカメラによって生成
されるカメラ信号K1およびK1+xを選択することも
できるようにも設定されている。カメラの選択は常時、
立体写真画像スクリーンDISの構成に依存している。The camera signals K1 and K2 are not selected,
For example, the camera Ka1 and the other camera Ka1 + x positioned on the leftmost side and the camera signals K1 and K1 + x generated by these cameras can also be selected. Camera selection is always
It depends on the configuration of the stereoscopic picture screen DIS.
【0038】観察者Bのヘッドがヘッド位置Pn−1ま
たはそれより右側にあるとき、ヘッド追跡ユニットKV
Eはヘッド位置Pn−1にカメラ信号Kn−1およびK
nを割り当て、かつこれらカメラ信号を送信ユニットS
Eから要求する。When the head of the observer B is at the head position Pn-1 or on the right side thereof, the head tracking unit KV
E is the camera signal Kn-1 and K at the head position Pn-1.
n and assign these camera signals to the transmitting unit S
Request from E.
【0039】カメラ信号Kn−1およびKnは選択され
ず、例えば1番左側に位置決めされたカメラKa1およ
び別のカメラKa1+xおよびこれらのカメラによって
生成されるカメラ信号KnおよびKn−xを選択するこ
ともできるようにも設定されている。カメラの選択はこ
の場合も常時、立体写真画像スクリーンDISの構成に
依存している。The camera signals Kn-1 and Kn are not selected, but it is also possible to select, for example, the leftmost camera Ka1 and another camera Ka1 + x and the camera signals Kn and Kn-x produced by these cameras. It is also set to be possible. The choice of camera again always depends on the configuration of the stereoscopic picture screen DIS.
【0040】観察者Bのヘッドが別個のヘッド位置Pj
間にあるとき、観察者Bの実際のヘッド位置に最も近く
に存在する、観察者Bのヘッド位置Pjがその都度割り
当てられる。The head of the observer B has a separate head position Pj.
In the meantime, the head position Pj of the observer B, which is the closest to the actual head position of the observer B, is assigned in each case.
【0041】即ち一般に、観察者のヘッド位置Pjに対
するヘッド追跡ユニットKVEによって左側の画像とし
てのカメラ信号Kiおよび右側の画像としてのカメラ信
号Ki+xが提供される。That is, in general, the head tracking unit KVE for the observer's head position Pj provides the camera signal Ki as the left image and the camera signal Ki + x as the right image.
【0042】観察者Bのn−1個のヘッド位置Pjをカ
メラ構成に依存して定義することが重要である。このこ
とは、立体写真画像スクリーンDISの構成および観察
者Bに対する意図される効果に依存して行われる。It is important to define the n-1 head positions Pj of the observer B depending on the camera configuration. This is done depending on the configuration of the stereoscopic picture screen DIS and the intended effect on the observer B.
【0043】このことは、カメラ追跡ユニットKVEに
よって2つの新たなカメラ信号が要求されることを意味
する。立体写真効果、即ち観察者Bに対する奥行きの印
象を改善ないし強調するために、カメラの間隔を拡張す
ることもできる。This means that two new camera signals are required by the camera tracking unit KVE. In order to improve or enhance the stereoscopic effect, ie the impression of the depth to the observer B, the distance between the cameras can be extended.
【0044】立体写真効果が低減されるべきときは、当
然、カメラの間隔も低減することができる。When the stereoscopic effect is to be reduced, of course, the camera spacing can also be reduced.
【0045】ヘッド追跡ユニットKVEによってヘッド
位置が上述したように決定された(図2の1)後、ヘッ
ド追跡ユニットKVEは必要とされる2つの光景、即ち
必要とされるカメラ信号KiおよびKi+xを選択し
(図2の2)かつ送信ユニットSEからこれらを要求す
る。After the head position has been determined by the head tracking unit KVE as described above (1 in FIG. 2), the head tracking unit KVE determines the two scenes required, namely the required camera signals Ki and Ki + x. Select (2 in FIG. 2) and request them from the sending unit SE.
【0046】このことは、受信機ユニットEEから送信
ユニットSEに伝送されるカメラ要求情報KANの形に
おいて行われる。This is done in the form of camera request information KAN transmitted from the receiver unit EE to the transmission unit SE.
【0047】送信ユニットSEがカメラ要求情報KAN
を受信した後、スイッチユニットSは、該スイッチユニ
ットSの2つの入力側が要求されたカメラKaiおよび
Kai+xに接続され、その結果要求されたカメラ信号
KiおよびKi+xが立体写真コーディングユニットS
Cに通し接続される(図2の3)ように、切り替わる。The transmission unit SE uses the camera request information KAN.
After receiving, the switch unit S connects the two inputs of the switch unit S to the requested cameras Kai and Kai + x, so that the requested camera signals Ki and Ki + x are transferred to the stereoscopic coding unit S.
It is switched so that it is connected through C (3 in FIG. 2).
【0048】立体写真コーディングユニットSCにおい
て、通し接続されたカメラ信号KiおよびKi+xはコ
ーディングされて送出すべきビデオデータ流CVにコー
ディングされる(図2の4)。In the stereoscopic picture coding unit SC, the serially connected camera signals Ki and Ki + x are coded and coded into the video data stream CV to be transmitted (4 in FIG. 2).
【0049】それからこのコーディングされたビデオデ
ータ流CVは受信機ユニットEEに伝送される。This coded video data stream CV is then transmitted to the receiver unit EE.
【0050】この受信された、コーディングされたビデ
オデータ流CVは受信機ユニットEEにおいて立体写真
デコーディングユニットSDにおいてデコーディングさ
れ(図2の5)かつ観察者Bに立体写真画像スクリーン
DISを介して表示される(図2の6)。This received coded video data stream CV is decoded in the stereoscopic picture decoding unit SD in the receiver unit EE (5 in FIG. 2) and is sent to the viewer B via the stereoscopic picture screen DIS. It is displayed (6 in FIG. 2).
【0051】図3には、本発明の方法の有利な用途が図
示されている。FIG. 3 illustrates an advantageous application of the method according to the invention.
【0052】モデルに基づいたコーディング方法MCの
使用の際の難点は、コーディング方法MCにおいて発生
する障害状況の処理にある。即ち、モデルに基づいたコ
ーディング方法が障害を有するとき、即ち画像がモデル
に基づいたコーディング方法MCによって誤ってモデル
化されたときの手法にある。The difficulty in using the model-based coding method MC lies in the handling of fault situations that occur in the coding method MC. That is, when the model-based coding method is faulty, that is, when the image is erroneously modeled by the model-based coding method MC.
【0053】本明細書の枠内において、モデルに基づい
たコーディング方法MCとは、n個のカメラによって撮
影されたシーンSZを3次元のモデルによって表示する
方法の謂である。これにより、撮影されたシーンSZの
画像データの一層のデータ低減が可能になる。In the frame of this specification, the model-based coding method MC is a method of displaying the scene SZ captured by n cameras by a three-dimensional model. As a result, the image data of the captured scene SZ can be further reduced.
【0054】この場合、ビデオデータ流の画像に対して
再び正しいモデルが生成される、即ち計算されるまで、
ビデオデータ流の正しい伝送を可能にする例外処理が必
要である。この例外処理のために、上述した方法が提供
される。In this case, until the correct model is generated or calculated again for the images of the video data stream,
Exception handling is needed to allow correct transmission of the video data stream. The method described above is provided for this exception handling.
【0055】このことは、ビデオデータ流CVに対する
モデルが劣った品質で作成されたことが検出されると
き、画像データの比較大きな圧縮を可能にする、ビデオ
データ流CVのモデルに基づいたコーディング方法MC
は中断されかつ本発明の方法が実施される(図3の1
0)、即ちシーンはその都度、観察者Bのヘッド位置P
jによって選択される2つのカメラKaiおよびKai
+1によって撮影されることを意味する。This means that a coding method based on the model of the video data stream CV enables a comparatively large compression of the image data when it is detected that the model for the video data stream CV was produced with poor quality. MC
Is interrupted and the method of the invention is carried out (1 in FIG. 3).
0), that is, the scene changes the head position P of the observer B each time.
Two cameras Kai and Kai selected by j
Means to be taken by +1.
【0056】画像データを再び正しく表す新しいモデル
が作成されたとき(図3の9)、再びモデルに基づいた
コーディング方法MCを実施することができる(図3の
7)。When a new model is created which again correctly represents the image data (9 in FIG. 3), the model-based coding method MC can again be implemented (7 in FIG. 3).
【0057】従って、本発明の方法は、ビデオデータ流
のモデルに基づいたコーディング方法MCと関連して、
モデルに基づいたコーディング方法MCのフォールバッ
ク解決法として使用することができる。The method of the invention is therefore associated with a model-based coding method MC of the video data stream,
It can be used as a fallback solution for the model-based coding method MC.
【図1】受信機ユニットおよび送信ユニットおよび観察
者のヘッド位置に基づいて選択される複数のカメラを備
えた装置の概略図である。FIG. 1 is a schematic diagram of an apparatus with a receiver unit and a transmitter unit and a plurality of cameras selected based on a viewer's head position.
【図2】請求項3に記載の本発明の方法を記述するシー
ケンス図である。FIG. 2 is a sequence diagram describing the method of the present invention as defined in claim 3;
【図3】モデルに基づいたコーディングにおけるフォー
ルバック解決法としての本発明の方法の使用を説明する
シーケンス図である。FIG. 3 is a sequence diagram illustrating the use of the method of the invention as a fallback solution in model-based coding.
SZ シーン、SE 送信ユニット、 Ka1〜Kan
カメラ、 K1〜Kn カメラ信号、 S スイッチ
ユニット、 SC コーディングユニット、CV ビデ
オデータ流、 EE 受信機ユニット、 SD デコー
ディングユニット、 DIS スクリーン、 B 観察
者、 P1〜Pn−1 ヘッド位置SZ scene, SE transmission unit, Ka1-Kan
Camera, K1 to Kn camera signal, S switch unit, SC coding unit, CV video data stream, EE receiver unit, SD decoding unit, DIS screen, B observer, P1 to Pn-1 head position
Claims (4)
によって発生される、複数のカメラ信号(Ki;i=1
‥n)から、まとめて1つの立体写真画像列を形成する
2つのカメラ信号を生成する2つのカメラを自動的に選
択するための装置において、送信ユニット(SE)にお
いて、n個のカメラ(Kai)が任意の手法で配設され
ており、該n個のカメラは1つのシーンの複数の光景を
撮影しかつスイッチユニット(S)を介して使用するこ
とができ、前記送信ユニット(SE)において、立体写
真コーディングユニット(SC)が設けられており、該
コーディングユニットは、コーディングされて送信すべ
きビデオデータ流(CV)をコーディングするためのも
のであり、前記送信ユニット(SE)において、前記ス
イッチユニット(S)が設けられており、その際該スイ
ッチユニット(S)の2つの出力側は前記立体写真コー
ディングユニット(SC)に接続されており、かつ前記
スイッチユニット(S)のn個の入力側は前記n個のカ
メラ(Kai‥Kan)に接続されており、該スイッチ
ユニットは、受信機ユニット(EE)のヘッド追跡ユニ
ット(KVE)によって選択された2つのカメラ信号
(Ki;Ki+x)を使用することができ、ここにおい
て数(x)は1ないしnの領域にある任意の数であり、
前記受信機ユニット(EE)において、前記ヘッド追跡
ユニット(KVE)が設けられており、該ヘッド追跡ユ
ニットは、ヘッド位置(Pj;j=1‥n−1)を決定
しかつ該ヘッド位置(Pj)に対応する2つのカメラ信
号(Ki;Ki+x)を選択するためのものであり、前
記受信機ユニット(EE)において、立体写真デコーデ
ィング装置(SD)が設けられており、該立体写真デコ
ーディング装置は、受信された、コーディングされてい
るビデオデータ流(CV)をデコーディングするための
ものであり、かつ前記受信機ユニット(EE)におい
て、前記立体写真デコーディング装置(SD)の出力側
に接続されている立体写真画像スクリーン(DIS)が
設けられていることを特徴とする2つのカメラの自動選
択装置。1. n cameras (Kai; i = 1 ... n)
Generated by a plurality of camera signals (Ki; i = 1
, N), a device for automatically selecting two cameras that together generate two camera signals forming one stereoscopic photographic image sequence, in a transmitting unit (SE), n cameras (Kai). ) Are arranged in an arbitrary manner, the n cameras can capture a plurality of scenes of a scene and can be used via a switch unit (S), A stereoscopic coding unit (SC) is provided for coding the video data stream (CV) to be coded and transmitted, wherein in the transmitting unit (SE) the switch A unit (S) is provided, the two output sides of the switch unit (S) being the stereoscopic picture coding unit. SC) and the n input sides of the switch unit (S) are connected to the n cameras (Kai ... Kan), and the switch unit is connected to the receiver unit (EE). Two camera signals (Ki; Ki + x) selected by the head tracking unit (KVE) can be used, where the number (x) is any number in the range 1 to n,
In said receiver unit (EE) said head tracking unit (KVE) is provided, said head tracking unit determining a head position (Pj; j = 1 ... N-1) and said head position (Pj). ) Corresponding to two camera signals (Ki; Ki + x), the receiver unit (EE) is provided with a stereoscopic picture decoding device (SD), and the stereoscopic picture decoding is performed. A device is for decoding the received coded video data stream (CV), and at the receiver unit (EE) at the output of the stereoscopic decoding device (SD). An automatic selection device for two cameras, characterized in that it is provided with a connected stereoscopic picture screen (DIS).
間隔である請求項1記載の装置。2. The apparatus according to claim 1, wherein the n cameras (Kai) are equidistant from each other.
によって発生される、複数のカメラ信号(Ki;i=1
‥n)から、まとめて1つの立体写真画像列を形成する
2つのカメラ信号を生成する2つのカメラを自動的に選
択するための方法において、受信機ユニット(EE)に
おいて、ヘッド追跡ユニット(KVE)によって観察者
(B)のヘッド位置(Pj;j=1‥n−1)を決定
し、前記ヘッド追跡ユニット(KVE)によって、前記
ヘッド位置(Pj)に対応する、2つのカメラ(Ka
i;Kai+x)によって生成される2つのカメラ信号
(Ki;Ki+x)を選択し、ここにおいて前記ヘッド
位置(Pj)に2つのカメラ信号(Ki)および(Ki
+x)が対応付けられ、かつ数(x)は1ないしnの領
域にある任意の数であり、前記受信機ユニット(EE)
は、カメラ要求情報(KAN)を送信ユニット(SE)
に送出し、該カメラ要求情報によって2つの必要とされ
るカメラ信号(Ki;Ki+x)が要求され、前記送信
ユニット(SE)は前記カメラ要求情報(KAN)を受
信しかつ記憶し、前記送信ユニット(SE)において、
スイッチユニット(S)を介して、前記ヘッド追跡ユニ
ット(KVE)によって選択された2つのカメラ信号
(Ki;Ki+x)を立体写真コーディングユニット
(SC)に通し接続し、前記送信ユニット(SE)にお
いて、前記立体写真コーディングユニット(SC)にお
いて、コーディングされて送出すべきビデオデータ流
(CV)をコーディングし、該送出すべきコーディング
されたビデオデータ流(CV)を前記受信機ユニット
(EE)に伝送し、該受信されたコーディングされたビ
デオデータ流(CV)を前記受信機ユニット(EE)に
おいて記憶し、かつ前記受信機ユニット(EE)におい
て前記受信されたコーディングされたビデオデータ流
(CV)を立体写真デコーディングユニット(SD)に
おいてデコーディングすることを特徴とする2つのカメ
ラの自動選択方法。3. n cameras (Kai; i = 1 ... n)
Generated by a plurality of camera signals (Ki; i = 1
, N), a method for automatically selecting two cameras that together generate two camera signals forming one stereoscopic photographic image sequence in a receiver unit (EE) at a head tracking unit (KVE). ) Determines the head position (Pj; j = 1 ... n-1) of the observer (B), and the head tracking unit (KVE) determines two cameras (Ka) corresponding to the head position (Pj).
i; Kai + x) select the two camera signals (Ki; Ki + x) generated by the two camera signals (Ki) and (Ki) at the head position (Pj).
+ X) is associated and the number (x) is any number in the range 1 to n, said receiver unit (EE)
Sends camera request information (KAN) to transmission unit (SE)
And the two required camera signals (Ki; Ki + x) are requested by the camera request information, the transmitting unit (SE) receives and stores the camera request information (KAN), and the transmitting unit In (SE),
Through the switch unit (S), the two camera signals (Ki; Ki + x) selected by the head tracking unit (KVE) are connected to the stereoscopic picture coding unit (SC) through the transmission unit (SE). In the stereoscopic picture coding unit (SC), the coded video data stream (CV) to be coded and transmitted is coded, and the coded video data stream (CV) to be transmitted is transmitted to the receiver unit (EE). Storing the received coded video data stream (CV) at the receiver unit (EE) and stereoscopically receiving the received coded video data stream (CV) at the receiver unit (EE). Decoding in Photo Decoding Unit (SD) Automatic selection method of two cameras characterized by.
のためのモデルに基づいているコーディング方法(M
C)の実施に際して、モデルに基づいているコーディン
グ(MC)が不調であるとき、該モデルに基づいている
コーディング(MC)を再び使用することができるよう
になるまで、請求項3に記載の方法を使用する用途。4. Model-based coding method (M) for coding a video data stream (CV).
4. The method according to claim 3, wherein in the implementation of C), when the model-based coding (MC) is out of order, the model-based coding (MC) can be used again. Use for.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19528425.9 | 1995-08-02 | ||
DE19528425A DE19528425C1 (en) | 1995-08-02 | 1995-08-02 | Automated stereoscopic camera selection arrangement |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09107561A true JPH09107561A (en) | 1997-04-22 |
Family
ID=7768533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8203731A Withdrawn JPH09107561A (en) | 1995-08-02 | 1996-08-01 | Automatic selection device of two cameras, method of automatic selection of two cameras and its application |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPH09107561A (en) |
DE (1) | DE19528425C1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9908545D0 (en) * | 1999-04-14 | 1999-06-09 | Canon Kk | Image processing apparatus |
WO2005009052A1 (en) * | 2003-07-16 | 2005-01-27 | Koninklijke Philips Electronics N.V. | Head tracked autostereoscopic display |
CN101472190B (en) * | 2007-12-28 | 2013-01-23 | 华为终端有限公司 | Multi-visual angle filming and image processing apparatus and system |
GB2471137B (en) * | 2009-06-19 | 2011-11-30 | Sony Comp Entertainment Europe | 3D image processing method and apparatus |
GB2556910A (en) * | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4027471C2 (en) * | 1990-08-30 | 1994-10-13 | Drescher Ruediger | Device for the spatial representation of images |
EP0650301B1 (en) * | 1993-10-26 | 2000-05-31 | Matsushita Electric Industrial Co., Ltd. | Three-dimensional picture image display apparatus |
-
1995
- 1995-08-02 DE DE19528425A patent/DE19528425C1/en not_active Expired - Fee Related
-
1996
- 1996-08-01 JP JP8203731A patent/JPH09107561A/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
DE19528425C1 (en) | 1996-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3157384B2 (en) | 3D image device | |
US5835133A (en) | Optical system for single camera stereo video | |
EP0645926B1 (en) | Image processing apparatus and method. | |
US5359362A (en) | Videoconference system using a virtual camera image | |
US4754327A (en) | Single sensor three dimensional imaging | |
CN101651841B (en) | Method, system and equipment for realizing stereo video communication | |
US20100134599A1 (en) | Arrangement and method for the recording and display of images of a scene and/or an object | |
JP2002095018A (en) | Image display controller, image display system and method for displaying image data | |
US20060132597A1 (en) | Stereoscopic video providing method and stereoscopic video display | |
JP2006128818A (en) | Recording program and reproducing program corresponding to stereoscopic video and 3d audio, recording apparatus, reproducing apparatus and recording medium | |
JP2009516447A (en) | Method and apparatus for generating, transferring and processing three-dimensional image data | |
WO2006075325A1 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
JPH07287761A (en) | Device and method for processing picture | |
JPH10155104A (en) | Compound eye image pickup method and device and storage medium | |
JPH08115439A (en) | Picture data processor and picture reproduction device | |
JPS60264194A (en) | Method for processing stereoscopic television signal and equipment at its transmission and reception side | |
JP2006128816A (en) | Recording program and reproducing program corresponding to stereoscopic video and stereoscopic audio, recording apparatus and reproducing apparatus, and recording medium | |
KR101960577B1 (en) | Method for transmitting and receiving stereo information about a viewed space | |
JPH09107561A (en) | Automatic selection device of two cameras, method of automatic selection of two cameras and its application | |
JPH0795621A (en) | Image recording and reproducing device | |
JPH08331599A (en) | Time division stereoscopic video signal detection method, time division stereoscopic video signal detector and stereoscopic video signal display device | |
CN103051866A (en) | Network 3D (three dimensional) video monitoring system and method and video processing platform | |
JP4270695B2 (en) | 2D-3D image conversion method and apparatus for stereoscopic image display device | |
JP2005101797A (en) | Stereoscopic display system | |
Lagendijk et al. | Stereoscopic image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20031007 |