JPH03175886A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH03175886A JPH03175886A JP1316107A JP31610789A JPH03175886A JP H03175886 A JPH03175886 A JP H03175886A JP 1316107 A JP1316107 A JP 1316107A JP 31610789 A JP31610789 A JP 31610789A JP H03175886 A JPH03175886 A JP H03175886A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cameras
- photographed
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 abstract description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、TV放送のスポーツ・イベント中継等に使用
して好適な画像処理装置に関する。
して好適な画像処理装置に関する。
〔発明の概要]
本発明は画像処理装置に関し、2台のカメラからの画像
をそれぞれ変形して合成することにより、2台のカメラ
の間の任意の視点位置からの画像が得られるようにする
ものである。
をそれぞれ変形して合成することにより、2台のカメラ
の間の任意の視点位置からの画像が得られるようにする
ものである。
〔従来の技術]
例えばTV放送でスポーツ・イベントの中継を行う場合
には複数のカメラを会場の各所に設置し、放送はこれら
複数のカメラの画像の中から一つを選択して行うように
される。その場合により適確な表現を行う目的で単一の
撮影対象を2以上のカメラで撮影し、これらのカメラの
画像を順次切換えることが行われる。
には複数のカメラを会場の各所に設置し、放送はこれら
複数のカメラの画像の中から一つを選択して行うように
される。その場合により適確な表現を行う目的で単一の
撮影対象を2以上のカメラで撮影し、これらのカメラの
画像を順次切換えることが行われる。
ところがこのような切換を無作為に行うと、視聴者の視
点位置の把握が困難になり、状況認識に混乱をきたし、
臨場感が著しく損れるおそれがある。
点位置の把握が困難になり、状況認識に混乱をきたし、
臨場感が著しく損れるおそれがある。
すなわち例えば野球中継において、パックネット裏と一
塁側及び三塁側にカメラを設置して、二塁を撮影対象と
してこれらの画像を無作為に切換ると、特に−塁側及び
三塁側のカメラの画像について視点位置の把握が困難に
なり、走者の走累や野手の送球等の状況認識に混乱をき
たすおそれが大きい。
塁側及び三塁側にカメラを設置して、二塁を撮影対象と
してこれらの画像を無作為に切換ると、特に−塁側及び
三塁側のカメラの画像について視点位置の把握が困難に
なり、走者の走累や野手の送球等の状況認識に混乱をき
たすおそれが大きい。
従って従来はこのような切換に対して種々の制限が加え
られるものであった。
られるものであった。
ところで本願出願人は、先にカメラからの画像を任意に
変形して、視点位置を任意に変更できるようにする装置
を提案したく特願平1−150200号参照)。
変形して、視点位置を任意に変更できるようにする装置
を提案したく特願平1−150200号参照)。
この出願はこのような点に鑑みてなされたもので、上述
の先行技術を利用して、より自由な画像の切換を行うこ
とができるようにするものである。
の先行技術を利用して、より自由な画像の切換を行うこ
とができるようにするものである。
本発明による第1の手□段は、被撮影物を撮影する第1
及び第2のカメラ(3a) (3t+)と、上記第1の
カメラの撮像素子の各絵素の座標及び上記被撮影物に対
する上記第1のカメラの撮影角度に基づいて3次元座標
系に上記被撮影物の被撮影面の第1のモデルを形成する
第1の形成手段(13a) と、上記第2のカメラの
撮像素子の各絵素の座標及び上記被撮影物に対する上記
第2のカメラの撮影角度に基づいて3次元座標系に上記
被撮影物の被撮影面の第2のモデルを形成する第2の形
成手段(13b)と、上記第1の形成手段によって形成
された上記第1のモデルに上記第1のカメラから出力さ
れる画像データをマツピングする第1のマツピング手段
(メモリ制御手段(16a) 及び入力画像メモリ(1
1,a))と、上記第2の形成手段によって形成された
上記第2のモデルに上記第2のカメラから出力される画
像データをマツピングする第2のマツピング手段(メモ
リ制御手段(16b) 及び人力画像メモ!J (l
lb))と、夫々上記画像データがマツピングされた上
記第1及び第2のモデルを上記3次元座標系で上記第1
のカメラと上記第2のカメラとのなす角度内で相補的な
角度だけ回転移動させる移動手段(メモリ制御手段(1
6a) (16b)及び出力画像メモ!J (18a)
(18b)) と、夫々上記画像データがマツピン
グされた上記第1及び第2のモデルを上記移動手段によ
って回転させた角度に応じた比率で合皮する合成手段(
フェーダ付スイッチャ(8))とからなる画像処理装置
である。
及び第2のカメラ(3a) (3t+)と、上記第1の
カメラの撮像素子の各絵素の座標及び上記被撮影物に対
する上記第1のカメラの撮影角度に基づいて3次元座標
系に上記被撮影物の被撮影面の第1のモデルを形成する
第1の形成手段(13a) と、上記第2のカメラの
撮像素子の各絵素の座標及び上記被撮影物に対する上記
第2のカメラの撮影角度に基づいて3次元座標系に上記
被撮影物の被撮影面の第2のモデルを形成する第2の形
成手段(13b)と、上記第1の形成手段によって形成
された上記第1のモデルに上記第1のカメラから出力さ
れる画像データをマツピングする第1のマツピング手段
(メモリ制御手段(16a) 及び入力画像メモリ(1
1,a))と、上記第2の形成手段によって形成された
上記第2のモデルに上記第2のカメラから出力される画
像データをマツピングする第2のマツピング手段(メモ
リ制御手段(16b) 及び人力画像メモ!J (l
lb))と、夫々上記画像データがマツピングされた上
記第1及び第2のモデルを上記3次元座標系で上記第1
のカメラと上記第2のカメラとのなす角度内で相補的な
角度だけ回転移動させる移動手段(メモリ制御手段(1
6a) (16b)及び出力画像メモ!J (18a)
(18b)) と、夫々上記画像データがマツピン
グされた上記第1及び第2のモデルを上記移動手段によ
って回転させた角度に応じた比率で合皮する合成手段(
フェーダ付スイッチャ(8))とからなる画像処理装置
である。
第2の手段は、被撮影物を撮影する第1及び第2のカメ
ラ(3a) (3b)と、上記第1のカメラによって撮
影された第1の画像と一ヒ記第2のカメラによって撮影
された第2の画像との対応点を検出する対応点検出手段
(71)と、上記対応点検出手段の出力信号に基づいて
上記第1の画像と上記第2の画像の互いに対応する点を
結ぶ距離ベクトルを作成する作成手段(72)と、該作
成手段の出力信号に基づいて上記第1及び第2の画像を
2次元座標系で上記第1のカメラと上記第2のカメラと
のなす角度内で相補的な角度たけ回転移動させる移動手
段(メモリ制御手段(16a) (16b)及び画像メ
モリ(lla)(llb) (18a) (18b))
と、該回転移動された上記第1及び第2の画像を上記移
動手段によって回転させた角度に応じた比率で合成する
合成手段(フェーダ付スイッチャ(8))とからなる画
像処理装置である。
ラ(3a) (3b)と、上記第1のカメラによって撮
影された第1の画像と一ヒ記第2のカメラによって撮影
された第2の画像との対応点を検出する対応点検出手段
(71)と、上記対応点検出手段の出力信号に基づいて
上記第1の画像と上記第2の画像の互いに対応する点を
結ぶ距離ベクトルを作成する作成手段(72)と、該作
成手段の出力信号に基づいて上記第1及び第2の画像を
2次元座標系で上記第1のカメラと上記第2のカメラと
のなす角度内で相補的な角度たけ回転移動させる移動手
段(メモリ制御手段(16a) (16b)及び画像メ
モリ(lla)(llb) (18a) (18b))
と、該回転移動された上記第1及び第2の画像を上記移
動手段によって回転させた角度に応じた比率で合成する
合成手段(フェーダ付スイッチャ(8))とからなる画
像処理装置である。
これによれば、一方のカメラの画像から他方のカメラの
画像へ切換る場合に、第3の視点位置を一方のカメラか
ら他方のカメラへ連続的に移動させることによって、視
聴者は他方のカメラの視点位置を明確に把握することが
でき、これによって、画像の切換に制限を設ける必要が
無くなり、より自由な画像の切換を行うことができる。
画像へ切換る場合に、第3の視点位置を一方のカメラか
ら他方のカメラへ連続的に移動させることによって、視
聴者は他方のカメラの視点位置を明確に把握することが
でき、これによって、画像の切換に制限を設ける必要が
無くなり、より自由な画像の切換を行うことができる。
第1図において、(la) (lb)はそれぞれ本願出
願人が先に提案した画像処理装置であって、この例では
この装置が2台使用される。また(2)は例えば野球場
のような被撮影物を示し、この被撮影物(2)が2台の
テレビカメラ(3a) (3b)にて撮影される。
願人が先に提案した画像処理装置であって、この例では
この装置が2台使用される。また(2)は例えば野球場
のような被撮影物を示し、この被撮影物(2)が2台の
テレビカメラ(3a) (3b)にて撮影される。
そしてこれらのカメラ(3a) (3b)で撮影された
映像信号がそれぞれ画像処理装置(la) (lb)の
入力画像メモ’J (lla) (11,b)に供給さ
れ、各絵素ごとに所定のアドレスに記憶される。
映像信号がそれぞれ画像処理装置(la) (lb)の
入力画像メモ’J (lla) (11,b)に供給さ
れ、各絵素ごとに所定のアドレスに記憶される。
一方、このときカメラ(3a) (3b)は固定されて
おり、その撮影角度はそれぞれθ1.θ2 とする。こ
れらの撮影角度θ1.θ2がそれぞれ撮影角度側測定装
置(12a> (12b)で測定され、これらの測定さ
れた撮影角度θ、θ2がそれぞれ平面モデル作成手段(
13a) (13b)に供給される。これによって作成
手段<13a) (13b)では、それぞれ供給される
撮影角度θ1.θ2に基づいて平面モデルが作成される
。
おり、その撮影角度はそれぞれθ1.θ2 とする。こ
れらの撮影角度θ1.θ2がそれぞれ撮影角度側測定装
置(12a> (12b)で測定され、これらの測定さ
れた撮影角度θ、θ2がそれぞれ平面モデル作成手段(
13a) (13b)に供給される。これによって作成
手段<13a) (13b)では、それぞれ供給される
撮影角度θ1.θ2に基づいて平面モデルが作成される
。
さらに、あらかじめ被撮影物(2)の起伏の情報(高さ
情報)が測定されており、この高さ情報が入力装置(1
4a) (14b)を通じて人力される。これらの入力
された高さ情報がそれぞれ高さ情報付加手段(1,5a
) (15b)に供給されて、作成手段(13a) (
13b)て作成された平面モデルがそれぞれ高さ情報に
基づいて修正され、起伏を有するモデルが形成される。
情報)が測定されており、この高さ情報が入力装置(1
4a) (14b)を通じて人力される。これらの入力
された高さ情報がそれぞれ高さ情報付加手段(1,5a
) (15b)に供給されて、作成手段(13a) (
13b)て作成された平面モデルがそれぞれ高さ情報に
基づいて修正され、起伏を有するモデルが形成される。
これらの起伏を有するモデルがそれぞれメモリ制御和手
段(16a) (16b) !こ1共糸含される。これ
1こよって人力画像メモ!、1 (lla) (llb
)に記憶された各絵素がそれぞれ上述の起伏を有するモ
デルにマツピングされて読出される。
段(16a) (16b) !こ1共糸含される。これ
1こよって人力画像メモ!、1 (lla) (llb
)に記憶された各絵素がそれぞれ上述の起伏を有するモ
デルにマツピングされて読出される。
また、制御手段(4)とオペレータからの制御指示の入
力手段(5)、制御jこ関するデータ等を記憶するメモ
リ(6)が設)すられる。そして例えjfカメラ(3a
)からカメラ(3b)への切換を行う場合j=は、人力
手段(5)からの指示に従ってカメラ(3a) <3b
)を結ぶ線上で任意の視点位置が制御手段(4)で計算
され、この視点位置が視点位置設定手段(17a) (
17b)に供給される。さらにこれらの設定手段(17
a) (]、7b)に設定された視点位置がそれぞれメ
モリ制御手段(16a)(161m) に供給される
。これによって入力画像メモ’J <1la) <1l
b)からモデルにマツピングされて読出された各絵素の
データが、設定手段(17a) (17b)に設定され
た視点位置に基づいて、それぞれのモデルが回転されて
出力画像メモ’J (18a) (18b)に記憶され
る。なおこれらの起伏を有するモデルの形成、データの
マツピング及び回転の技術は上述の特願平1−1502
00号に詳述されている。
力手段(5)、制御jこ関するデータ等を記憶するメモ
リ(6)が設)すられる。そして例えjfカメラ(3a
)からカメラ(3b)への切換を行う場合j=は、人力
手段(5)からの指示に従ってカメラ(3a) <3b
)を結ぶ線上で任意の視点位置が制御手段(4)で計算
され、この視点位置が視点位置設定手段(17a) (
17b)に供給される。さらにこれらの設定手段(17
a) (]、7b)に設定された視点位置がそれぞれメ
モリ制御手段(16a)(161m) に供給される
。これによって入力画像メモ’J <1la) <1l
b)からモデルにマツピングされて読出された各絵素の
データが、設定手段(17a) (17b)に設定され
た視点位置に基づいて、それぞれのモデルが回転されて
出力画像メモ’J (18a) (18b)に記憶され
る。なおこれらの起伏を有するモデルの形成、データの
マツピング及び回転の技術は上述の特願平1−1502
00号に詳述されている。
これらの出力画像メモIJ (18a) (18b)に
記憶された各絵素のデータが、それぞれ所定のアドレス
から読出されることによって、それぞれ上述の設定され
た視点位置に変換された映像信号が形成される。
記憶された各絵素のデータが、それぞれ所定のアドレス
から読出されることによって、それぞれ上述の設定され
た視点位置に変換された映像信号が形成される。
さらに、これらの映像信号が例えばステレオマツチング
を行うための画像演算装置(7)(こ供給され0 る。すなわちこの演算装置(7)において、まず供給さ
れる2つの映像信号が対応点検出手段(71)に供給さ
れ、検出された対応点と元の映像信号が距離ベクトル作
成手段(72)に供給されて2つの映像信号の対応点の
ずれに相当する距離ベクトルが作成される。この距離ベ
クトルが制御手段〔4〕に供給されて、各映像信号のず
れを解消するための補正データが形成される。これらの
各映像信号ごとの補正データがそれぞれ補正手段(19
a) (19b)に供給され、これらの補正データがそ
れぞれメモリ制御手段(16a) (16b)に供給さ
れることによって、出力画像メモIJ (18a) (
18b)から読出される2つの映像信号の視点位置が完
全;ご一致される。なおステレオマツチングを行うため
の画像処理装置(7)には、例えば本願出願人が先に提
案した特願昭63−176433号の装置が利用できる
。
を行うための画像演算装置(7)(こ供給され0 る。すなわちこの演算装置(7)において、まず供給さ
れる2つの映像信号が対応点検出手段(71)に供給さ
れ、検出された対応点と元の映像信号が距離ベクトル作
成手段(72)に供給されて2つの映像信号の対応点の
ずれに相当する距離ベクトルが作成される。この距離ベ
クトルが制御手段〔4〕に供給されて、各映像信号のず
れを解消するための補正データが形成される。これらの
各映像信号ごとの補正データがそれぞれ補正手段(19
a) (19b)に供給され、これらの補正データがそ
れぞれメモリ制御手段(16a) (16b)に供給さ
れることによって、出力画像メモIJ (18a) (
18b)から読出される2つの映像信号の視点位置が完
全;ご一致される。なおステレオマツチングを行うため
の画像処理装置(7)には、例えば本願出願人が先に提
案した特願昭63−176433号の装置が利用できる
。
そして、これらの補正された映像信号がフェーダ付スイ
ッチャ(8)に供給され、それぞれ係数乗算手段(81
a) (81b) i::て(1−W> 及びWの係
数カ乗算された後、加算器(82)で加算される。こう
して加算された映像信号が出力端子(9〕に取出される
と共に、モニタ(10)に供給されて表示される。
ッチャ(8)に供給され、それぞれ係数乗算手段(81
a) (81b) i::て(1−W> 及びWの係
数カ乗算された後、加算器(82)で加算される。こう
して加算された映像信号が出力端子(9〕に取出される
と共に、モニタ(10)に供給されて表示される。
従ってこの装置において、例えば第2図に示すように被
撮影物(2)に対してカメラ(3a) (3b)が設置
されていた場合に、各カメラ(3a> <3b)で撮影
される映像信号はそれぞれ第3図Aに示すようになって
いる。これらの映像信号が入力画像メモ!](lla)
(llb) に記憶され、これらに対して例えば図中
に(3C)で示すように視点位置を設定して処理を行う
と、出力画像メモ!J (18a) (18b)からは
同図Bに示すような映像信号が読出される。
撮影物(2)に対してカメラ(3a) (3b)が設置
されていた場合に、各カメラ(3a> <3b)で撮影
される映像信号はそれぞれ第3図Aに示すようになって
いる。これらの映像信号が入力画像メモ!](lla)
(llb) に記憶され、これらに対して例えば図中
に(3C)で示すように視点位置を設定して処理を行う
と、出力画像メモ!J (18a) (18b)からは
同図Bに示すような映像信号が読出される。
ここで読出される映像信号は理想的には一致しているは
ずである。しかし実際には精度上の問題等から、2つの
映像信号には若干のずれが生じてしまう。そこでこれら
の映像信号が画像演算装置(7)に供給されることによ
り、これらの対応点の検出から同図Cに示すようなずれ
の距離ベクトルが作成される。そしてこのような距離ベ
クトルが制御手段(4)に供給されることによって、同
図りに示すようにそれぞれの映像信号が距離ベクトルの
1/2ずつ補正され、これらがフェーダ付スイッチャ(
8〕で加算されることによって、同図Eに示すような(
3C)の視点位置からの映像信号が形成される。
ずである。しかし実際には精度上の問題等から、2つの
映像信号には若干のずれが生じてしまう。そこでこれら
の映像信号が画像演算装置(7)に供給されることによ
り、これらの対応点の検出から同図Cに示すようなずれ
の距離ベクトルが作成される。そしてこのような距離ベ
クトルが制御手段(4)に供給されることによって、同
図りに示すようにそれぞれの映像信号が距離ベクトルの
1/2ずつ補正され、これらがフェーダ付スイッチャ(
8〕で加算されることによって、同図Eに示すような(
3C)の視点位置からの映像信号が形成される。
そこでこの(3C)の視点位置をカメラ(3a)の位置
からカメラ(3b)の位置まで順次移動させることによ
って、2台のカメラ(3a) <3b)の間を連続的に
移動する映像信号を得ることができる。
からカメラ(3b)の位置まで順次移動させることによ
って、2台のカメラ(3a) <3b)の間を連続的に
移動する映像信号を得ることができる。
なお現実には、フェーダ付スイッチャ〔8)での切換は
例えば第4図:こ示すように行われ、それぞれカメラ(
3a) <3b)から所定の位置まではそれぞれの映像
信号を処理した信号Ca、 Cb ’b<取出されると
共に、その間の遷移期間に図示のように重み係数Wを変
化させて、それぞれ重み付けされた映像信号を加算した
信号C C= (1−W) X Ca+ wX Cbが取出され
る。ここで遷移期間は、カメラ(3a)(3b)間の中
央に限らず、視点位置の移動が高速になる部分や、処理
された映像信号の相関性の高い部分に設けるようにして
もよい。
例えば第4図:こ示すように行われ、それぞれカメラ(
3a) <3b)から所定の位置まではそれぞれの映像
信号を処理した信号Ca、 Cb ’b<取出されると
共に、その間の遷移期間に図示のように重み係数Wを変
化させて、それぞれ重み付けされた映像信号を加算した
信号C C= (1−W) X Ca+ wX Cbが取出され
る。ここで遷移期間は、カメラ(3a)(3b)間の中
央に限らず、視点位置の移動が高速になる部分や、処理
された映像信号の相関性の高い部分に設けるようにして
もよい。
こうして上述の装置によれば、一方のカメラの3
画像から他方のカメラの画像へ切換る場合に、第3の視
点位置を一方のカメラから他方のカメラへ連続的に移動
させることによって、視聴者は他方のカメラの視点位置
を明確に把握することができ、これによって、画像の切
換に制限を設ける必要が無くなり、より自由な画像の切
換を行うことができるものである。
点位置を一方のカメラから他方のカメラへ連続的に移動
させることによって、視聴者は他方のカメラの視点位置
を明確に把握することができ、これによって、画像の切
換に制限を設ける必要が無くなり、より自由な画像の切
換を行うことができるものである。
なお上述の装置において、野球選手などの作成されるモ
デルに含まれない部分は上述の処理によって歪を生じる
場合がある。その場合にはオペレータがモニタ(10)
を監視して、歪を生じる部分に人力手段(5)を用いて
補正を加えることができる。
デルに含まれない部分は上述の処理によって歪を生じる
場合がある。その場合にはオペレータがモニタ(10)
を監視して、歪を生じる部分に人力手段(5)を用いて
補正を加えることができる。
この補正は上述の特願平1−150200号に記載され
た技術を用いて行われる。
た技術を用いて行われる。
また上述の装置において、カメラ(3a) (3b)の
レンズの違い等によって、視野に変化を生じる場合にも
、適当な画像の拡大、縮小の技術を併用することによっ
て上述の処理を実行することができる。
レンズの違い等によって、視野に変化を生じる場合にも
、適当な画像の拡大、縮小の技術を併用することによっ
て上述の処理を実行することができる。
さらに上述の装置において、カメラ(3a) (3b)
間の角度ζが小さい場合には、上述の処理の内のス4 テレオマンチングによる処理だ(すでも上述の処理を行
うことができる。すなわち第5図はその場合の装置の構
成を示し、図jこおいてカメラ(3a) <3b)が被
撮影物(2)に対して角度ζを小さくして設置される。
間の角度ζが小さい場合には、上述の処理の内のス4 テレオマンチングによる処理だ(すでも上述の処理を行
うことができる。すなわち第5図はその場合の装置の構
成を示し、図jこおいてカメラ(3a) <3b)が被
撮影物(2)に対して角度ζを小さくして設置される。
そしてこれらのカメラ(3a) (3b)で撮影された
映像信号がそれぞれ画像メモ!J (lla) (ll
b)に供給され、各絵素ごとjこ所定のアドレスに記・
1.Iされる。
映像信号がそれぞれ画像メモ!J (lla) (ll
b)に供給され、各絵素ごとjこ所定のアドレスに記・
1.Iされる。
Claims (1)
- 【特許請求の範囲】 1、被撮影物を撮影する第1及び第2のカメラと、上記
第1のカメラの撮像素子の各絵素の座標及び上記被撮影
物に対する上記第1のカメラの撮影角度に基づいて3次
元座標系に上記被撮影物の被撮影面の第1のモデルを形
成する第1の形成手段と、 上記第2のカメラの撮像素子の各絵素の座標及び上記被
撮影物に対する上記第2のカメラの撮影角度に基づいて
3次元座標系に上記被撮影物の被撮影面の第2のモデル
を形成する第2の形成手段と、 上記第1の形成手段によって形成された上記第1のモデ
ルに上記第1のカメラから出力される画像データをマッ
ピングする第1のマッピング手段と、 上記第2の形成手段によって形成された上記第2のモデ
ルに上記第2のカメラから出力される画像データをマッ
ピングする第2のマッピング手段と、 夫々上記画像データがマッピングされた上記第1及び第
2のモデルを上記3次元座標系で上記第1のカメラと上
記第2のカメラとのなす角度内で相補的な角度だけ回転
移動させる移動手段と、 夫々上記画像データがマッピングされた上記第1及び第
2のモデルを上記移動手段によって回転させた角度に応
じた比率で合成する合成手段とからなる画像処理装置。 2、被撮影物を撮影する第1及び第2のカメラと、上記
第1のカメラによって撮影された第1の画像と上記第2
のカメラによって撮影された第2の画像との対応点を検
出する対応点検出手段と、 上記対応点検出手段の出力信号に基づいて上記第1の画
像と上記第2の画像の互いに対応する点を結ぶ距離ベク
トルを作成する作成手段と、該作成手段の出力信号に基
づいて上記第1及び第2の画像を2次元座標系で上記第
1のカメラと上記第2のカメラとのなす角度内で相補的
な角度だけ回転移動させる移動手段と、 該回転移動された上記第1及び第2の画像を上記移動手
段によって回転させた角度に応じた比率で合成する合成
手段とからなる画像処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01316107A JP3104909B2 (ja) | 1989-12-05 | 1989-12-05 | 画像処理装置 |
DE69032971T DE69032971T2 (de) | 1989-12-05 | 1990-12-03 | Stellungssteuerungsgerät eines visuellen Punktes |
EP90313085A EP0431861B1 (en) | 1989-12-05 | 1990-12-03 | Visual point position control apparatus |
US07/623,110 US5101268A (en) | 1989-12-05 | 1990-12-03 | Visual point position control apparatus |
KR1019900019798A KR0183977B1 (ko) | 1989-12-05 | 1990-12-04 | 시점위치제어장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01316107A JP3104909B2 (ja) | 1989-12-05 | 1989-12-05 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH03175886A true JPH03175886A (ja) | 1991-07-30 |
JP3104909B2 JP3104909B2 (ja) | 2000-10-30 |
Family
ID=18073324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01316107A Expired - Lifetime JP3104909B2 (ja) | 1989-12-05 | 1989-12-05 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5101268A (ja) |
EP (1) | EP0431861B1 (ja) |
JP (1) | JP3104909B2 (ja) |
KR (1) | KR0183977B1 (ja) |
DE (1) | DE69032971T2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017051592A1 (ja) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5471383A (en) * | 1992-01-22 | 1995-11-28 | Acushnet Company | Monitoring systems to measure and display flight characteristics of moving sports object |
JPH05265081A (ja) * | 1992-03-23 | 1993-10-15 | Canon Inc | 複眼撮像装置 |
EP0563737B1 (en) * | 1992-03-23 | 1997-09-10 | Canon Kabushiki Kaisha | Multilens imaging apparatus with correction of misregistration |
US5715383A (en) * | 1992-09-28 | 1998-02-03 | Eastman Kodak Company | Compound depth image display system |
US5342051A (en) * | 1992-10-30 | 1994-08-30 | Accu-Sport International, Inc. | Apparatus and method for tracking the flight of a golf ball |
US5575719A (en) * | 1994-02-24 | 1996-11-19 | Acushnet Company | Method and apparatus to determine object striking instrument movement conditions |
US7291072B2 (en) | 1992-11-20 | 2007-11-06 | Acushnet Company | Performance measurement system with fluorescent markers for golf equipment |
US6241622B1 (en) | 1998-09-18 | 2001-06-05 | Acushnet Company | Method and apparatus to determine golf ball trajectory and flight |
DE69434685T2 (de) * | 1993-08-04 | 2006-09-14 | Canon K.K. | Bildverarbeitungsverfahren und -gerät |
DE69417824T4 (de) * | 1993-08-26 | 2000-06-29 | Matsushita Electric Industrial Co., Ltd. | Stereoskopischer Abtastapparat |
US5543964A (en) * | 1993-12-28 | 1996-08-06 | Eastman Kodak Company | Depth image apparatus and method with angularly changing display information |
JPH07287761A (ja) * | 1994-04-19 | 1995-10-31 | Canon Inc | 画像処理装置及び画像処理方法 |
US7843497B2 (en) | 1994-05-31 | 2010-11-30 | Conley Gregory J | Array-camera motion picture device, and methods to produce new visual and aural effects |
US5596494A (en) * | 1994-11-14 | 1997-01-21 | Kuo; Shihjong | Method and apparatus for acquiring digital maps |
US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
US6111596A (en) * | 1995-12-29 | 2000-08-29 | Lucent Technologies Inc. | Gain and offset correction for efficient stereoscopic coding and improved display |
US6081273A (en) * | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
SE506272C2 (sv) * | 1996-03-18 | 1997-11-24 | Paul Edholm | Förfarande och anordning för att bestämma bildläge och bildvinkel i en röntgenbild |
US6449004B1 (en) * | 1996-04-23 | 2002-09-10 | Minolta Co., Ltd. | Electronic camera with oblique view correction |
DE69915901T2 (de) | 1998-01-14 | 2004-09-02 | Canon K.K. | Bildverarbeitungsgerät |
US6533674B1 (en) | 1998-09-18 | 2003-03-18 | Acushnet Company | Multishutter camera system |
US6781621B1 (en) * | 1998-09-18 | 2004-08-24 | Acushnet Company | Launch monitor system with a calibration fixture and a method for use thereof |
US7214138B1 (en) * | 1999-01-29 | 2007-05-08 | Bgi Acquisition, Llc | Golf ball flight monitoring system |
US6285445B1 (en) | 1999-09-17 | 2001-09-04 | Acushnet Company | Method for determining aerodynamic characteristics of a golf ball |
US7193645B1 (en) * | 2000-07-27 | 2007-03-20 | Pvi Virtual Media Services, Llc | Video system and method of operating a video system |
US8085293B2 (en) * | 2001-03-14 | 2011-12-27 | Koninklijke Philips Electronics N.V. | Self adjusting stereo camera system |
US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
US8137210B2 (en) * | 2001-12-05 | 2012-03-20 | Acushnet Company | Performance measurement system with quantum dots for object identification |
US7324132B2 (en) * | 2003-05-06 | 2008-01-29 | Hewlett-Packard Development Company, L.P. | Imaging three-dimensional objects |
US7744480B2 (en) * | 2004-01-20 | 2010-06-29 | Acushnet Company | One camera club monitor |
US8872914B2 (en) * | 2004-02-04 | 2014-10-28 | Acushnet Company | One camera stereo system |
US8556267B2 (en) * | 2004-06-07 | 2013-10-15 | Acushnet Company | Launch monitor |
US8500568B2 (en) * | 2004-06-07 | 2013-08-06 | Acushnet Company | Launch monitor |
US8622845B2 (en) * | 2004-06-07 | 2014-01-07 | Acushnet Company | Launch monitor |
US8475289B2 (en) * | 2004-06-07 | 2013-07-02 | Acushnet Company | Launch monitor |
US7837572B2 (en) * | 2004-06-07 | 2010-11-23 | Acushnet Company | Launch monitor |
US7959517B2 (en) * | 2004-08-31 | 2011-06-14 | Acushnet Company | Infrared sensing launch monitor |
US20060141433A1 (en) * | 2004-12-28 | 2006-06-29 | Hing Cheung C | Method of detecting position of rectangular object and object detector |
US10063848B2 (en) * | 2007-08-24 | 2018-08-28 | John G. Posa | Perspective altering display system |
US9058689B2 (en) * | 2008-06-16 | 2015-06-16 | Eyefi Pty Ltd | Spatial predictive approximation and radial convolution |
US9767351B2 (en) * | 2009-01-15 | 2017-09-19 | AvidaSports, LLC | Positional locating system and method |
CN101894271B (zh) * | 2010-07-28 | 2012-11-07 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
US9074892B2 (en) | 2013-03-15 | 2015-07-07 | Ian Michael Fink | System and method of determining a position of a remote object |
CN103295231A (zh) * | 2013-05-14 | 2013-09-11 | 杭州海康希牧智能科技有限公司 | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4420230A (en) * | 1979-08-27 | 1983-12-13 | Mcelveen Robert H | Production of three dimensional motion pictures |
JPS60186967A (ja) * | 1984-03-05 | 1985-09-24 | Fanuc Ltd | 画像表示方法 |
EP0168981B1 (en) * | 1984-07-20 | 1993-10-27 | Tektronix, Inc. | Method and apparatus for spherical panning |
US4672559A (en) * | 1984-12-26 | 1987-06-09 | E. I. Du Pont De Nemours And Company | Method for operating a microscopical mapping system |
US4667236A (en) * | 1985-04-26 | 1987-05-19 | Digital Services Corporation | Television perspective effects system |
ATE113746T1 (de) * | 1986-06-03 | 1994-11-15 | Cubital Ltd | Gerät zur entwicklung dreidimensionaler modelle. |
GB8623718D0 (en) * | 1986-10-02 | 1986-11-05 | British Aerospace | Real time generation of stereo depth maps |
US4875097A (en) * | 1986-10-24 | 1989-10-17 | The Grass Valley Group, Inc. | Perspective processing of a video signal |
ES2000293A6 (es) * | 1986-12-29 | 1988-02-01 | Dominguez Montes Juan | Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro |
US4966436A (en) * | 1987-04-30 | 1990-10-30 | Christopher A. Mayhew | Apparatus for obtaining images for use in displaying a three-dimensional |
JP2667835B2 (ja) * | 1987-10-09 | 1997-10-27 | 株式会社日立製作所 | コンピユータグラフイツクス表示装置 |
JP3138264B2 (ja) * | 1988-06-21 | 2001-02-26 | ソニー株式会社 | 画像処理方法及び装置 |
US5065236A (en) * | 1990-11-02 | 1991-11-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects |
-
1989
- 1989-12-05 JP JP01316107A patent/JP3104909B2/ja not_active Expired - Lifetime
-
1990
- 1990-12-03 US US07/623,110 patent/US5101268A/en not_active Expired - Lifetime
- 1990-12-03 DE DE69032971T patent/DE69032971T2/de not_active Expired - Fee Related
- 1990-12-03 EP EP90313085A patent/EP0431861B1/en not_active Expired - Lifetime
- 1990-12-04 KR KR1019900019798A patent/KR0183977B1/ko not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017051592A1 (ja) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN108028910A (zh) * | 2015-09-25 | 2018-05-11 | 索尼公司 | 信息处理设备、信息处理方法与程序 |
US10600253B2 (en) | 2015-09-25 | 2020-03-24 | Sony Corporation | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP3104909B2 (ja) | 2000-10-30 |
KR0183977B1 (ko) | 1999-05-01 |
DE69032971T2 (de) | 1999-08-19 |
US5101268A (en) | 1992-03-31 |
EP0431861A2 (en) | 1991-06-12 |
EP0431861A3 (en) | 1993-05-26 |
KR910013872A (ko) | 1991-08-08 |
EP0431861B1 (en) | 1999-03-03 |
DE69032971D1 (de) | 1999-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH03175886A (ja) | 画像処理装置 | |
EP3206398B1 (en) | Stereoscopic camera device | |
US7277118B2 (en) | Method and system for compensating for parallax in multiple camera systems | |
US20210235014A1 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
JP2004506285A (ja) | 高速デジタルパンチルトズームビデオ | |
KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
JP2007108744A (ja) | パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置 | |
JP2006262030A (ja) | 画角調整装置、カメラシステムおよび画角調整方法 | |
US10764493B2 (en) | Display method and electronic device | |
JP6609112B2 (ja) | 多視点映像表現装置及びそのプログラム | |
JP2022131778A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
GB2547689A (en) | A multi-camera device and a calibration method | |
KR20190059712A (ko) | 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법 | |
WO2021200184A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7470518B2 (ja) | パン・チルト角算出装置及びそのプログラム | |
JP6521675B2 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
JP3555151B2 (ja) | カメラ撮影制御装置 | |
JP6336856B2 (ja) | 多視点映像表現装置及びそのプログラム | |
JPH04329484A (ja) | 画像合成装置 | |
Peng et al. | A low-cost implementation of a 360 vision distributed aperture system | |
JP2000152216A (ja) | 映像出力システム | |
KR20190112407A (ko) | 홀로포테이션 컨텐츠 운용 방법 | |
CN116016959A (zh) | 一种视频流的处理方法、装置、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |