JPH03175886A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH03175886A JPH03175886A JP1316107A JP31610789A JPH03175886A JP H03175886 A JPH03175886 A JP H03175886A JP 1316107 A JP1316107 A JP 1316107A JP 31610789 A JP31610789 A JP 31610789A JP H03175886 A JPH03175886 A JP H03175886A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cameras
- photographed
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 abstract description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、ＴＶ放送のスポーツ・イベント中継等に使用
して好適な画像処理装置に関する。
して好適な画像処理装置に関する。
〔発明の概要］
本発明は画像処理装置に関し、２台のカメラからの画像
をそれぞれ変形して合成することにより、２台のカメラ
の間の任意の視点位置からの画像が得られるようにする
ものである。
をそれぞれ変形して合成することにより、２台のカメラ
の間の任意の視点位置からの画像が得られるようにする
ものである。
〔従来の技術］
例えばＴＶ放送でスポーツ・イベントの中継を行う場合
には複数のカメラを会場の各所に設置し、放送はこれら
複数のカメラの画像の中から一つを選択して行うように
される。その場合により適確な表現を行う目的で単一の
撮影対象を２以上のカメラで撮影し、これらのカメラの
画像を順次切換えることが行われる。
には複数のカメラを会場の各所に設置し、放送はこれら
複数のカメラの画像の中から一つを選択して行うように
される。その場合により適確な表現を行う目的で単一の
撮影対象を２以上のカメラで撮影し、これらのカメラの
画像を順次切換えることが行われる。
ところがこのような切換を無作為に行うと、視聴者の視
点位置の把握が困難になり、状況認識に混乱をきたし、
臨場感が著しく損れるおそれがある。
点位置の把握が困難になり、状況認識に混乱をきたし、
臨場感が著しく損れるおそれがある。
すなわち例えば野球中継において、パックネット裏と一
塁側及び三塁側にカメラを設置して、二塁を撮影対象と
してこれらの画像を無作為に切換ると、特に−塁側及び
三塁側のカメラの画像について視点位置の把握が困難に
なり、走者の走累や野手の送球等の状況認識に混乱をき
たすおそれが大きい。
塁側及び三塁側にカメラを設置して、二塁を撮影対象と
してこれらの画像を無作為に切換ると、特に−塁側及び
三塁側のカメラの画像について視点位置の把握が困難に
なり、走者の走累や野手の送球等の状況認識に混乱をき
たすおそれが大きい。
従って従来はこのような切換に対して種々の制限が加え
られるものであった。
られるものであった。
ところで本願出願人は、先にカメラからの画像を任意に
変形して、視点位置を任意に変更できるようにする装置
を提案したく特願平１−１５０２００号参照）。
変形して、視点位置を任意に変更できるようにする装置
を提案したく特願平１−１５０２００号参照）。
この出願はこのような点に鑑みてなされたもので、上述
の先行技術を利用して、より自由な画像の切換を行うこ
とができるようにするものである。
の先行技術を利用して、より自由な画像の切換を行うこ
とができるようにするものである。
本発明による第１の手□段は、被撮影物を撮影する第１
及び第２のカメラ（３ａ） （３ｔ＋）と、上記第１の
カメラの撮像素子の各絵素の座標及び上記被撮影物に対
する上記第１のカメラの撮影角度に基づいて３次元座標
系に上記被撮影物の被撮影面の第１のモデルを形成する
第１の形成手段（１３ａ） と、上記第２のカメラの
撮像素子の各絵素の座標及び上記被撮影物に対する上記
第２のカメラの撮影角度に基づいて３次元座標系に上記
被撮影物の被撮影面の第２のモデルを形成する第２の形
成手段（１３ｂ）と、上記第１の形成手段によって形成
された上記第１のモデルに上記第１のカメラから出力さ
れる画像データをマツピングする第１のマツピング手段
（メモリ制御手段（１６ａ） 及び入力画像メモリ（１
１，ａ））と、上記第２の形成手段によって形成された
上記第２のモデルに上記第２のカメラから出力される画
像データをマツピングする第２のマツピング手段（メモ
リ制御手段（１６ｂ） 及び人力画像メモ！Ｊ （ｌ
ｌｂ））と、夫々上記画像データがマツピングされた上
記第１及び第２のモデルを上記３次元座標系で上記第１
のカメラと上記第２のカメラとのなす角度内で相補的な
角度だけ回転移動させる移動手段（メモリ制御手段（１
６ａ） （１６ｂ）及び出力画像メモ！Ｊ （１８ａ）
（１８ｂ）） と、夫々上記画像データがマツピン
グされた上記第１及び第２のモデルを上記移動手段によ
って回転させた角度に応じた比率で合皮する合成手段（
フェーダ付スイッチャ（８））とからなる画像処理装置
である。
及び第２のカメラ（３ａ） （３ｔ＋）と、上記第１の
カメラの撮像素子の各絵素の座標及び上記被撮影物に対
する上記第１のカメラの撮影角度に基づいて３次元座標
系に上記被撮影物の被撮影面の第１のモデルを形成する
第１の形成手段（１３ａ） と、上記第２のカメラの
撮像素子の各絵素の座標及び上記被撮影物に対する上記
第２のカメラの撮影角度に基づいて３次元座標系に上記
被撮影物の被撮影面の第２のモデルを形成する第２の形
成手段（１３ｂ）と、上記第１の形成手段によって形成
された上記第１のモデルに上記第１のカメラから出力さ
れる画像データをマツピングする第１のマツピング手段
（メモリ制御手段（１６ａ） 及び入力画像メモリ（１
１，ａ））と、上記第２の形成手段によって形成された
上記第２のモデルに上記第２のカメラから出力される画
像データをマツピングする第２のマツピング手段（メモ
リ制御手段（１６ｂ） 及び人力画像メモ！Ｊ （ｌ
ｌｂ））と、夫々上記画像データがマツピングされた上
記第１及び第２のモデルを上記３次元座標系で上記第１
のカメラと上記第２のカメラとのなす角度内で相補的な
角度だけ回転移動させる移動手段（メモリ制御手段（１
６ａ） （１６ｂ）及び出力画像メモ！Ｊ （１８ａ）
（１８ｂ）） と、夫々上記画像データがマツピン
グされた上記第１及び第２のモデルを上記移動手段によ
って回転させた角度に応じた比率で合皮する合成手段（
フェーダ付スイッチャ（８））とからなる画像処理装置
である。
第２の手段は、被撮影物を撮影する第１及び第２のカメ
ラ（３ａ） （３ｂ）と、上記第１のカメラによって撮
影された第１の画像と一ヒ記第２のカメラによって撮影
された第２の画像との対応点を検出する対応点検出手段
（７１）と、上記対応点検出手段の出力信号に基づいて
上記第１の画像と上記第２の画像の互いに対応する点を
結ぶ距離ベクトルを作成する作成手段（７２）と、該作
成手段の出力信号に基づいて上記第１及び第２の画像を
２次元座標系で上記第１のカメラと上記第２のカメラと
のなす角度内で相補的な角度たけ回転移動させる移動手
段（メモリ制御手段（１６ａ） （１６ｂ）及び画像メ
モリ（ｌｌａ）（ｌｌｂ） （１８ａ） （１８ｂ））
と、該回転移動された上記第１及び第２の画像を上記移
動手段によって回転させた角度に応じた比率で合成する
合成手段（フェーダ付スイッチャ（８））とからなる画
像処理装置である。
ラ（３ａ） （３ｂ）と、上記第１のカメラによって撮
影された第１の画像と一ヒ記第２のカメラによって撮影
された第２の画像との対応点を検出する対応点検出手段
（７１）と、上記対応点検出手段の出力信号に基づいて
上記第１の画像と上記第２の画像の互いに対応する点を
結ぶ距離ベクトルを作成する作成手段（７２）と、該作
成手段の出力信号に基づいて上記第１及び第２の画像を
２次元座標系で上記第１のカメラと上記第２のカメラと
のなす角度内で相補的な角度たけ回転移動させる移動手
段（メモリ制御手段（１６ａ） （１６ｂ）及び画像メ
モリ（ｌｌａ）（ｌｌｂ） （１８ａ） （１８ｂ））
と、該回転移動された上記第１及び第２の画像を上記移
動手段によって回転させた角度に応じた比率で合成する
合成手段（フェーダ付スイッチャ（８））とからなる画
像処理装置である。
これによれば、一方のカメラの画像から他方のカメラの
画像へ切換る場合に、第３の視点位置を一方のカメラか
ら他方のカメラへ連続的に移動させることによって、視
聴者は他方のカメラの視点位置を明確に把握することが
でき、これによって、画像の切換に制限を設ける必要が
無くなり、より自由な画像の切換を行うことができる。
画像へ切換る場合に、第３の視点位置を一方のカメラか
ら他方のカメラへ連続的に移動させることによって、視
聴者は他方のカメラの視点位置を明確に把握することが
でき、これによって、画像の切換に制限を設ける必要が
無くなり、より自由な画像の切換を行うことができる。
第１図において、（ｌａ） （ｌｂ）はそれぞれ本願出
願人が先に提案した画像処理装置であって、この例では
この装置が２台使用される。また（２）は例えば野球場
のような被撮影物を示し、この被撮影物（２）が２台の
テレビカメラ（３ａ） （３ｂ）にて撮影される。
願人が先に提案した画像処理装置であって、この例では
この装置が２台使用される。また（２）は例えば野球場
のような被撮影物を示し、この被撮影物（２）が２台の
テレビカメラ（３ａ） （３ｂ）にて撮影される。
そしてこれらのカメラ（３ａ） （３ｂ）で撮影された
映像信号がそれぞれ画像処理装置（ｌａ） （ｌｂ）の
入力画像メモ’Ｊ （ｌｌａ） （１１，ｂ）に供給さ
れ、各絵素ごとに所定のアドレスに記憶される。
映像信号がそれぞれ画像処理装置（ｌａ） （ｌｂ）の
入力画像メモ’Ｊ （ｌｌａ） （１１，ｂ）に供給さ
れ、各絵素ごとに所定のアドレスに記憶される。
一方、このときカメラ（３ａ） （３ｂ）は固定されて
おり、その撮影角度はそれぞれθ１．θ２ とする。こ
れらの撮影角度θ１．θ２がそれぞれ撮影角度側測定装
置（１２ａ＞ （１２ｂ）で測定され、これらの測定さ
れた撮影角度θ、θ２がそれぞれ平面モデル作成手段（
１３ａ） （１３ｂ）に供給される。これによって作成
手段＜１３ａ） （１３ｂ）では、それぞれ供給される
撮影角度θ１．θ２に基づいて平面モデルが作成される
。
おり、その撮影角度はそれぞれθ１．θ２ とする。こ
れらの撮影角度θ１．θ２がそれぞれ撮影角度側測定装
置（１２ａ＞ （１２ｂ）で測定され、これらの測定さ
れた撮影角度θ、θ２がそれぞれ平面モデル作成手段（
１３ａ） （１３ｂ）に供給される。これによって作成
手段＜１３ａ） （１３ｂ）では、それぞれ供給される
撮影角度θ１．θ２に基づいて平面モデルが作成される
。
さらに、あらかじめ被撮影物（２）の起伏の情報（高さ
情報）が測定されており、この高さ情報が入力装置（１
４ａ） （１４ｂ）を通じて人力される。これらの入力
された高さ情報がそれぞれ高さ情報付加手段（１，５ａ
） （１５ｂ）に供給されて、作成手段（１３ａ） （
１３ｂ）て作成された平面モデルがそれぞれ高さ情報に
基づいて修正され、起伏を有するモデルが形成される。
情報）が測定されており、この高さ情報が入力装置（１
４ａ） （１４ｂ）を通じて人力される。これらの入力
された高さ情報がそれぞれ高さ情報付加手段（１，５ａ
） （１５ｂ）に供給されて、作成手段（１３ａ） （
１３ｂ）て作成された平面モデルがそれぞれ高さ情報に
基づいて修正され、起伏を有するモデルが形成される。
これらの起伏を有するモデルがそれぞれメモリ制御和手
段（１６ａ） （１６ｂ） ！こ１共糸含される。これ
１こよって人力画像メモ！、１ （ｌｌａ） （ｌｌｂ
）に記憶された各絵素がそれぞれ上述の起伏を有するモ
デルにマツピングされて読出される。
段（１６ａ） （１６ｂ） ！こ１共糸含される。これ
１こよって人力画像メモ！、１ （ｌｌａ） （ｌｌｂ
）に記憶された各絵素がそれぞれ上述の起伏を有するモ
デルにマツピングされて読出される。
また、制御手段（４）とオペレータからの制御指示の入
力手段（５）、制御ｊこ関するデータ等を記憶するメモ
リ（６）が設）すられる。そして例えｊｆカメラ（３ａ
）からカメラ（３ｂ）への切換を行う場合ｊ＝は、人力
手段（５）からの指示に従ってカメラ（３ａ） ＜３ｂ
）を結ぶ線上で任意の視点位置が制御手段（４）で計算
され、この視点位置が視点位置設定手段（１７ａ） （
１７ｂ）に供給される。さらにこれらの設定手段（１７
ａ） （］、７ｂ）に設定された視点位置がそれぞれメ
モリ制御手段（１６ａ）（１６１ｍ） に供給される
。これによって入力画像メモ’Ｊ ＜１ｌａ） ＜１ｌ
ｂ）からモデルにマツピングされて読出された各絵素の
データが、設定手段（１７ａ） （１７ｂ）に設定され
た視点位置に基づいて、それぞれのモデルが回転されて
出力画像メモ’Ｊ （１８ａ） （１８ｂ）に記憶され
る。なおこれらの起伏を有するモデルの形成、データの
マツピング及び回転の技術は上述の特願平１−１５０２
００号に詳述されている。
力手段（５）、制御ｊこ関するデータ等を記憶するメモ
リ（６）が設）すられる。そして例えｊｆカメラ（３ａ
）からカメラ（３ｂ）への切換を行う場合ｊ＝は、人力
手段（５）からの指示に従ってカメラ（３ａ） ＜３ｂ
）を結ぶ線上で任意の視点位置が制御手段（４）で計算
され、この視点位置が視点位置設定手段（１７ａ） （
１７ｂ）に供給される。さらにこれらの設定手段（１７
ａ） （］、７ｂ）に設定された視点位置がそれぞれメ
モリ制御手段（１６ａ）（１６１ｍ） に供給される
。これによって入力画像メモ’Ｊ ＜１ｌａ） ＜１ｌ
ｂ）からモデルにマツピングされて読出された各絵素の
データが、設定手段（１７ａ） （１７ｂ）に設定され
た視点位置に基づいて、それぞれのモデルが回転されて
出力画像メモ’Ｊ （１８ａ） （１８ｂ）に記憶され
る。なおこれらの起伏を有するモデルの形成、データの
マツピング及び回転の技術は上述の特願平１−１５０２
００号に詳述されている。
これらの出力画像メモＩＪ （１８ａ） （１８ｂ）に
記憶された各絵素のデータが、それぞれ所定のアドレス
から読出されることによって、それぞれ上述の設定され
た視点位置に変換された映像信号が形成される。
記憶された各絵素のデータが、それぞれ所定のアドレス
から読出されることによって、それぞれ上述の設定され
た視点位置に変換された映像信号が形成される。
さらに、これらの映像信号が例えばステレオマツチング
を行うための画像演算装置（７）（こ供給され０ る。すなわちこの演算装置（７）において、まず供給さ
れる２つの映像信号が対応点検出手段（７１）に供給さ
れ、検出された対応点と元の映像信号が距離ベクトル作
成手段（７２）に供給されて２つの映像信号の対応点の
ずれに相当する距離ベクトルが作成される。この距離ベ
クトルが制御手段〔４〕に供給されて、各映像信号のず
れを解消するための補正データが形成される。これらの
各映像信号ごとの補正データがそれぞれ補正手段（１９
ａ） （１９ｂ）に供給され、これらの補正データがそ
れぞれメモリ制御手段（１６ａ） （１６ｂ）に供給さ
れることによって、出力画像メモＩＪ （１８ａ） （
１８ｂ）から読出される２つの映像信号の視点位置が完
全；ご一致される。なおステレオマツチングを行うため
の画像処理装置（７）には、例えば本願出願人が先に提
案した特願昭６３−１７６４３３号の装置が利用できる
。
を行うための画像演算装置（７）（こ供給され０ る。すなわちこの演算装置（７）において、まず供給さ
れる２つの映像信号が対応点検出手段（７１）に供給さ
れ、検出された対応点と元の映像信号が距離ベクトル作
成手段（７２）に供給されて２つの映像信号の対応点の
ずれに相当する距離ベクトルが作成される。この距離ベ
クトルが制御手段〔４〕に供給されて、各映像信号のず
れを解消するための補正データが形成される。これらの
各映像信号ごとの補正データがそれぞれ補正手段（１９
ａ） （１９ｂ）に供給され、これらの補正データがそ
れぞれメモリ制御手段（１６ａ） （１６ｂ）に供給さ
れることによって、出力画像メモＩＪ （１８ａ） （
１８ｂ）から読出される２つの映像信号の視点位置が完
全；ご一致される。なおステレオマツチングを行うため
の画像処理装置（７）には、例えば本願出願人が先に提
案した特願昭６３−１７６４３３号の装置が利用できる
。
そして、これらの補正された映像信号がフェーダ付スイ
ッチャ（８）に供給され、それぞれ係数乗算手段（８１
ａ） （８１ｂ） ｉ：：て（１−Ｗ＞ 及びＷの係
数カ乗算された後、加算器（８２）で加算される。こう
して加算された映像信号が出力端子（９〕に取出される
と共に、モニタ（１０）に供給されて表示される。
ッチャ（８）に供給され、それぞれ係数乗算手段（８１
ａ） （８１ｂ） ｉ：：て（１−Ｗ＞ 及びＷの係
数カ乗算された後、加算器（８２）で加算される。こう
して加算された映像信号が出力端子（９〕に取出される
と共に、モニタ（１０）に供給されて表示される。
従ってこの装置において、例えば第２図に示すように被
撮影物（２）に対してカメラ（３ａ） （３ｂ）が設置
されていた場合に、各カメラ（３ａ＞ ＜３ｂ）で撮影
される映像信号はそれぞれ第３図Ａに示すようになって
いる。これらの映像信号が入力画像メモ！］（ｌｌａ）
（ｌｌｂ） に記憶され、これらに対して例えば図中
に（３Ｃ）で示すように視点位置を設定して処理を行う
と、出力画像メモ！Ｊ （１８ａ） （１８ｂ）からは
同図Ｂに示すような映像信号が読出される。
撮影物（２）に対してカメラ（３ａ） （３ｂ）が設置
されていた場合に、各カメラ（３ａ＞ ＜３ｂ）で撮影
される映像信号はそれぞれ第３図Ａに示すようになって
いる。これらの映像信号が入力画像メモ！］（ｌｌａ）
（ｌｌｂ） に記憶され、これらに対して例えば図中
に（３Ｃ）で示すように視点位置を設定して処理を行う
と、出力画像メモ！Ｊ （１８ａ） （１８ｂ）からは
同図Ｂに示すような映像信号が読出される。
ここで読出される映像信号は理想的には一致しているは
ずである。しかし実際には精度上の問題等から、２つの
映像信号には若干のずれが生じてしまう。そこでこれら
の映像信号が画像演算装置（７）に供給されることによ
り、これらの対応点の検出から同図Ｃに示すようなずれ
の距離ベクトルが作成される。そしてこのような距離ベ
クトルが制御手段（４）に供給されることによって、同
図りに示すようにそれぞれの映像信号が距離ベクトルの
１／２ずつ補正され、これらがフェーダ付スイッチャ（
８〕で加算されることによって、同図Ｅに示すような（
３Ｃ）の視点位置からの映像信号が形成される。
ずである。しかし実際には精度上の問題等から、２つの
映像信号には若干のずれが生じてしまう。そこでこれら
の映像信号が画像演算装置（７）に供給されることによ
り、これらの対応点の検出から同図Ｃに示すようなずれ
の距離ベクトルが作成される。そしてこのような距離ベ
クトルが制御手段（４）に供給されることによって、同
図りに示すようにそれぞれの映像信号が距離ベクトルの
１／２ずつ補正され、これらがフェーダ付スイッチャ（
８〕で加算されることによって、同図Ｅに示すような（
３Ｃ）の視点位置からの映像信号が形成される。
そこでこの（３Ｃ）の視点位置をカメラ（３ａ）の位置
からカメラ（３ｂ）の位置まで順次移動させることによ
って、２台のカメラ（３ａ） ＜３ｂ）の間を連続的に
移動する映像信号を得ることができる。
からカメラ（３ｂ）の位置まで順次移動させることによ
って、２台のカメラ（３ａ） ＜３ｂ）の間を連続的に
移動する映像信号を得ることができる。
なお現実には、フェーダ付スイッチャ〔８）での切換は
例えば第４図：こ示すように行われ、それぞれカメラ（
３ａ） ＜３ｂ）から所定の位置まではそれぞれの映像
信号を処理した信号Ｃａ、 Ｃｂ ’ｂ＜取出されると
共に、その間の遷移期間に図示のように重み係数Ｗを変
化させて、それぞれ重み付けされた映像信号を加算した
信号Ｃ Ｃ＝ （１−Ｗ） Ｘ Ｃａ＋ ｗＸ Ｃｂが取出され
る。ここで遷移期間は、カメラ（３ａ）（３ｂ）間の中
央に限らず、視点位置の移動が高速になる部分や、処理
された映像信号の相関性の高い部分に設けるようにして
もよい。
例えば第４図：こ示すように行われ、それぞれカメラ（
３ａ） ＜３ｂ）から所定の位置まではそれぞれの映像
信号を処理した信号Ｃａ、 Ｃｂ ’ｂ＜取出されると
共に、その間の遷移期間に図示のように重み係数Ｗを変
化させて、それぞれ重み付けされた映像信号を加算した
信号Ｃ Ｃ＝ （１−Ｗ） Ｘ Ｃａ＋ ｗＸ Ｃｂが取出され
る。ここで遷移期間は、カメラ（３ａ）（３ｂ）間の中
央に限らず、視点位置の移動が高速になる部分や、処理
された映像信号の相関性の高い部分に設けるようにして
もよい。
こうして上述の装置によれば、一方のカメラの３
画像から他方のカメラの画像へ切換る場合に、第３の視
点位置を一方のカメラから他方のカメラへ連続的に移動
させることによって、視聴者は他方のカメラの視点位置
を明確に把握することができ、これによって、画像の切
換に制限を設ける必要が無くなり、より自由な画像の切
換を行うことができるものである。
点位置を一方のカメラから他方のカメラへ連続的に移動
させることによって、視聴者は他方のカメラの視点位置
を明確に把握することができ、これによって、画像の切
換に制限を設ける必要が無くなり、より自由な画像の切
換を行うことができるものである。
なお上述の装置において、野球選手などの作成されるモ
デルに含まれない部分は上述の処理によって歪を生じる
場合がある。その場合にはオペレータがモニタ（１０）
を監視して、歪を生じる部分に人力手段（５）を用いて
補正を加えることができる。
デルに含まれない部分は上述の処理によって歪を生じる
場合がある。その場合にはオペレータがモニタ（１０）
を監視して、歪を生じる部分に人力手段（５）を用いて
補正を加えることができる。
この補正は上述の特願平１−１５０２００号に記載され
た技術を用いて行われる。
た技術を用いて行われる。
また上述の装置において、カメラ（３ａ） （３ｂ）の
レンズの違い等によって、視野に変化を生じる場合にも
、適当な画像の拡大、縮小の技術を併用することによっ
て上述の処理を実行することができる。
レンズの違い等によって、視野に変化を生じる場合にも
、適当な画像の拡大、縮小の技術を併用することによっ
て上述の処理を実行することができる。
さらに上述の装置において、カメラ（３ａ） （３ｂ）
間の角度ζが小さい場合には、上述の処理の内のス４ テレオマンチングによる処理だ（すでも上述の処理を行
うことができる。すなわち第５図はその場合の装置の構
成を示し、図ｊこおいてカメラ（３ａ） ＜３ｂ）が被
撮影物（２）に対して角度ζを小さくして設置される。
間の角度ζが小さい場合には、上述の処理の内のス４ テレオマンチングによる処理だ（すでも上述の処理を行
うことができる。すなわち第５図はその場合の装置の構
成を示し、図ｊこおいてカメラ（３ａ） ＜３ｂ）が被
撮影物（２）に対して角度ζを小さくして設置される。
そしてこれらのカメラ（３ａ） （３ｂ）で撮影された
映像信号がそれぞれ画像メモ！Ｊ （ｌｌａ） （ｌｌ
ｂ）に供給され、各絵素ごとｊこ所定のアドレスに記・
１．Ｉされる。
映像信号がそれぞれ画像メモ！Ｊ （ｌｌａ） （ｌｌ
ｂ）に供給され、各絵素ごとｊこ所定のアドレスに記・
１．Ｉされる。
Claims (1)
- 【特許請求の範囲】 １、被撮影物を撮影する第１及び第２のカメラと、上記
第１のカメラの撮像素子の各絵素の座標及び上記被撮影
物に対する上記第１のカメラの撮影角度に基づいて３次
元座標系に上記被撮影物の被撮影面の第１のモデルを形
成する第１の形成手段と、 上記第２のカメラの撮像素子の各絵素の座標及び上記被
撮影物に対する上記第２のカメラの撮影角度に基づいて
３次元座標系に上記被撮影物の被撮影面の第２のモデル
を形成する第２の形成手段と、 上記第１の形成手段によって形成された上記第１のモデ
ルに上記第１のカメラから出力される画像データをマッ
ピングする第１のマッピング手段と、 上記第２の形成手段によって形成された上記第２のモデ
ルに上記第２のカメラから出力される画像データをマッ
ピングする第２のマッピング手段と、 夫々上記画像データがマッピングされた上記第１及び第
２のモデルを上記３次元座標系で上記第１のカメラと上
記第２のカメラとのなす角度内で相補的な角度だけ回転
移動させる移動手段と、 夫々上記画像データがマッピングされた上記第１及び第
２のモデルを上記移動手段によって回転させた角度に応
じた比率で合成する合成手段とからなる画像処理装置。 ２、被撮影物を撮影する第１及び第２のカメラと、上記
第１のカメラによって撮影された第１の画像と上記第２
のカメラによって撮影された第２の画像との対応点を検
出する対応点検出手段と、 上記対応点検出手段の出力信号に基づいて上記第１の画
像と上記第２の画像の互いに対応する点を結ぶ距離ベク
トルを作成する作成手段と、該作成手段の出力信号に基
づいて上記第１及び第２の画像を２次元座標系で上記第
１のカメラと上記第２のカメラとのなす角度内で相補的
な角度だけ回転移動させる移動手段と、 該回転移動された上記第１及び第２の画像を上記移動手
段によって回転させた角度に応じた比率で合成する合成
手段とからなる画像処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01316107A JP3104909B2 (ja) | 1989-12-05 | 1989-12-05 | 画像処理装置 |
| DE69032971T DE69032971T2 (de) | 1989-12-05 | 1990-12-03 | Stellungssteuerungsgerät eines visuellen Punktes |
| EP90313085A EP0431861B1 (en) | 1989-12-05 | 1990-12-03 | Visual point position control apparatus |
| US07/623,110 US5101268A (en) | 1989-12-05 | 1990-12-03 | Visual point position control apparatus |
| KR1019900019798A KR0183977B1 (ko) | 1989-12-05 | 1990-12-04 | 시점위치제어장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01316107A JP3104909B2 (ja) | 1989-12-05 | 1989-12-05 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03175886A true JPH03175886A (ja) | 1991-07-30 |
| JP3104909B2 JP3104909B2 (ja) | 2000-10-30 |
Family
ID=18073324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01316107A Expired - Lifetime JP3104909B2 (ja) | 1989-12-05 | 1989-12-05 | 画像処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5101268A (ja) |
| EP (1) | EP0431861B1 (ja) |
| JP (1) | JP3104909B2 (ja) |
| KR (1) | KR0183977B1 (ja) |
| DE (1) | DE69032971T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017051592A1 (ja) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5471383A (en) * | 1992-01-22 | 1995-11-28 | Acushnet Company | Monitoring systems to measure and display flight characteristics of moving sports object |
| JPH05265081A (ja) * | 1992-03-23 | 1993-10-15 | Canon Inc | 複眼撮像装置 |
| EP0563737B1 (en) * | 1992-03-23 | 1997-09-10 | Canon Kabushiki Kaisha | Multilens imaging apparatus with correction of misregistration |
| US5715383A (en) * | 1992-09-28 | 1998-02-03 | Eastman Kodak Company | Compound depth image display system |
| US5342051A (en) * | 1992-10-30 | 1994-08-30 | Accu-Sport International, Inc. | Apparatus and method for tracking the flight of a golf ball |
| US5575719A (en) * | 1994-02-24 | 1996-11-19 | Acushnet Company | Method and apparatus to determine object striking instrument movement conditions |
| US7291072B2 (en) | 1992-11-20 | 2007-11-06 | Acushnet Company | Performance measurement system with fluorescent markers for golf equipment |
| US6241622B1 (en) | 1998-09-18 | 2001-06-05 | Acushnet Company | Method and apparatus to determine golf ball trajectory and flight |
| DE69434685T2 (de) * | 1993-08-04 | 2006-09-14 | Canon K.K. | Bildverarbeitungsverfahren und -gerät |
| DE69417824T4 (de) * | 1993-08-26 | 2000-06-29 | Matsushita Electric Industrial Co., Ltd. | Stereoskopischer Abtastapparat |
| US5543964A (en) * | 1993-12-28 | 1996-08-06 | Eastman Kodak Company | Depth image apparatus and method with angularly changing display information |
| JPH07287761A (ja) * | 1994-04-19 | 1995-10-31 | Canon Inc | 画像処理装置及び画像処理方法 |
| US7843497B2 (en) | 1994-05-31 | 2010-11-30 | Conley Gregory J | Array-camera motion picture device, and methods to produce new visual and aural effects |
| US5596494A (en) * | 1994-11-14 | 1997-01-21 | Kuo; Shihjong | Method and apparatus for acquiring digital maps |
| US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
| US6111596A (en) * | 1995-12-29 | 2000-08-29 | Lucent Technologies Inc. | Gain and offset correction for efficient stereoscopic coding and improved display |
| US6081273A (en) * | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
| SE506272C2 (sv) * | 1996-03-18 | 1997-11-24 | Paul Edholm | Förfarande och anordning för att bestämma bildläge och bildvinkel i en röntgenbild |
| US6449004B1 (en) * | 1996-04-23 | 2002-09-10 | Minolta Co., Ltd. | Electronic camera with oblique view correction |
| DE69915901T2 (de) | 1998-01-14 | 2004-09-02 | Canon K.K. | Bildverarbeitungsgerät |
| US6533674B1 (en) | 1998-09-18 | 2003-03-18 | Acushnet Company | Multishutter camera system |
| US6781621B1 (en) * | 1998-09-18 | 2004-08-24 | Acushnet Company | Launch monitor system with a calibration fixture and a method for use thereof |
| US7214138B1 (en) * | 1999-01-29 | 2007-05-08 | Bgi Acquisition, Llc | Golf ball flight monitoring system |
| US6285445B1 (en) | 1999-09-17 | 2001-09-04 | Acushnet Company | Method for determining aerodynamic characteristics of a golf ball |
| US7193645B1 (en) * | 2000-07-27 | 2007-03-20 | Pvi Virtual Media Services, Llc | Video system and method of operating a video system |
| US8085293B2 (en) * | 2001-03-14 | 2011-12-27 | Koninklijke Philips Electronics N.V. | Self adjusting stereo camera system |
| US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
| US8137210B2 (en) * | 2001-12-05 | 2012-03-20 | Acushnet Company | Performance measurement system with quantum dots for object identification |
| US7324132B2 (en) * | 2003-05-06 | 2008-01-29 | Hewlett-Packard Development Company, L.P. | Imaging three-dimensional objects |
| US7744480B2 (en) * | 2004-01-20 | 2010-06-29 | Acushnet Company | One camera club monitor |
| US8872914B2 (en) * | 2004-02-04 | 2014-10-28 | Acushnet Company | One camera stereo system |
| US8556267B2 (en) * | 2004-06-07 | 2013-10-15 | Acushnet Company | Launch monitor |
| US8500568B2 (en) * | 2004-06-07 | 2013-08-06 | Acushnet Company | Launch monitor |
| US8622845B2 (en) * | 2004-06-07 | 2014-01-07 | Acushnet Company | Launch monitor |
| US8475289B2 (en) * | 2004-06-07 | 2013-07-02 | Acushnet Company | Launch monitor |
| US7837572B2 (en) * | 2004-06-07 | 2010-11-23 | Acushnet Company | Launch monitor |
| US7959517B2 (en) * | 2004-08-31 | 2011-06-14 | Acushnet Company | Infrared sensing launch monitor |
| US20060141433A1 (en) * | 2004-12-28 | 2006-06-29 | Hing Cheung C | Method of detecting position of rectangular object and object detector |
| US10063848B2 (en) * | 2007-08-24 | 2018-08-28 | John G. Posa | Perspective altering display system |
| US9058689B2 (en) * | 2008-06-16 | 2015-06-16 | Eyefi Pty Ltd | Spatial predictive approximation and radial convolution |
| US9767351B2 (en) * | 2009-01-15 | 2017-09-19 | AvidaSports, LLC | Positional locating system and method |
| CN101894271B (zh) * | 2010-07-28 | 2012-11-07 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| US9074892B2 (en) | 2013-03-15 | 2015-07-07 | Ian Michael Fink | System and method of determining a position of a remote object |
| CN103295231A (zh) * | 2013-05-14 | 2013-09-11 | 杭州海康希牧智能科技有限公司 | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4420230A (en) * | 1979-08-27 | 1983-12-13 | Mcelveen Robert H | Production of three dimensional motion pictures |
| JPS60186967A (ja) * | 1984-03-05 | 1985-09-24 | Fanuc Ltd | 画像表示方法 |
| EP0168981B1 (en) * | 1984-07-20 | 1993-10-27 | Tektronix, Inc. | Method and apparatus for spherical panning |
| US4672559A (en) * | 1984-12-26 | 1987-06-09 | E. I. Du Pont De Nemours And Company | Method for operating a microscopical mapping system |
| US4667236A (en) * | 1985-04-26 | 1987-05-19 | Digital Services Corporation | Television perspective effects system |
| ATE113746T1 (de) * | 1986-06-03 | 1994-11-15 | Cubital Ltd | Gerät zur entwicklung dreidimensionaler modelle. |
| GB8623718D0 (en) * | 1986-10-02 | 1986-11-05 | British Aerospace | Real time generation of stereo depth maps |
| US4875097A (en) * | 1986-10-24 | 1989-10-17 | The Grass Valley Group, Inc. | Perspective processing of a video signal |
| ES2000293A6 (es) * | 1986-12-29 | 1988-02-01 | Dominguez Montes Juan | Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro |
| US4966436A (en) * | 1987-04-30 | 1990-10-30 | Christopher A. Mayhew | Apparatus for obtaining images for use in displaying a three-dimensional |
| JP2667835B2 (ja) * | 1987-10-09 | 1997-10-27 | 株式会社日立製作所 | コンピユータグラフイツクス表示装置 |
| JP3138264B2 (ja) * | 1988-06-21 | 2001-02-26 | ソニー株式会社 | 画像処理方法及び装置 |
| US5065236A (en) * | 1990-11-02 | 1991-11-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects |
-
1989
- 1989-12-05 JP JP01316107A patent/JP3104909B2/ja not_active Expired - Lifetime
-
1990
- 1990-12-03 US US07/623,110 patent/US5101268A/en not_active Expired - Lifetime
- 1990-12-03 DE DE69032971T patent/DE69032971T2/de not_active Expired - Fee Related
- 1990-12-03 EP EP90313085A patent/EP0431861B1/en not_active Expired - Lifetime
- 1990-12-04 KR KR1019900019798A patent/KR0183977B1/ko not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017051592A1 (ja) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN108028910A (zh) * | 2015-09-25 | 2018-05-11 | 索尼公司 | 信息处理设备、信息处理方法与程序 |
| US10600253B2 (en) | 2015-09-25 | 2020-03-24 | Sony Corporation | Information processing apparatus, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3104909B2 (ja) | 2000-10-30 |
| KR0183977B1 (ko) | 1999-05-01 |
| DE69032971T2 (de) | 1999-08-19 |
| US5101268A (en) | 1992-03-31 |
| EP0431861A2 (en) | 1991-06-12 |
| EP0431861A3 (en) | 1993-05-26 |
| KR910013872A (ko) | 1991-08-08 |
| EP0431861B1 (en) | 1999-03-03 |
| DE69032971D1 (de) | 1999-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH03175886A (ja) | 画像処理装置 | |
| EP3206398B1 (en) | Stereoscopic camera device | |
| US7277118B2 (en) | Method and system for compensating for parallax in multiple camera systems | |
| US20210235014A1 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
| JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
| JP2004506285A (ja) | 高速デジタルパンチルトズームビデオ | |
| KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
| WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
| JP2007108744A (ja) | パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置 | |
| JP2006262030A (ja) | 画角調整装置、カメラシステムおよび画角調整方法 | |
| US10764493B2 (en) | Display method and electronic device | |
| JP6609112B2 (ja) | 多視点映像表現装置及びそのプログラム | |
| JP2022131778A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| GB2547689A (en) | A multi-camera device and a calibration method | |
| KR20190059712A (ko) | 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법 | |
| WO2021200184A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| JP7470518B2 (ja) | パン・チルト角算出装置及びそのプログラム | |
| JP6521675B2 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
| JP3555151B2 (ja) | カメラ撮影制御装置 | |
| JP6336856B2 (ja) | 多視点映像表現装置及びそのプログラム | |
| JPH04329484A (ja) | 画像合成装置 | |
| Peng et al. | A low-cost implementation of a 360 vision distributed aperture system | |
| JP2000152216A (ja) | 映像出力システム | |
| KR20190112407A (ko) | 홀로포테이션 컨텐츠 운용 방법 | |
| CN116016959A (zh) | 一种视频流的处理方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |