KR0183977B1 - 시점위치제어장치 - Google Patents

시점위치제어장치 Download PDF

Info

Publication number
KR0183977B1
KR0183977B1 KR1019900019798A KR900019798A KR0183977B1 KR 0183977 B1 KR0183977 B1 KR 0183977B1 KR 1019900019798 A KR1019900019798 A KR 1019900019798A KR 900019798 A KR900019798 A KR 900019798A KR 0183977 B1 KR0183977 B1 KR 0183977B1
Authority
KR
South Korea
Prior art keywords
camera
image
angle
model
image data
Prior art date
Application number
KR1019900019798A
Other languages
English (en)
Other versions
KR910013872A (ko
Inventor
아끼오 오바
Original Assignee
오가 노리오
소니 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오가 노리오, 소니 가부시키가이샤 filed Critical 오가 노리오
Publication of KR910013872A publication Critical patent/KR910013872A/ko
Application granted granted Critical
Publication of KR0183977B1 publication Critical patent/KR0183977B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

제1, 제2의 카메라에 의해 촬영된 화상의 시점위치를 제어하는 시점위치제어장치에 있어서, 제1의 카메라의 촬상소자의 각 화소의 좌표 및 피촬영물에 대한 제1의 카메라의 촬영각도에 의거하여 3차원 좌표계에 상기 피촬영물의 피촬영면의 제1의 모델을 형성하는 제1의 형성수단과, 제2의 카메라의 촬영소자의 각 화소의 좌표 및 피촬영물에 대한 제2의 카메라의 촬영각도에 의거하여 3차원좌표계에 피촬영물의 피촬영면의 제2의 모델을 형성하는 제2의 형성수단과, 제1의 형성수단에 의해 형성된 제1의 모델에 제1의 카메라로부터 출력되는 화상데이터를 맵핑하는 제1의 맵핑수단과, 제2의 형성수단에 의해 형성된 제2의 모델에 제2의 카메라로부터 출력되는 화상데이터를 맵핑하는 제2의 맵핑수단과, 3차원좌표계에서 제1의 카메라와 제2의 카메라가 이루는 각도 α내에서 화상데이터가 맵핑된 제1 및 제2의 모델을 각각 각도 β 및 각도(α-β)만큼 회전이동시키는 이동수단과, 제1의 모델에 맵핑된 화상데이터와 제2의 모델에 맵핑된 화상데이터를 제1, 제2의 모델의 회전각도에 따른 비율로 합성하는 합성수단을 구비한다.

Description

시점(視點)위치제어장치
제1도는 본원 발명의 시점위치제어장치의 일실시예를 도시한 블록도.
제2도는 제1도에 도시된 시점위치제어장치에 사용되는 화상처리장치의 블록도.
제3도 및 제4도는 제2도에 도시한 화상처리장치에 있어서 3차원 좌표계에 평면모델을 형성하기 위한 원리를 설명하는 약선도.
제5도는 제1도에 도시한 시점위치제어장치의 비디오카메라에 의해 촬영된 화상의 일예를 도시한 약선도.
제6도는 제2도에 도시된 화상처리장치에 의해서 제5도에 도시된 화상의 시점위치를 움직이게한 상태에서의 화상을 도시한 약선도.
제7도는 제6도에 도시된 화상의 부자연스러운 개소를 보정하기 위한 원리를 설명하는 약선도.
제8도는 제6도에 도시된 화상의 부자연스러운 개소를 보정한 후의 화상을 도시한 약선도.
제9도 및 제10도는 제2도에 도시한 화상처리장치에 있어서 3차원 좌표계에 기복을 가진 모델을 형성하기 위한 원리를 설명하는 약선도.
제11도는 제2도에 도시한 화상처리장치에 있어서 시점의 이동 후 화상이 부자연스럽게 되는 부분을 설명하기 위한 약선도.
제12도는 제2도에 도시한 화상처리장치의 동작을 설명하기 위한 플로차트.
제13도는 제1도에 도시한 시점위치제어장치의 비디오 카메라의 배치를 도시한 약선도.
제14도는 제1도에 도시한 시점위치제어장치의 각 부에 있어서 화상에 대한 시점위치를 도시한 약선도.
제15도는 제1도에 도시한 시점위치제어장치의 페이더부가 스위치의 특성도.
제16도는 본원 발명의 시점위치제어장치의 다른 실시예를 도시한 블록도.
제17도는 제16도에 도시한 시점위치제어장치의 각 부에 있어서 화상에 대한 시점위치를 도시한 약선도.
본원 발명은 비디오카메라에 의해 촬영된 화상의 시점(視點)위치를 제어하는 시점위치제어장치에 관한 것이다.
예를 들면 TV방송에서 스포츠이벤트의 중계를 행하는 경우에는 복수의 비디오카메라를 회장의 여러곳에 설치하고, 방송은 이들 복수의 비디오카메라의 화상중에서 하나를 선택하여 행하도록 한다. 이경우에, 보다 적절하고 정확한 촬영을 행할 목적으로 단일 촬영대상을 2개이상의 비디오카메라로 촬영하여, 이들 비디오카메라의 출력화상을 순차 전환하여 표시하는 것이 행해진다.
그런데, 이와 같은 전환을 무작위로 행하면, 시점위치가 이산적(離散的)으로 전환되기 때문에, 시청자가 상황을 파악하기 어렵게 되고, 임장감 (臨場感)이 현저히 손상될 염려가 있다.
즉, 예를 들면 야구중계에 있어서 백네트뒤와 1루 및 3루측에 비디오카메라를 설치하고, 2루를 촬영대상으로 하여 비디오카메라의 전환을 무작위로 행하면 주자의 주루(走壘)나 야수의 송구등의 상황을 인식하기 어렵게 된다.
본원 발명의 목적은 복수의 비디오카메라의 출력화상을 전환하여 표시할 때에, 시점위치가 연속적으로 변화하도록 한 시점위치제어장치를 제공하는 것이다.
본원 발명의 목적을 달성하기 위해 본원 발명에서는 제1,제2의 카메라에 의해 촬영된 화상의 시점위치를 제어하는 시점위치제어장치에 있어서, 제1의 카메라의 촬상소자의 각 화소의 좌표 및 피촬영물에 대한 제1의 카메라의 촬영각도에 의거하여 3차원 좌표계에 상기 피촬영물의 피촬영면의 제1의 모델을 형성하는 제1의 형성수단과, 제2의 카메라의 촬영소자의 각 화소의 좌표 및 피촬영물에 대한 제2의 카메라의 촬영각도에 의거하여 3차원 좌표계에 피촬영물의 피촬영면의 제2의 모델을 형성하는 제2의 형성수단과, 제1의 형성수단에 의해 형성된 제1의 모델에 제1의 카메라로부터 출력되는 화상데이터를 맵핑하는 제1의 맵핑수단과, 제2의 형성수단에 의해 형성된 제2의 모델에 제2의 카메라로부터 출력되는 화상데이터를 맵핑하는 제2의 맵핑수단과, 3차원좌표계에서 제1의 카메라와 제2의 카메라가 이루는 각도 α 내에서 화상데이터가 맵핑된 제1및 제2의 모델을 각각 각도 β 및 각도(α-β )만큼 회전이동시키는 이동수단과, 제1의 모델에 맵핑된 화상데이터와 제2의 모델에 맵핑된 화상데이터를 제1, 제2의 모델의 회전각도에 따른 비율로 합성하는 합성수단을 구비한다.
다음에, 본원 발명의 실시예에 대하여 도면에 따라서 상세히 설명한다.
제1도에 있어서, (1a),(1b)는 각각 본원 출원인이 앞서 제안한 화상처리장치이며, 이 예에서는 이 장치가 2대 사용된다. 또, (2)는 예를 들면 야구장과 같은 피촬영물을 표시하며, 이 피촬영물(2)이 2대의 텔레비전카메라(3a),(3b)로 촬영된다. 그리고, 이들 카메라(3a), (3b)로 촬영된 영상신호가 각각 화상처리장치(1a),(1b)의 입력화상메모리(11a),(11b)에 공급되고, 각 화소마다 소정의 어드레스에 기억된다.
한편, 이때 카메라(3a),(3b)는 고정되어 있으며, 그 촬영각도는 각각 θ1, θ2로 한다. 이들 촬영각도 θ1, θ2가 각각 촬영각도 측정장치(12a),(12b)로 측정되고, 이들 측정된 촬영각도 θ1, θ2가 각각 평면모델 작성수단(13a),(13b)에 공급된다. 이로써, 작성수단(13a),(13b)에서는 각각 공급되는 촬영각도 θ1, θ2에 의거하여 평면모델이 작성된다.
또한, 미리 피촬영물(2)의 기복의 정보(높이정보)가 측정되어 있으며,이 높이정보가 입력장치(14a),(14b)를 통하여 입력된다. 이들 입력된 높이정보가 각각 높이정보부가수단(15a),(15b)에 공급되어서 작성수단(13a),(13b)에서 작성된 평면모델이 각각 높이정보에 의거하여 수정되고, 기복을 가진 모델이 형성된다.
이들 기복을 가진 모델이 각각 메모리제어수단(16a),(16b)에 공급된다. 이로써, 입력화상메모리(11a),(11b)에 기억된 각 화소가 각각 상술한 기복을 가진 모델에 맵핑되어서 독출된다.
또, 제어수단(4)과 오퍼레이터로부터의 제어지시의 입력수단(5), 제어에 관한 데이터등을 기억하는 메모리(6)가 배설된다. 그리고, 예를 들면 카메라(3a)로부터 카메라(3b)에의 전환을 행하는 경우에는 입력수단(5)으로부터의 지시에 따라서 카메라(3a),(3b)를 연결하는 선상에서 임의의 시점위치가 제어수단(4)에서 계산되고, 이 시점위치가 시점위치설정수단(17a),(17b)에 공급된다. 다시 이들 설정수단(17a),(17b)에 설정된 시점위치가 각각 메모리제어수단(16a),(16b)에 공급된다. 이로써, 입력화상메모리 (11a),(11b)로부터 모델에 맵핑되어서 독출된 각 화소의 데이터가 설정수단(17a),(17b)에 설정된 시점위치에 의거하여 각각의 모델이 회전되어서 출력화상메모리(18a),(18b)에 기억된다. 또한, 이들 기복을 가진 모델의 형성, 데이터의 맵핑 및 회전의 기술은 앞서 본원 출원인에 의해 제안(미합중국 특허출원 제07/367372호 )되어 있다.
다음에, 화상처리 장치(1a),(1b)의 동작원리에 대해 피촬영물로서 골프코스를 사용하여 설명한다.
제2도를 참조하면서 화상처리장치(1a),(1b)의 구성에 대해 설명한다. 이하 제2도를 사용한 설명에 있어서는 서픽스(suffix)(ab)를 생략한다. 골프코스(2)등의 피촬영물이 텔레비전카메라(3)에 의해 촬영된다. 이때, 텔레비전카메라(3)는 고정되고, 촬영각도는 θ 이다. 이 촬영각도는 촬영각도 측정수단(12)에 의해서 측정되고, 평면모델작성수단(13)에 공급된다. 평면모델작성수단(13)은 입력된 촬영각도 θ 에 의거하여 평면모델을 작성한다. 평면모델작성수단(13)에 의해서 작성된 평면모델을 표시하는 데이터는 높이정보부가수단(15)에 공급된다. 높이정보부가수단(15)은 높이정보입력장치(14)로부터 입력된 높이의 정보에 의거하여 평면모델을 표시하는 데이터를 수정하고, 기복을 가진 모델을 표시하는 데이터를 작성한다. 이 기복을 가진 모델을 표시하는 데이터는 메모리제어수단(16)에 공급된다. 텔레비전카메라(3)로부터 출력되는 영상신호는 입력화상메모리(11)에 공급되어 각 화소마다 소정의 어드레스에 기억된다. 또, 시점위치설정수단(17)은 제어수단(4)으로부터 입력되는 시점위치제어데이터에 의거하여 시점위치설정데이터를 작성하고, 메모리제어수단(16)에 시점위치설정데이터를 공급한다. 길이보정수단(30)은 제어수단(4)으로부터 입력되는 보정제어데이터에 의거하여 보정데이터를 작성하고, 메모리제어수단(16)에 보정데이터를 공급한다. 메모리제어수단(16)은 높이정보부가수단(15)으로부터 공급되는 기복을 가진 모델을 표시하는 데이터, 시점위치설정수단(17)으로부터 공급되는 시점위치설정데이터 및 길이보정수단(30)으로부터 공급되는 보정데이터에 의거하여 입력화상메모리(11)의 독출어드레스 및 출력화상메모리(18)의 기입어드레스를 작성한다, 입력화상메모리(11)의 독출어드레스 및 출력화상메모리(18)의 기입어드레스는 각각 입력화상메모리(11) 및 출력화상메모리(18)에 공급되고, 입력화상메모리(11)에 기억되어 있는 영상신호가 독출되어 출력화상메모리(18)의 소정의 어드레스에 기억된다. 출력화상메모리(18)로부터 독출된 영상신호는 모니터(10)에 공급되고, 모니터화면에 표시된다.
다음에, 화상처리장치(1)에 있어서, 텔레비전카메라(3)로 골프코스(2)등을 촬영할 때의 촬영각 θ 에 의거하여 3차원좌표계에 평면모델을 작성하고, 텔레비전카메라(3)로부터 출력되는 영상신호를 3차원좌표계에 놓인 평면모델에 맵핑하기 위한 원리에 대해 설명한다.
제3도는 평면 P 상의 피촬영물을 평면 P 에 수직으로 배치된 텔레비전카메라(3)로 촬영할 때에, 평면 P 상의 피촬영물이 텔레비전카메라(3)의 촬상소자(스크린 20)상에 투시변환되는 상태를 도시하고 있다. 역으로 말하면, 텔레비전카메라(3)로 촬영된 피촬영물의 실제의 위치는 스크린(20)으로부터 시점위치(21)에 대해 반대 방향으로 소정의 거리 떨어진 곳에 위치하는 평면 P 상에 위치한다. 따라서, 평면 P 상에 위치하는 피촬영물의 위치 OP를(x, y, z)로 하고, 시점의 위치(21)를 원점(0, 0, 0)으로 하고, 스크린(20)의 중앙 C을(0, 0, SCP)로 하고, 스크린(20)에 투시변환된 피촬영물의 위치 SP를(X, Y, SCP)로 하면, 평면 P상에 위치하는 피촬영물의 위치 OP와 스크린(20)상에 투시변환된 피촬영물의 위치 SP와의 관계는 다음식으로 표현된다.
다음에, 평면P'으로 하여 제4도에 도시한 바와 같이, 제3도에 도시된 평면 P 을 소정의 각도만큼 경사시킨 평면P'를 상정(想定)한다.
이 평면 P'이 위치 M 에 있어서 x-z 평면에 대해 각도 θ 만큼 경사져 있다고 하면, 평면 P'상에 위치하는 피촬영물의 위치 OP 와 스크린(20)상에 투시 변환된 피촬영물의 위치 SP 와의 관계는 다음식으로 표현된다.
가 된다.
이 제(3)식, 제(4)식을 x, y 에 대해 풀면
이때 z는
가 된다.
제(5)식, 제(6)식, 제(7)식에서 명백한 바와 같이, 텔레비전카메라(3)로 평면 P'을 촬영할 때의 평면 P'에 대한 텔레비전카메라(3)의 촬영각도 θ 를 측정하고, 그 각도 θ 및 스크린(20)상의 투시변환된 피촬영물의 각 화소의 위치(X, Y, SCP)를 제(5)식, 제(6)식 및 제(7)식에 대입함으로써, 3차원좌표계에 있어서의 평면 P'을 연산할 수 있다. 그리고, Z 는 시점위치(21)로부터 평면 P'상의 위치 M 까지의 거리이다. 이것은 카메라(3)의 광학축과 골프코스(2)가 교차되는 점으로부터 카메라(3)까지의 거리와 같다. 또, 이후 이와 같이 해서 작성된 평면 P'를 평면모델 P'라 한다.
상술한 바와 같이해서 작성된 평면모델 P'에 스크린(20)에 투시변환된 피촬영물의 각 화소의 영상데이터를 평면모델 P'상의 대응하는 좌표에 할당함으로써, 3차원좌표계에 있어서의 평면모델 P'에 영상데이터를 맵핑할 수 있다. 이와 같이해서 평면 P'상의 피촬영물을 텔레비전카메라(3)에 의해서 촬영했을 때의 촬상각 θ 과 같은 각도 만큼 x-z 평면에 대해 경사져 있고, 영상데이터를 가진 평면모델 P' 을 3차원좌표계에 작성할 수 있다. 그리고, 3차원좌표계에 배치된 평면모델 P'에 맵핑된 영상데이터는 제2도에 도시된 모니터(10)에 공급되어 표시된다.
상술한 바와 같이해서 3차원좌표계에 배치된 평면모델 P'의 각 화소의 위치에 대응하는 좌표치에 서로 관련된 임의의 값을 가산함으로써, 평면모델 P'을 3차원좌표계내에서 회전, 평행이동함으로써, 모니터(10)에 표시된 평면모델 P'에 대한 시점위치를 변경할 수 있다.
따라서, 제5도에 도시한 바와 같이 골프코스(2)에 대한 텔레비전카메라(3)의 촬영각도 θ 가 일정해도 모니터(10)에 표시된 골프코스(2)에 대한 시점의 위치를 변경할 수 있다. 따라서, 마치 텔레비전카메라(3)를 놓은 곳으로 이동하여 골프코스(2)를 바로 위에서 촬영하도록 한 것처럼 시점위치의 이동을 용이하게 행할 수 있다. 즉, 텔레비전카메라(3)로 촬영된 화상으로서 예를 들면 제5도에 도시한 바와 같은 화상정보가 있을 경우에, 텔레비전카메라(3)의 촬영각도 θ 를 변경하지 않고 제6도에 도시한 바와 같이 시점위치를 높은 곳으로 이동시킨 화상을 얻을 수 있다.
따라서, 본원 발명에 의하면 시점위치를 임의로 정할 수 있으며, 이로 인해 거리파악등이 용이해진다.
그런데, 상술한 바와 같이 해서 평면P'의 시점위치를 임의로 변경한 경우, 피촬영물 즉 골프코스(2)등을 평면으로서 근사시켜 평면모델 P'을 형성하고 있으므로, 예를 들면 화상중의 나무 W나 인간 T과 같이 평면 P'에 포함되지 않는 부분은 시점의 위치를 이동했을 때 화상이 부자연스럽게 되어 버린다.
제7a도에 도시한 바와 같이 지면 Q 상에 나무 W가 서있는 것과 같은 피촬영물을 시점위치(21)로부터 텔레비전카메라(3)에 의해 촬영하고, 모니터(10)에 의해 표시한 상태를 제7도b에 도시한다. 제7c도에 도시한 바와 같이, 모니터(10)에 표시된 피촬영물에 대한 시점위치(21)를 상술한 바와 같이 하여 위쪽으로 이동시키면 제7d도에 도시한 바와 같이 나무 W의 길이가 신장된다. 이것은 제7a도의 상태에서 카메라(3)에 의해 피촬영물을 촬영한 경우, 제7c도에 도시한 바와 같이 나무 W가 제7도a에 도시된 지면 Q에 가로 놓여 있는 상태와 아무런 변화가 없기 때문이다.
다음에, 서있는 나무 W나 인간 T의 길이를 보정하는 수단을 설명한다. 보정하는 수단으로서 본 출원인이 앞서 제안한 미합중국 특허 제4791581호에 기재되어 있는 기술을 이용한다.
먼저, 제7도c및 d에 도시한 바와 같이 평면모델 P'에 있어서 변형시키는 영역 VCF을 설정한다. 다음에, 변형방향 및 크기를 표시하는 변형벡터 Vi 를 설정한다. 다시 변형을 실시할 위치를 표시하는 작용점 CPi 및 벡터장(場)함수 Fi 를 설정한다. 그리고, 변형전의 평면모델 P'의 위치벡터를 Po로 하면, 변형후의 평면모델 P'의 위치 벡터 PN는 다음식으로 표현된다.
이와 같이해서 변형된 평면모델 P'의 상태를 제7e도에 도시한다.
즉, 나무 W가 직립한 상태가 된다. 따라서, 제7f도에 도시한 바와 같이 나무 W의 길이가 신장된 상태가 보정되어, 나무바로 위에 텔레비전카메라(3)를 이동시킨 것과 똑같은 상태로 지면 Q및 나무 W가 모니터(10)에 표시된다.
상술한 바와 같은 수정을 실시함으로써, 제6도에 도시한 바와 같이 실제보다 길이가 신장된 인간 T 이나 나무 W 를 가진 화상을 보정하여 제8도에 도시한 바와 같은 화상을 얻을 수 있다.
다음에, 제9도를 참조하면서 지면 Q' 등의 피촬영물의 높이 h(u, v)가 지형도등의 정보원에 의해 부여되는 경우에 대해 설명한다.
먼저, 상술한 바와 같이해서 지면 Q'에 대한 텔레비전카메라(3)의 촬영각 θ 및 스크린(20)상에 투시변환된 피촬영물의 각 화소의 위치(X, Y, SCP)를 제(5)식, 제(6)식 및 제(7)식에 대입함으로써, 제10도에 도시한 바와 같이 3차원좌표계에 평면모델 P을 형성한다. 다음에 형성된 평면 모델 P 을 평면모델 P 의 임의의 위치(x, y, z)에 있어서의 높이를 표시하는 데이터 h(u, v)에 의거하여 변형한다. 변형후의 평면모델 P 의 3차원좌표계에 있어서의 임의의 위치의 좌표(x, y, z)는 다음식에 의해서 연산할 수 있다.
이들 식은 제(6)식 및 제(7)식의 우변에 각각 피촬영물의 높이 h(u,v)의 y축방향성분 및 z축방힝성분을 가산함으로써 도출된다. 상술한 제(9)식, 제(10)식 및 제(11)식을 사용함으로써, 제10도에 도시한 바와 같이 3차원좌표계에 피촬영물에 따른 기복을 가진 모델 P'을 작성할 수 있다. 또, 제(9)식, 제(10)식 및 제(11)식으로부터 스크린(20)에 투시변환 표시된 피촬영물의 각 화소의 위치와 기복을 가진 모델 P'의 각 좌표를 대응시킬 수 있다. 따라서, 제(9)식, 제(10)식 및 제(11)식에 의거하여 스크린(20)에 투시 변환된 피촬영물의 각 화소의 영상데이터를 기복을 가진 모델 P'의 대응하는 좌표에 할당함으로써, 3차원좌표계에 있어서의 기복을 가진 모델 P에 영상 데이터를 맵핑할 수 있다. 이와 같이하여 지면 Q'상의 피촬영물을 텔레비전카메라(3)에 의해서 촬영했을 때의 촬영각 θ과 같은 각도만큼 x-z 평면에 대해 경사져 있고, 영상데이터를 가지며, 기복을 가진 모델 P' 을 3차원좌표계에 작성할 수 있다. 그리고, 3차원좌표계에 배치된 기복을 가진 모델 P' 의 영상데이터는 제2도에 도시한 모니터(10)에 공급되어 표시된다.
상술한 바와 같이 하여 3차원좌표계에 배치된 기복을 가진 평면모델 P' 의 각 화소의 위치에 대응하는 좌표치에 서로 관련된 임의의 값을 가산함으로써, 3차원좌표계에 있어서 기복을 가진 모델 P' 을 회전시킬 수 있다. 즉, x-z 평면에 대한 기복을 가진 모델 P' 의 각도를 임의로 변경할 수 있다. 따라서, 3차원좌표계에 배치된 기복을 가진 모델 P' 의 영상데이터를 모니터(10)에 의해서 표시했을 때에, 표시되어 있는 기복을 가진 모델 P' 의 각도를 변경할 수 있다.
즉, 기복을 가진 모델 P' 에 대한 시점의 위치를 변경할 수 있다.
이와 같이 하여 기복을 가진 모델 P' 에 대한 시점의 위치를 변경할 때, 제11도에 도시한 바와 같이, 지면 Q상에 나무 W가 있으면 시점의 위치를 높였을 때 나무 W의 길이가 신장되어 버린다. 이것은 일반적으로 지형도등으로부터 얻어지는 지형의 높이의 정보에는 나무 W의 높이를 표시하는 데이터는 포함되어 있지 않으므로, 기복을 가진 모델 P' 을 작성할 때, 나무 W의 높이가 무시되고, 나무 W는 기복을 가진 지면 Q'에 가로 놓여 있는 것으로 간주되기 때문이다.
이와 같이 시점의 위치를 높였을 때에 나무 W의 길이가 신장되어 버리는 현상을 보정하기 위해서는 제7도를 사용하여 설명한 것과 마찬가지로 하여 보정할 수 있다, 먼저, 기복을 가진 모델 P' 에 있어서 변형시키는 영역 VCF을 설정한다. 다음에, 변형 방향 및 크기를 표시하는 변형 벡터 Vi를 설정한다. 다시 변형을 실시할 위치를 표시하는 작용점 CPi 및 벡터장함수 Fi 를 설정한다. 그리고, 변형전의 기복을 가진 모델 P' 의 위치벡터를 Po로 하여 제(8)식을 사용하여 변형후의 기복을 가진 모델 P' 의 위치벡터 PN을 연산하고, 이 위치 벡터 PN에 따라서 기복을 가진 모델 P' 을 다시 변형시킴으로써, 나무 W의 길이를 보정할 수 있다.
지면 Q' 등의 피촬영물의 높이 h(u, v)가 지형도등의 정보원에 의해 부여되는 경우에는 상술한 바와 같이 기복을 가진 모델 P' 을 형성하여 영상데이터를 맵핑함으로써, 시점의 위치를 변경한 경우에도 지형의 고저를 정확하게 모니터(10)상에 표시할 수 있다.
다음에, 제12도를 참조하면서 제2도에 도시한 화상처리장치(1)의 동작을 설명한다.
스텝 SP1에 있어서, 화상처리장치(1)는 동작을 개시한다.
스텝 SP2에 있어서, 촬영각도측정수단(4)은 골프코스(2)등의 피촬영물에 대한 텔레비전카메라(3)의 촬영각도 θ를 측정한다. 이 촬영각도 θ 는 조작자가 수동으로 측정해도 된다 . 촬영각도측정수단(12)에 의해서 측정된 촬영각도 θ는 평면모델작성수단(13)에 공급된다.
스텝 SP3에 있어서, 평면모델작성수단(13)은 촬영각도 θ 및 텔레비전카메라(3)의 촬상소자에 투시변환된 피촬영물의 각 화소의 위치(X, Y, SCP)를 제(5)식, 제(6)식 및 제(7)식에 대입함으로써, 3차원좌표계에 평면모델 P'을 작성한다, 펑면모델작성수단(13)에 의해서 연산된 평면모델 P'을 표시하는 데이터는 높이정보부가수단(15)에 공급된다.
스텝 SP4에 있어서, 골프코스(2)등의 높이(기복)를 표시하는 정보의 유무가 판단된다. 스텝 SP4에 있어서, 높이를 표시하는 정보가 있다고 판단된 경우에는 스텝 SP5에 있어서 높이정보입력수단(14)을 통해서 높이를 표시하는 데이터가 높이정보부가수단(15)에 입력된다.
높이정보부가수단(15)은 제(9)식, 제(10)식 및 제(11)식에 표현되어 있는 바와 같이 평면모델작성수단(13)에 의해 연산된 평면모델 P'을 표시하는 데이터에 높이를 표시하는 데이터를 가산한다. 스텝 SP4 에 있어서, 높이를 표시하는 정보가 없다고 판단된 경우에는 평면모델작성수단(13)에 의해서 연산된 평면모델 P'을 표시하는 데이터는 직접 메모리제어수단(16)에 공급된다.
스텝 SP6에 있어서 , 메모리제어수단(16)은 높이정보부가수단(15) 또는 평면모델작성수단(13)으로부터 공급되는 데이터에 의거하여 입력화상메모리(11)의 독출어드레스 및 출력화상메모리(18)의 기입어드레스를 작성하고, 각각 입력화상메모리(11) 및 출력화상메모리(18)에 공급한다. 텔레비전카메라(3)로부터 공급되어 입력화상메모리(11)에 기억된 영상신호는 메모리제어수단(16)으로부터 공급되는 독출어드레스를 따라 독출되고, 메모리제어수단(16)으로부터 공급되는 기입어드레스에 따라서 출력화상메모리(18)에 기입된다. 이 동작에 의해서 스크린(20)에 투시변환되어 있는 피촬영물의 각 화소의 영상데이터를 평면모델 P' 또는 기복을 가진 모델 P' 의 대응하는 좌표에 할당할 수 있다, 이 동작이 맵핑이다.
스텝 SP7에 있어서, 입력수단(5)을 통해서 변형되는 영역 VCF을 표시하는 데이터, 변형 방향 및 크기를 표시하는 변형 벡터 Vi를 표시하는 데이터 및 변형을 실시할 위치를 표시하는 작용점 CPi 및 벡터장함수 Fi를 표시하는 데이터가 길이보정수단(30)에 공급된다. 또, 변형 전의 평면모델 P'의 위치 벡터 Po를 표시하는 데이터 또는 변형 전의 기복을 가진 모델 P' 의 위치 벡터 Po를 표시하는 데이터가 메모리제어수단(16)으로부터 공급된다. 길이보정수단(30)은 입력된 각 데이터에 의거하여 제(8)식을 사용하여 변형후의 평면모델 P'의 위치 벡터 PN또는 변형후의 기복을 가진 모델 P' 의 위치 벡터 PN를 연산한다. 연산된 변형후의 평면모델 P'의 위치 벡터 PN를 표시하는 데이터 또는 변형후의 기록을 가진 모델 P' 의 위치 벡터 PN를 표시하는 데이터는 메모리제어수단(16)에 공급된다. 메모리제어수단(16)은 길이보정수단(30)으로부터 공급된 위치 벡터 PN를 표시하는 데이터에 의거하여 입력화상메모리(11)의 독출어드레스 및 출력화상메모리(18)의 기입어드레스를 작성하고, 각각 입력화상메모리(11) 및 출력화상메모리(18)에 공급된다. 입력화상메모리(11)에 기억되어 있는 영상신호는 메모리제어수단(15)으로부터 공급되는 독출어드레스에 따라 재차 독출되고, 메모리제어수단(16)으로부터 공급되는 기입어드레스에 따라 출력화상메모리(18)에 기입된다. 이 동작에 의해서 평면모델 P' 또는 기복을 가진 모델 P' 이 수정되어 인간 T이나 나무 W의 길이를 보정할 수 있다.
스텝 SP8에 있어서, 스텝 SP7에 있어서의 수정이 완료되었는지 여부가 판단된다, 이 스텝 SP8은 조작자가 모니터(10)에 표시되어 있는 화상이 원하는 상태로 되었는지 여부를 판단함으로써 수행된다.
스텝 SP9에 있어서, 입력수단(5)을 통해서 제4도 및 제10도에 도시한 3차원좌표계에 있어서의 x축 , y축 또는 z축 주위에 평면모델 P' 또는 기복을 가진 모델 P' 을 회전시키기 위한 시점위치제어데이터가 시점위치설정수단(17)에 공급된다. 시점위치설정수단(17)은 메모리제어수단(16)으로부터 공급되는 평면모델 P' 또는 기복을 가진 모델 P' 의 각 좌표치에 시점위치제어데이터에 대응한 값을 가산함으로써, 시점위치설정데이터를 작성한다. 이 시점위치설정데이터는 메모리제어수단(16)에 공급된다. 메모리제어수단(16)은 시점위치설정수단(17)으로부터 공급된 시점위치설정데이터에 의거하여 입력화상메모리(11)의 독출어드레스 및 출력화상메모리(18)의 기입어드레스를 작성하고, 각각 입력화상메모리(11) 및 출력화상메모리(18)에 공급한다. 입력화상메모리(11)에 기억되어 있는 영상신호는 메모리제어수단(16)으로부터 공급되는 독출어드레스에 따라 재차 독출되고, 메모리제어수단(16)으로부터 공급되는 기입어드레스에 따라 출력화상메모리(18)에 기입된다. 이 동작에 의해서 평면모델 P'또는 기복을 가진 모델 P' 의 시점위치가 변경된다.
스텝 SP10에 있어서, 스텝 SP9에 있어서의 평면모델의 시점위치의 설정 또는 변경이 원하는 상태로 되었는지 여부를 조작자가 모니터(10)를 보면서 판단하고, 원하는 상태로 되었을 때는 스텝 SP11으로 이행하여 동작을 종료한다. 즉, 시점위치의 설정과 화상의 수정은 조작자와 화상처리장치(1)에 의해 상보적(相補的)으로 행해진다.
상술한 바와 같이, 제2도에 도시한 바와 같이 골프코스(2)등에 대한 텔레비전카메라(3)의 촬영각도가 일정해도 모니터(10)에 표시된 골프코스(2)에 대한 시점의 위치를 임의로 변경할 수 있다.
따라서, 마치 텔레비전카메라(3)를 높은곳으로 이동시키거나, 좌우로 이동시켜 촬영하는 것과 같이 시점위치의 이동을 용이하게 행할 수 있다.
또, 골프코스등의 피촬영물의 높이 h(u, v)가 지형도등의 정보원에 의해서 부여되는 경우에는 상술한 바와 같이 기복을 가진 모델 P' 을 형성하여 영상데이터를 맵핑함으로써, 시점의 위치를 변경한 경우에도 지형의 고저를 정확하게 모니터(10)상에 표현할 수 있다.
상술한 바와 같이 하여, 일정한 위치에 고정된 텔레비전카메라(3)에 의해 촬영된 영상의 시점위치를 임의로 변경할 수 있다.
제1도에 도시한 본원 발명의 실시예에서는 촬영위치가 각도 L만큼 다른 2대의 카메라(3a),(3b)를 사용하여 예를 들면 야구장을 촬영하고, 상술한 화상처리장치(1)를 2개 사용하여 화상처리장치(1a)와 화상처리장치(1b)로부터 출력되는 화상의 시점이 일치하도록 화상처리하여 후단(後段)의 회로에 공급하고 있다, 이때, 제어수단(4)은 입력수단(5)을 통해서 입력된 시점위치지정데이터(각도 β)에 의거하여 화상처리 장치(1a)와 화상처리 장치(1b)로부터 출력되는 화상의 시점을 대략 일치시키기 위한 시점위치제어데이터를 시점위치설정수단(17a) 및 (17b)에 각각 공급한다. 시점위치설정수단(17a),(17b)은 각각 메모리제어수단(16a),(16b)으로부터 공급되는 기복을 가진 모델 p' 의 각 좌표치에 시점위치제어데이터에 따른 값을 가산함으로써, 시점위치설정데이터를 작성한다. 이 시점위치설정데이터는 각각 메모리제어수단(16a),(16b)에 공급된다. 메모리제어수단(16a),(16b)은 각각 시점위치설정수단(17a),(17b)으로부터 공급된 시점위치설정데이터에 의거하여 입력화상메모리(11a),(11b)의 독출어드레스 및 출력화상메모리(18a),(18b)의 기입어드레스를 작성하여 각각 입력화상메모리(11a),(11b) 및 출력화상메모리(18a),(18b)에 공급한다, 입력화상메모리(11a),(11b)에 기억되어 있는 영상신호는 메모리제어수단(16a),(16b)으로부터 공급되는 독출어드레스에 따라 독출되고, 메모리제어수단(16a),(16b)으로부터 공급되는 기입어드레스에 따라 출력 화상메모리(18a),(18b)에 기입된다.
출력화상메모리(18a),(18b)에 기억된 각 화소의 데이터는 독출되어 스테레오매칭을 행하기 위한 화상연산장치(7)에 공급된다. 즉, 이 연산장치(7)에 있어서, 먼저 공급되는 2개의 영상신호가 대응점검출수단(71)에 공급되고, 검출된 대응점과 원래의 영상신호가 거리벡터작성수단(72)에 공급되어서 2개의 영상신호의 대응점의 어긋남에 상당하는 거리벡터가 작성된다. 이 거리벡터가 제어수단(4)에 공급되어서 각 영상신호의 어긋남을 해소하기 위한 보정데이터가 형성된다.
이들 각 영상신호 마다의 보정데이터가 각각 보정수단(19a),(19b)에 공급되고, 이들 보정데이터가 각각 메모리제어수단(16a),(16b)에 공급된다. 메모리제어수단(16a),(16b)은 보정수단(19a),(19b)으로부터 공급된 보정데이터에 의거하여 입력화상메모리(11a),(11b)의 독출어드레스 및 출력화상메모리(18a),(18b)의 기입어드레스를 보정한다. 따라서, 출력화상메모리(18a),(18b)로 독출되는 2개의 영상신호의 시점위치는 완전히 일치한다. 또한, 스테레오매칭을 행하기 위한 화상처리장치(7)에는 예를들면 본원 출원인이 앞서 제안한 일본국 특개평2(1990)-25989호에 기재되어 있는 장치를 이용할 수 있다.
그리고, 이들 보정된 영상신호가 페이더부가 스위치(8)에 공급되고, 각각 계수승산수단(81a),(81b)으로(1-w) 및 w의 계수가 승산된 후, 가산기(82)에서 가산된다. 이리하여 가산된 영상신호가 출력단자(9)에 출력되는 동시에, 모니터(10)에 공급되어서 표시된다.
다음에, 각 카메라(3a),(3b)로 피촬영물(2)을 촬영했을 때의 화상예를 제13도 및 제14도를 참조하여 설명한다. 예를 들면 제13도에 도시한 바와 같이 피촬영물(2)에 대하여 서로 각도 α만큼 촬영위치가 다르도록 카메라(3a),(3b)가 설치되어 있을 경우에, 각 카메라(3a),(3b)로 촬영되는 영상신호는 각각 제14a도에 도시한 바와 같이 되어 있다. 이들 영상신호가 입력화상메모리(11a),(11b)에 기억되고, 이것에 대해 예를 들면 도면중에(3c)로 도시한 바와 같이 카메라(3b)로부터 각도 β만큼 떨어진 위치에 시점위치를 설정하여 처리를 행하면, 출력화상메모리(18a),(18b)로부터는 이 도면 B에 도시한 바와 같은 영상신호가 독출된다.
여기서 독출되는 영상신호는 이상적으로는 일치하게 되어 있다.
그러나, 실제로는 정밀도상의 문제등 때문에 2개의 영상신호에는 약간의 어긋남이 발생한다. 그래서, 이들 영상신호가 화상영상장치(7)에 공급됨으로써 이들 대응점의 검출로부터 이 도면 C에 도시한 바와 같은 어긋남의 거리벡터가 작성된다. 그리고, 이와 같은 거리벡터가 제어수단(4)에 공급됨으로써 이 도면 D에 도시한 바와 같이 각각의 영상신호가 거리 벡터의 1/2씩 보정되고, 이것들이 페이더부가 스위치(8)로 가산됨으로써 이 도면 E에 도시한 바와 같은(3c)의 시점위치로부터의 영상신호가 형성된다.
그래서, 이(3c)의 시점위치를 카메라(3a)의 위치로부터 카메라(3b)의 위치까지 순차 이동시킴으로써, 2대의 카메라(3a),(3b)사이를 연속적으로 이동하는 영상신호를 얻을 수 있다.
또한, 현실적으로는 페이더부가 스위치(8)에서의 전환은 예를 들면 제15도에 도시한 바와 같이 행해지고, 각각 카메라(3a),(3b)로부터 소정의 위치까지는 각각의 영상신호를 처리한 신호 Ca, Cb가 출력되는 동시에, 그동안의 천이기간에 도시한 바와 같이 가중계수 w를 변화시켜서 각각 가중된 영상신호를 가산한 신호 C
C=(1-w)×Ca+w×Cb
가 출력된다. 여기서, 천이기간은 카메라(3a),(3b) 사이의 중앙에 한하지 않고, 시점위치의 이동이 고속이 되는 부분이나, 처리된 영상신호의 상관성이 높은부분에 설정하도록 해도 된다.
이리하여, 상술한 장치에 의하면 한쪽의 카메라의 화상으로부터 다른쪽의 카메라의 화상으로 전환하는 경우에 제3의 시점위치를 한쪽의 카메라로부터 다른쪽의 카메라로 연속적으로 이동시킴으로써, 시청자는 다른쪽 카메라의 시점위치를 명확하게 파악할 수 있으며, 이로써 화상의 전환에 제한을 둘 필요가 없어지고, 보다 자유로운 화상의 전환을 행할 수 있는 것이다.
또한, 상술한 장치에 있어서 야구선수등 작성되는 모델에 포함되지 않는 부분은 상술한 처리에 의해 왜곡이 발생되는 경우가 있다.
그 경우에는 조작자가 모니터(10)를 감시하고, 왜곡이 발생하는 부분에 입력수단(5)을 사용하여 보정을 가할 수 있다, 이 보정은 상술한 미합중국 특허출원 제07/367372호에 기재된 기술을 이용하여 행해진다.
또, 상술한 장치에 있어서 카메라(3a),(3b)의 렌즈의 상위등에 의해서 시야에 변화가 발생할 경우에도 적당한 화상의 확대, 축소의 기술을 병용함으로써 상술한 처리를 실행할 수 있다.
또한, 상술한 장치에 있어서 카메라(3a),(3b) 사이의 각도 α가 작을 경우에는 상술한 처리중 스테레오매칭에 의한 처리만으로도 상술한 처리를 행할 수 있다. 즉, 제16도는 그 경우의 장치의 구성을 도시한 것이며, 도면에 있어서 카메라(3a),(3b)가 피촬영물(2)에 대하여 각도 α를 작게하여 설치된다. 그리고, 이들 카메라(3a),(3b)로 촬영된 영상신호가 각각 화상메모리(11a),(11b)에 공급되고, 각 화소마다 소정의 어드레스에 기억된다.
이들 영상신호가 스테레오매칭을 행하기 위한 화상연산장치(7)에 공급된다. 즉, 이 연산장치(7)에 있어서 먼저 공급되는 2개의 영상신호가 대응점검출수단(71)에 공급되고, 검출된 대응점과 원래의 영상신호가 거리벡터 작성수단(72)에 공급되어서 2개의 영상신호의 대응점의 변화에 상당하는 거리벡터가 작성된다. 이 거리벡터가 제어수단(4)에 공급되는 동시에, 입력수단(5)으로부터의 지시 데이터가 제어수단(4)에 공급되어서 각 영상신호의 시점위치를 변경시키기 위한 보정데이터가 형성된다. 이 보정데이터에 의거하여 제어수단(4)은 입력화상메모리(11a),(11b)의 독출어드레스 및 출력화상메모리(18a),(18b)의 기입어드레스를 형성하고, 입력화상메모리(11a),(11b) 및 출력화상메모리(18a),(18b)에 공급한다. 따라서, 출력화상메모리(18a),(18b)에 기억되는 각 영상신호의 시점위치는 입력수단(5)을 통해서 지시된 시점위치가 되는 동시에, 서로 시점위치가 정확하게 일치하고 있다, 또한, 스테레오매칭을 행하기 위한 화상연산장치(7)에는 예를 들면 본원 출원인이 앞서 제안한 일본국 특개평 2(1990)-25989호에 기재되어 있는 장치를 이용할 수 있다.
그리고, 출력화상메모리(18a),(18b)로부터 독출된 영상신호가 페이더부가 스위치(8)에 공급되고, 각각 계수승산수단(81a),(81b)으로 (1-w) 및 w의 계수가 승산된 후, 가산기(82)로 가산된다. 이와 같이 가산된 영상신호가 출력단자(9)에 출력되는 동시에, 모니터(10)에 공급되어서 표시된다.
따라서, 이 장치에 있어서 입력화상메모리(11a),(11b)로부터는 예를 들면 제17a도에 도시한 바와 같은 영상신호가 독출된다. 이들 영상신호가 화상연산장치(7)에 공급됨으로써, 이들 대응점의 검출로부터 이 도면 B에 도시한 바와 같은 변화의 거리벡터가 작성된다.
그리고, 이와 같은 거리벡터가 제어수단(4)에 공급됨으로써, 이 도면C에 도시한 바와 같이 각각의 영상신호가 거리벡터와 입력수단(5)으로부터의 지시에 따라서 상보적으로 보정되고, 이들이 상술한 것과 같은 구성의 페이더부가 스위치(8)로 가산됨으로써, 이 도면 D에 도시한 바와 같은 카메라(3a),(3b) 사이의 임의의 시점위치로부터의 영상신호가 형성된다.
이리하여, 이 장치에 있어서도 이 시점위치를 카메라(3a)의 위치로부터 카메라(3b)의 위치까지 순차 이동시킴으로써 2대의 카메라(3a),(3b) 사이를 연속적으로 이동하는 영상신호를 얻을 수 있다.
본원 발명에 의하면, 한쪽의 카메라의 화상으로부터 다른쪽의 카메라의 화상으로 전환하는 경우에 제3의 시점위치를 한쪽의 카메라로부터 다른쪽 카메라에 연속적으로 이동시킴으로써, 시청자는 다른쪽 카메라의 시점위치를 명확하게 파악할 수 있으며, 이로써 화상의 전환에 제한을 둘 필요가 없어지고, 보다 자유로운 화상의 전환을 행할 수 있도록 되었다.

Claims (11)

  1. 제1,제2의 카메라에 의해 촬영된 화상의 시점위치를 제어하는 시점위치 제어장치에 있어서, 상기 제1의 카메라의 촬상소자의 각 화소의 좌표 및 피촬영물에 대한 상기 제1의 카메라의 촬영각도에 의거하여 3차원좌표계에 상기 피촬영물의 피촬영면의 제1의 모델을 형성하는 제1의 형성수단과, 상기 제2의 카메라의 촬영소자의 각 화소의 좌표 및 피촬영물에 대한 상기 제2의 카메라의 촬영각도에 의거하여 3차원좌표계에 상기 피촬영물의 피촬영면의 제2의 모델을 형성하는 제2의 형성수단과, 상기 제1의 형성수단에 의해 형성된 상기 제1의 모델에 상기 제1의 카메라로부터 출력되는 화상데이터를 맵핑하는 제1의 맵핑수단과, 상기 제2의 형성수단에 의해 형성된 상기 제2의 모델에 상기 제2의 카메라로부터 출력되는 화상데이터를 맵핑하는 제2의 맵핑수단과, 상기 3차원좌표계에서 상기 제1의 카메라와 상기 제2의 카메라가 이루는 각도 α내에서 상기 화상데이터가 맵핑된 상기 제1 및 제2의 모델을 각각 각도 β 및 각도(α -β)만큼 회전이동시키는 이동수단과, 상기 제1의 모델에 맵핑된 화상데이터와 상기 제2의 모델에 맵핑된 상기 화상데이터를 상기 제1, 제2의 모델의 회전각도에 따른 비율로 합성하는 합성수단으로 이루어지는 것을 특징으로 하는 시점위치제어장치.
  2. 제1항에 있어서, 상기 합성수단으로부터 출력되는 화상데이터에 의거하여 화상을 표시라는 표시수단을 더 구비한 것을 특징으로하는 시점위치제어장치.
  3. 제1항에 있어서, 상기 이동수단은 상기 각도 β를 입력하는 입력수단을 가진 것을 특징으로 하는 시점위치제어장치.
  4. 제1항에 있어서, 상기 이동수단은 상기 제1의 맵핑수단으로부터 출력되는 화상데이터와 상기 제2의 맵핑수단으로부터 출력되는 화상데이터가 입력되고, 이들 화상간의 어긋남을 검출하는 시프트검출수단을 가지고, 상기 어긋남이 제로가 되도록 상기 제1 및 제2의 모델을 회전시키는 것을 특징으로 하는 시점위치제어장치.
  5. 제4항에 있어서, 상기 시프트검출수단은 상기 제1의 맵핑수단으로부터 출력되는 화상과 상기 제2의 맵핑수단으로부터 출력되는 화상의 대응점을 검출하는 대응점검출수단과, 상기 대응점검출수단의 출력신호에 의거하여 상기 제1의 맵핑수단으로부터 출력되는 화상과 상기 제2의 맵핑수단으로부터 출력되는 화상 사이의 거리벡터를 작성하는 거리벡터작성수단으로 이루어지는 것을 특징으로 하는 시점위치제어장치.
  6. 제1항에 있어서, 상기 합성수단은 상기 제1의 모델에 맵핑된 화상데이터에 계수 w를 승산하는 제1의 승산수단과, 상기 제2의 모델에 맵핑된 화상데이터에 계수(1-w)를 승산하는 제2의 승산수단과, 상기 제1의 승산수단의 출력신호와 상기 제2의 승산수단의 출력신호를 가산하는 가산수단으로 이루어지는 것을 특징으로 하는 시점위치제어장치.
  7. 제6항에 있어서, 상기 계수 w는 상기 각도 β와 상기 각도(α-β)의 변화에 따라서 변화하고, 그 변화율은 상기 각도 β와 상기 각도(α-β)의 각도차가 작아짐에 따라 커지는 것을 특징으로 하는 시점위치제어장치.
  8. 제1, 제2의 카메라에 의해 촬영된 화상의 시점위치를 제어하는 시점위치제어장치에 있어서, 상기 제1의 카메라로부터 출력되는 화상데이터를 기억하는 제1의 기억수단과, 상기 제1의 기억수단의 출력신호를 기억하는 제2의 기억수단과, 상기 제2의 카메라로부터 출력되는 화상데이터를 기억하는 제3의 기억수단과, 상기 제3의 기억수단의 출력신호를 기억하는 제4의 기억수단과, 상기 제1의 카메라에 의해 촬영된 제1의 화상과 상기 제2의 카메라에 의해 촬영된 제2의 화상과의 대응점을 검출하는 대응점검출수단과, 상기 대응점검출수단의 출력신호에 의거하여 상기 제1의 화상과 상기 제2의 화상의 서로 대응하는 점을 연결하는 거리벡터를 작성하는 거리벡터작성수단과, 소망의 각도 β를 입력하는 입력수단과, 상기 거리벡터작성수단의 출력신호와 상기 입력수단의 출력신호에 의거하여, 상기 제1의 기억수단 및 상기 제3의 기억수단의 독출어드레스 및 상기 제2의 기억수단 및 상기 제4의 기억수단의 기입어드레스를 발생하고, 상기 제1의 카메라와 상기 제2의 카메라가 이루는 각도 α내에서 상기 제1의 카메라로부터 출력되는 화상을 각도 β만큼 회전이동시키고, 상기 제2의 카메라로부터 출력되는 화상을(α-β)만큼 회전이동시키는 이동수단과, 상기 제2의 기억수단으로부터 출력되는 화상데이터와 상기 제4의 기억수단으로부터 출력되 화상데이터를 상기 각도 β에 상응한 비율로 합성하는 합성수단으로 이루어지는 것을 특징으로 하는 시점위치제어장치.
  9. 제8항에 있어서, 상기 합성수단으로부터 출력되는 화상데이터에 의거하여 화상을 표시하는 표시수단을 더 구비한 것을 특징으로 하는 시점위치제어장치.
  10. 제8항에 있어서, 상기 합성수단은 상기 제2의 기억수단의 출력데이터에 계수 w를 승산하는 제1의 승산수단과, 상기 제4의 기억수단의 출력데이터에 계수(1-w)를 승산하는 제2의 승산수단과, 상기 제1의 승산수단의 출력신호와 상기 제2의 승산수단의 출력신호를 가산하는 가산수단으로 이루어지는 것을 특징으로 하는 시점위치제어장치.
  11. 제10항에 있어서, 상기 계수 w는 상기 각도 β와 상기 각도(α-β)의 변화에 따라서 변화하고, 그 변화율은 상기 각도 β와 상기 각도(α-β)의 각도차가 작아짐에 따라 커지는 것을 특징으로 하는 시점위치제어장치.
KR1019900019798A 1989-12-05 1990-12-04 시점위치제어장치 KR0183977B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP01316107A JP3104909B2 (ja) 1989-12-05 1989-12-05 画像処理装置
JP89-316107 1989-12-05

Publications (2)

Publication Number Publication Date
KR910013872A KR910013872A (ko) 1991-08-08
KR0183977B1 true KR0183977B1 (ko) 1999-05-01

Family

ID=18073324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019900019798A KR0183977B1 (ko) 1989-12-05 1990-12-04 시점위치제어장치

Country Status (5)

Country Link
US (1) US5101268A (ko)
EP (1) EP0431861B1 (ko)
JP (1) JP3104909B2 (ko)
KR (1) KR0183977B1 (ko)
DE (1) DE69032971T2 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471383A (en) * 1992-01-22 1995-11-28 Acushnet Company Monitoring systems to measure and display flight characteristics of moving sports object
JPH05265081A (ja) * 1992-03-23 1993-10-15 Canon Inc 複眼撮像装置
EP0563737B1 (en) * 1992-03-23 1997-09-10 Canon Kabushiki Kaisha Multilens imaging apparatus with correction of misregistration
US5715383A (en) * 1992-09-28 1998-02-03 Eastman Kodak Company Compound depth image display system
US5342051A (en) * 1992-10-30 1994-08-30 Accu-Sport International, Inc. Apparatus and method for tracking the flight of a golf ball
US7291072B2 (en) 1992-11-20 2007-11-06 Acushnet Company Performance measurement system with fluorescent markers for golf equipment
US5575719A (en) * 1994-02-24 1996-11-19 Acushnet Company Method and apparatus to determine object striking instrument movement conditions
US6241622B1 (en) * 1998-09-18 2001-06-05 Acushnet Company Method and apparatus to determine golf ball trajectory and flight
EP0637815B1 (en) * 1993-08-04 2006-04-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
US5543964A (en) * 1993-12-28 1996-08-06 Eastman Kodak Company Depth image apparatus and method with angularly changing display information
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
US7843497B2 (en) 1994-05-31 2010-11-30 Conley Gregory J Array-camera motion picture device, and methods to produce new visual and aural effects
US5596494A (en) * 1994-11-14 1997-01-21 Kuo; Shihjong Method and apparatus for acquiring digital maps
US5768415A (en) * 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
SE506272C2 (sv) * 1996-03-18 1997-11-24 Paul Edholm Förfarande och anordning för att bestämma bildläge och bildvinkel i en röntgenbild
US6449004B1 (en) * 1996-04-23 2002-09-10 Minolta Co., Ltd. Electronic camera with oblique view correction
DE69915901T2 (de) 1998-01-14 2004-09-02 Canon K.K. Bildverarbeitungsgerät
US6533674B1 (en) 1998-09-18 2003-03-18 Acushnet Company Multishutter camera system
US6781621B1 (en) 1998-09-18 2004-08-24 Acushnet Company Launch monitor system with a calibration fixture and a method for use thereof
US7214138B1 (en) 1999-01-29 2007-05-08 Bgi Acquisition, Llc Golf ball flight monitoring system
US6285445B1 (en) 1999-09-17 2001-09-04 Acushnet Company Method for determining aerodynamic characteristics of a golf ball
US7193645B1 (en) * 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US8137210B2 (en) * 2001-12-05 2012-03-20 Acushnet Company Performance measurement system with quantum dots for object identification
US7324132B2 (en) * 2003-05-06 2008-01-29 Hewlett-Packard Development Company, L.P. Imaging three-dimensional objects
US7744480B2 (en) * 2004-01-20 2010-06-29 Acushnet Company One camera club monitor
US8872914B2 (en) * 2004-02-04 2014-10-28 Acushnet Company One camera stereo system
US8475289B2 (en) * 2004-06-07 2013-07-02 Acushnet Company Launch monitor
US7837572B2 (en) * 2004-06-07 2010-11-23 Acushnet Company Launch monitor
US8500568B2 (en) * 2004-06-07 2013-08-06 Acushnet Company Launch monitor
US8622845B2 (en) * 2004-06-07 2014-01-07 Acushnet Company Launch monitor
US8556267B2 (en) * 2004-06-07 2013-10-15 Acushnet Company Launch monitor
US7959517B2 (en) * 2004-08-31 2011-06-14 Acushnet Company Infrared sensing launch monitor
US20060141433A1 (en) * 2004-12-28 2006-06-29 Hing Cheung C Method of detecting position of rectangular object and object detector
US10063848B2 (en) * 2007-08-24 2018-08-28 John G. Posa Perspective altering display system
EP2304692A4 (en) * 2008-06-16 2014-03-12 Eyefi Pty Ltd PREDICTIVE SPACE APPROXIMATION AND RADIAL CONVOLUTION
US9767351B2 (en) * 2009-01-15 2017-09-19 AvidaSports, LLC Positional locating system and method
CN101894271B (zh) * 2010-07-28 2012-11-07 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
US9074892B2 (en) 2013-03-15 2015-07-07 Ian Michael Fink System and method of determining a position of a remote object
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
JPWO2017051592A1 (ja) * 2015-09-25 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4420230A (en) * 1979-08-27 1983-12-13 Mcelveen Robert H Production of three dimensional motion pictures
JPS60186967A (ja) * 1984-03-05 1985-09-24 Fanuc Ltd 画像表示方法
EP0168981B1 (en) * 1984-07-20 1993-10-27 Tektronix, Inc. Method and apparatus for spherical panning
US4672559A (en) * 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
US4667236A (en) * 1985-04-26 1987-05-19 Digital Services Corporation Television perspective effects system
DE3750709T2 (de) * 1986-06-03 1995-03-16 Cubital Ltd Gerät zur Entwicklung dreidimensionaler Modelle.
GB8623718D0 (en) * 1986-10-02 1986-11-05 British Aerospace Real time generation of stereo depth maps
US4875097A (en) * 1986-10-24 1989-10-17 The Grass Valley Group, Inc. Perspective processing of a video signal
ES2000293A6 (es) * 1986-12-29 1988-02-01 Dominguez Montes Juan Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro
US4966436A (en) * 1987-04-30 1990-10-30 Christopher A. Mayhew Apparatus for obtaining images for use in displaying a three-dimensional
JP2667835B2 (ja) * 1987-10-09 1997-10-27 株式会社日立製作所 コンピユータグラフイツクス表示装置
JP3138264B2 (ja) * 1988-06-21 2001-02-26 ソニー株式会社 画像処理方法及び装置
US5065236A (en) * 1990-11-02 1991-11-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects

Also Published As

Publication number Publication date
JPH03175886A (ja) 1991-07-30
DE69032971T2 (de) 1999-08-19
JP3104909B2 (ja) 2000-10-30
EP0431861A3 (en) 1993-05-26
EP0431861B1 (en) 1999-03-03
DE69032971D1 (de) 1999-04-08
KR910013872A (ko) 1991-08-08
EP0431861A2 (en) 1991-06-12
US5101268A (en) 1992-03-31

Similar Documents

Publication Publication Date Title
KR0183977B1 (ko) 시점위치제어장치
JP3138264B2 (ja) 画像処理方法及び装置
US20190373247A1 (en) Systems and methods for determining three dimensional measurements in telemedicine application
US7317473B2 (en) Image-based method and system for building spherical panoramas
US6031941A (en) Three-dimensional model data forming apparatus
US6930685B1 (en) Image processing method and apparatus
US5790713A (en) Three-dimensional computer graphics image generator
WO2003036565A2 (en) System and method for obtaining video of multiple moving fixation points within a dynamic scene
CN111737518A (zh) 基于三维场景模型的图像展示方法、装置及电子设备
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
CN113240615A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR20000011022A (ko) 화상 합성 장치 및 방법,위치 검출 장치 및 방법, 및공급 매체
EP0875115A1 (en) Method and apparatus for insertion of virtual objects into a video sequence
JP4007524B2 (ja) 画像合成方法及び装置並びに情報記録媒体
CN116128744A (zh) 消除图像畸变的方法、电子设备、存储介质及车辆
JPH10208074A (ja) 画像生成方法
KR20210149658A (ko) 3d 투어 내에서 실제 거리 측정 방법 및 그를 위한 3d 투어 시스템
JP2022029730A (ja) ３ｄモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム
CN110933295B (zh) 拍摄方法、装置、电子设备及可读存储介质
JP4135934B2 (ja) 電子機器
JP2005140623A (ja) 画像計測方法、装置、プログラム及び記録媒体
US11900635B2 (en) Organic camera-pose mapping
JP3235929B2 (ja) 建造物画像合成装置
JP2003177019A (ja) 自由撮影によるカメラの姿勢算出方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20031114

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee