KR19990064245A - 영상 합성기 및 영상 합성 방법 - Google Patents

영상 합성기 및 영상 합성 방법 Download PDF

Info

Publication number
KR19990064245A
KR19990064245A KR1019980702733A KR19980702733A KR19990064245A KR 19990064245 A KR19990064245 A KR 19990064245A KR 1019980702733 A KR1019980702733 A KR 1019980702733A KR 19980702733 A KR19980702733 A KR 19980702733A KR 19990064245 A KR19990064245 A KR 19990064245A
Authority
KR
South Korea
Prior art keywords
image
light source
background
point light
video data
Prior art date
Application number
KR1019980702733A
Other languages
English (en)
Other versions
KR100495191B1 (ko
Inventor
에츠로 사이토
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR19990064245A publication Critical patent/KR19990064245A/ko
Application granted granted Critical
Publication of KR100495191B1 publication Critical patent/KR100495191B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

촬영 수단을 통해 얻어진 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영한 영역을 검출하고, 그 영역에 또 다른 영상을 삽입하고, 이어서 합성된 영상을 만드는 영상 합성기에는 처리물 영역과 같은 색조를 갖는 광원 영상을 처리물 영역에 형성하는 조명 수단, 광원 영상을 기준으로 처리물 영역에 대해 촬영 수단의 위치 정보를 검출하는 위치 검출 수단, 및 위치 정보를 기준으로 촬영 수단의 위치 변화에 대응해 다른 영상을 변화시키는 영상 제작 수단이 제공된다. 이 방법에서, 촬영 수단의 위치는 광원 영상을 기준으로 검출되고, 삽입된 영상은 촬영 수단의 위치 변화에 따라 변한다. 그러므로, 촬영 수단이 이동될 때, 그 이동에 따라 삽입된 영상도 또한 변하므로, 결과적으로 물리적인 불안정이 느껴지지 않는 영상을 얻을 수 있다.

Description

영상 합성기 및 영상 합성 방법
지금까지는 방송국에서 생방송 카메라에 의해 촬영된 생방송 영상 및 컴퓨터에 의해 제작된 컴퓨터 그래픽 영상이 크로마키 기술을 사용해 함께 합성되었고, 결과의 합성 영상이 방송되었다.
예를 들면, 컴퓨터 그래픽에 의해 제작된 가상 공간에 사람이 나타나도록 크로마키 기술로 영상을 만들 때, 사람은 소정의 색조(예를 들면, 청색 및 녹색과 같이 사람의 영상에 포함되지 않은 색깔)로 배경 앞에 서있게 되어 촬영된다. 이때, 키(key) 신호는 배경의 색조로 비디오 신호에서 만들어지고, 키 신호를 근거로, 배경은 컴퓨터 그래픽에 의해 제작된 영상으로 대치된다. 이는 컴퓨터 그래픽 영상과 사람을 함께 합성시키고 사람이 컴퓨터 그래픽에 의해 제작된 가상 공간에 주어진 것과 같은 영상을 제공하는 것을 가능하게 한다.
부수적으로, 크로마키 기술을 사용하는 종래의 영상 합성기에서, 카메라가 이동될 때, 합성된 배경(즉, 상술된 예에서 컴퓨터 그래픽에 의해 제작된 영상)은 카메라의 이동에 대응하여 변하지 않는 불편한 점이 있다. 합성된 배경의 영상이 카메라의 이러한 이동에 대응해 자연스럽게 변하도록 영상 합성이 실행될 수 있으면, 이러한 종류의 영상 합성기에 의해 합성된 영상은 보다 사실적으로 이루어질 수 있는 것으로 믿어진다.
본 발명은 영상 합성기에 관한 것으로, 예를 들면 생방송 카메라에 의한 영상 및 컴퓨터 그래픽에 의한 영상이 방송국 등에서 크로마키(chromakey) 기술을 사용해 실시간에서 함께 합성되는 경우에 적절히 적용가능하다.
도 1은 제 1 실시예에 따른 영상 합성기의 구성을 도시하는 블록도.
도 2는 점 광원에 대한 식별 코드를 설명하는데 사용되는 도면.
도 3은 키(key) 신호 K1 및 K2를 설명하는데 사용되는 도면.
도 4는 배경 소스 비디오 신호의 영상 변환을 설명하는데 사용되는 비디오 영상도.
도 5는 영상 합성기에 의해 만들어진 합성 비디오 신호를 설명하는데 사용되는 비디오 영상도.
도 6은 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 7은 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 8은 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 9는 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 10은 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 11은 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 12는 제 1 실시예에 따라 비디오 카메라의 위치 정보(거리, 경사도, 및 위치)를 검출하는 방법을 설명하는데 사용되는 블록도.
도 13은 점 광원의 검출을 설명하는데 사용되는 도면.
도 14는 제 2 실시예에 따른 영상 합성기의 구성을 도시하는 블록도.
도 15는 기준점 광원의 검출을 설명하는데 사용되는 도면.
도 16은 앞에서 촬영된 배경판을 설명하는데 사용되는 도면.
도 17은 기준점 광원의 검출을 설명하는데 사용되는 도면.
도 18은 기준점 광원이 필드각(field angle) 밖에 있는 경우를 설명하는데 사용되는 도면.
도 19는 프레임(frame) 메모리의 동작을 설명하는데 사용되는 도면.
도 20은 3차원 좌표를 설명하는데 사용되는 도면.
도 21은 프레임 메모리와 모니터 화면 사이의 대응 관계를 설명하는데 사용되는 도면.
도 22는 제 2 실시예에 따라 판독 어드레스를 계산하는 방법을 도시하는 흐름도.
도 23은 점 광원의 검출된 좌표를 설명하는데 사용되는 도면.
본 발명은 상술된 점들을 고려해 이루어진 것으로, 본 발명의 목적은 간단한 구조로 합성된 배경 영상이 촬영 수단의 이동에 대응해 자연스럽게 변화될 수 있는 영상 합성기를 제공하는 것이다.
이러한 문제점을 해결하기 위한 본 발명에서, 촬영 수단을 통해 얻어진 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영하는 영역을 검출하고, 그 영역에서 또 다른 영역을 삽입하고, 또한 합성된 영상을 만드는 영상 합성기에서는 처리물 영역과 같은 색조를 갖는 광원 영상을 처리물 영역에 형성하는 조명 수단, 광원 영상을 기준으로 처리물 영역에 대해 촬영 수단의 위치 정보를 검출하는 위치 검출 수단, 및 위치 정보를 기준으로 촬영 수단의 위치 변화에 대응해 다른 영상을 변화시키는 영상 제작 수단을 갖춘 합성기가 제공된다.
이 방법으로, 처리물 영역에 대한 촬영 수단의 위치는 광원 영상을 기준으로 검출되고, 촬영 수단의 검출 위치에서의 변화에 따라 삽입된 또 다른 영상이 변화된다. 그러므로, 촬영 수단이 이동될 때, 삽입된 영상은 또한 그 이동에 따라 변화되므로, 결과적으로 물리적인 불안정이 느껴지지 않는 합성 영상이 얻어질 수 있다. 이 방법이 행해지면, 합성된 배경 영상이 촬영 수단의 이동에 대응해 자연스럽게 변화될 수 있는 영상 합성기가 간단한 구조로 실현될 수 있다.
부가하여, 본 발명에서, 입력 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영하는 영역을 검출하고, 그 영역에서 또 다른 영역을 삽입하고, 또한 합성된 영상을 만드는 영상 합성기에서는 입력 비디오 데이터를 만들 때, 처리물 영역과 같은 색조를 갖는 다수의 광원 영상을 처리물 영역에 형성하는 조명 수단; 입력 비디오 데이터로부터 처리물 영역을 검출하고 기준에 되는 처리물 영역에 형성된 다수의 광원 영상 중 4개의 광원 영상의 위치를 검출하는 위치 검출 수단; 위치 검출 수단에 의해 검출된 광원 영상의 위치 정보를 근거로, 처리물 영역에 삽입된 배경 소스 비디오 데이터를 3차원적으로 영상-변환시키는 영상 변환 수단; 및 영상 변환 수단에 의해 영상-변환된 배경 소스 비디오 데이터를 처리물 영역에 대응하는 입력 비디오 데이터의 영역과 합성하는 합성 수단을 갖춘 영상 합성기가 제공된다.
이 방법으로, 기준이 되는 4개 광원 영상의 위치 정보가 검출되고, 위치 정보를 근거로 삽입되는 배경 소스 비디오 데이터가 3차원적으로 영상-변환된다. 그러므로, 4개의 광원 영상만이 검출되면, 촬영 수단이 이동될 때에도 그 이동에 따라 변하는 배경 소스 비디오 데이터가 만들어질 수 있으므로, 결과적으로 물리적인 불안정이 느껴지지 않는 영상이 얻어질 수 있다. 이 방법이 행해지면, 합성된 배경 영상이 촬영 수단의 이동에 대응해 자연스럽게 변화될 수 있는 영상 합성기가 더 간단한 구조로도 실현될 수 있다.
이후에는 본 발명의 실시예가 도면을 참고로 설명된다.
(1) 제 1 실시예
(1-1) 영상 합성기의 전체적인 구성
도 1에서, 참고 번호(1)은 일반적으로 제 1 실시예에 따른 영상 합성기를 나타내는 것으로, 사람과 같은 피사체를 촬영하는 비디오 카메라(2), 피사체의 배경이 되는 배경판(3)상에 점 광원을 투사하는 프로젝터 유닛(projector unit)(4), 및 비디오 카메라(2)에 의해 촬영된 비디오 신호(V1)로부터 합성된 영상을 만드는 영상 처리부(5)로 대략 구성된다.
이 영상 합성기(1)는 배경판(3)와 함께 배경판(3) 앞에 서있는 아나운서를 촬영하여, 예를 들면 컴퓨터 그래픽으로 만들어진 가상 공간의 영상 및 배경판(3)을 대신해 또 다른 위치에서 함께 촬영된 화면의 영상을 합성하고, 그에 의해 아나운서가 실제로 스튜디오 이외의 다른 장소에서 또는 가상 공간에 있는 것처럼 합성된 영상을 만든다.
이 영상 합성기(1)에서 사용되는 배경판(3)은 배경판(3) 앞에 서있는 아나운서와 같은 파사체가 갖지 않는 단일 색깔(예를 들면, 청색이나 녹색)로 염색되고, 그에 의해 피사체와 배경은 색깔로 식별될 수 있다.
프로젝터 유닛(4)은 수평 및 수직 방향으로 소정의 피치(pitch) 간격에 매트릭스 형태로 형성된 다수의 점 광원(P11) 내지 (Pnn)을 배경판(3)상에 투사하는 유닛이다. 이 경우에, 점 광원(P11) 내지 (Pnn)의 광색은 배경판(3)과 같은 색조로, 예를 들면 청색이나 녹색으로 설정된다. 다수의 점 광원(P11) 내지 (Pnn) 중에 대략 배경판(3)의 중심에 투사된 점 광원(P0)은 기준점 광원으로 설정된다.
이 영상 합성기(1)에서, 이 기준점 광원(P0)의 위치는 3차원 공간의 원점으로 설정되고, 3차원 좌표계는 기준점 광원(P0)에 대해 수평 방향을 x축으로, 수직 방향을 y축으로, 또한 깊이 방향을 z축으로 정의한다. 비디오 카메라(2)의 위치는 이 3차원 좌표계에 따라 검출된다. 부가하여, 이 영상 합성기(1)에서는 배경과 합성된 영상이 비디오 카메라(2)의 검출된 위치를 근거로 변형되고, 그에 의해 배경 영상도 또한 비디오 카메라(2)의 이동에 대응해 자연스럽게 변화된다.
프로젝터 유닛(4)에서, 점 광원(P11) 내지 (Pnn)이 투사될 때, 점 광원(P11) 내지 (Pnn)은 비디오 카메라(2)의 프레임(frame) 타이밍과 동기화하여 on 및 off 상태로 된다. 이때, 광원-on 상태와 광원-off 상태는 1 및 0에 의해 표시되는 것으로 가정한다. 도 2에 도시된 바와 같이, 점 광원(P11) 내지 (Pnn)은 동시에 on 또는 off 상태로 되지 않고, 5개 프레임이 한 싸이클로 각 점 광원에 대해 달라지도록 on 또는 off 상태로 되고, 그에 의해 점 광원(P11) 내지 (Pnn)은 점 광원이 on 및 off 상태로 되는 방법에 의해 식별될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 점 광원이 5개 프레임에 대해 광원-off -> 광원-off -> 광원-on -> 광원-off -> 광원-on이면, 이는 점 광원(P11)으로 식별될 수 있다.
이 방법으로 on 및 off 되는 점 광원(P11) 내지 (Pnn)을 투사하기 위해, 영상 처리부(5)의 시스템 제어기(6)는 신호 레벨이 제 1 프레임의 타이밍에 상승되는 기준 펄스 신호(SP)를 프로젝터 유닛(4)에 공급한다. 그러므로, 이 기준 펄스 신호(SP)를 근거로, 프로젝터 유닛(4)은 도 2에 도시된 바와 같이 5개의 프레임을 한 싸이클로 서로 독립적으로 점 광원(P11) 내지 (Pnn)을 on 및 off시킨다. 점 광원을 on 및 off 시키는 도 2에 도시된 방법은 식별 정보를 나타내므로, 이 방법은 다음의 설명에서 식별 코드로 칭하여짐을 주목한다.
부수적으로, 이후 설명될 카메라 위치 및 광학축 검출 회로(7)는 점 광원이 on 및 off 되는 방법으로 기준점 광원(P0)을 검출하기 때문에, 메모리에 앞서 저장된 이 식별 코드를 포착한다. 카메라 위치 및 광학축 검출 회로(7)는 기준점 광원(P0)을 검출할 때 5개 프레임 싸이클의 시작을 알 필요가 있으므로, 카메라 위치 및 광학축 검출 회로(7)에는 또한 시스템 제어기(6)에 의해 기준 펄스 신호(SP)가 공급된다.
이 영상 합성기(1)에서, 비디오 카메라(2)로 촬영되는 사람과 배경으로 구성된 비디오 신호(V1)는 영상 처리부(5)의 크로마키(chromakey) 회로(8)와 믹서(mixer) 회로(9)로 출력된다. 또한, 비디오 카메라(2)는 줌(zoom) 정보와 같이 피사체가 촬영된 크기의 정보를 영상 처리부(5)의 시스템 제어기(6)로 출력한다.
영상 처리부(5)의 시스템 제어기(6)는 이 영상 합성기의 동작을 제어하는 제어 수단이다. 상술된 바와 같이, 시스템 제어기(6)는 기준 펄스 신호(SP)를 프로젝터 유닛(4)에 전달하고, 또한 기준 펄스 신호(SP)를 줌 정보(ZM)와 함께 카메라 위치 및 광학축 검출 회로(7)에 전달한다. 시스템 제어기(6)는 이후 설명될 3차원 변환 어드레스 연산 회로(10)에도 줌 정보(ZM)을 출력함을 주목한다.
한편, 비디오 신호(V1)가 공급되는 크로마키 회로(8)는 비디오 신호(V1)로부터 배경판(3)의 색조에 대응하는 칼라 신호를 추출하여, 칼라 신호를 소정의 한계값과 비교하고, 그에 의해 비디오 신호(V1)에서 배경 부분을 나타내는 키 신호(K1)를 만들어 카메라 위치 및 광학축 검출 회로(7)에 출력한다. 또한, 크로마키 회로(8)는 키 신호(K1)를 반전시키고, 그에 의해 비디오 신호(V1)에서 사람 부분을 나타내는 키 신호(K2)를 만들어 믹서 회로(9)에 출력한다.
여기서는 비디오 신호(V1)와 키 신호(K1) 및 (K2)의 영상 도면이 도 3에 도시된다. 도 3a에 도시된 바와 같이, 비디오 카메라(2)는 배경판(3)과 함께 피사체가 되는 사람을 촬영하므로, 비디오 신호(V1)는 사람의 영상 부분(a)과 배경판(3)의 영상 부분(b)을 포함한다. 이 경우, 배경판(3)이 청색 또는 녹색과 같은 특정한 색깔로 지정되었다는 사실로부터, 배경판(3)의 색조에 대응하는 색깔 신호가 비디오 신호(V1)로부터 추출되어 한계값과 비교되면, 비디오 신호(V1)의 배경 부분(b)에서 신호 레벨이 예를 들면, 1로 되는 키 신호(K1)는 도 3b에 도시된 바와 같이 쉽게 만들어질 수 있다. 부가하여, 이 키 신호(K1)가 반전되면, 비디오 신호(V1)의 사람 부분(a)에서 신호 레벨이 예를 들면, 1로 되는 키 신호(K2)는 도 3c에 도시된 바와 같이 쉽게 만들어질 수 있다.
카메라 위치 및 광학축 검출 회로(7)는 비디오 신호(V1)로부터 키 신호(K1)의 신호 레벨이 1로 되는 영역을 추출하고, 그에 의해 배경 부분으로만 구성된 비디오 신호를 만든다. 이때, 카메라 위치 및 광학축 검출 회로(7)는 내부 메모리에 저장된 기준 펄스 신호(SP)와 식별 코드를 근거로 배경 부분으로만 구성된 비디오 신호로부터 점 광원(P11) 내지 (Pnn)의 위치를 검출한다. 이어서, 카메라 위치 및 광학축 검출 회로(7)는 검출된 점 광원(P11) 내지 (Pnn) 중에서 화면의 중앙 위치에 인접한 4개의 점 광원을 추출한다. 이들 4개의 점 광원과 줌 정보(ZM)를 근거로, 카메라 위치 및 광학축 검출 회로(7)는 배경판(3)에 대한 비디오 카메라(2)의 광학축(O)의 수직 및 수평 경사, 즉 3차원 좌표계의 X축과 Y축 주위의 각도(θx) 및 (θy), 비디오 카메라(2)에서 배경판(3)까지의 거리(L), 및 기준점 광원(P0)에 대한 카메라(2)의 위치(즉, 원점으로 기준점 광원(P0)을 갖는 3차원 좌표계에서 위치 좌표(X, Y, Z))를 계산한다. 계산된 매개변수의 정보는 3차원 변환 어드레스 연산 회로(10)에 검출 데이터(S1)로 출력된다.
시스템 제어기(6)로부터 공급된 줌 정보(ZM)와 이 검출 데이터(S1)를 근거로, 3차원 변환 어드레스 연산 회로(10)는 합성된 배경 영상을 비디오 카메라(2)의 위치에 따라 3차원적으로 변형시키는 판독 어드레스를 발생하고, 판독 어드레스(S2)를 프레임 메모리(11)에 출력한다. 즉, 3차원 변환 어드레스 연산 회로(10)는 배경 영상이 비디오 카메라(2)의 위치로부터 보여지는 것처럼 영상을 만들게 되므로, 이러한 3차원 영상 변환을 실행하기 위해 필요한 판독 어드레스를 만들고 이를 프레임 메모리(11)에 출력한다.
비디오 테이프 기록계(VTR)(12)에는 배경 영상(예를 들면, 컴퓨터 그래픽으로 제작된 영상이나 또 다른 장소에서 촬영된 화면 영상)으로 합성된 영상이 기록된 비디오 테이프가 장착된다. 비디오 테이프 기록계(12)는 비디오 테이프를 재생시키고, 그에 의해 합성하는데 사용되는 배경 영상의 비디오 신호(이후, 배경 소스 비디오 신호라 칭하여지는)(V2)를 출력한다. 배경 소스 비디오 신호(V2)는 상술된 프레임 메모리(11)에 공급되고, 프레임 메모리(11)내의 저장 영역에 순차적으로 기록된다.
3차원 변환 어드레스 연산 회로(10)로부터 공급된 판독 어드레스(S2)를 근거로, 프레임 메모리(11)는 저장 영역에 기록된 배경 소스 비디오 신호(V2)를 순차적으로 판독하고, 그에 의해 비디오 카메라(2)의 위치에 따라 3차원적으로 변형된 배경 소스 비디오 신호(V3)를 만들어 믹서 회로(9)로 출력한다. 예를 들면, 도 4a에 도시된 바와 같이, 배경 소스 비디오 신호(V2)가 미술 박물관의 벽에 걸려있는 그림을 촬영한 비디오 신호이고 비디오 카메라(2)의 위치는 또한 대각선으로 배경판(3)의 전방 좌측에 있는 경우, 프레임 메모리(11)는 도 4b에 도시된 바와 같이, 그림이 대각선으로 전방 좌측으로부터 촬영된 것처럼 판독 어드레스(S2)를 근거로 하는 판독 처리에 의해 비디오 신호(V2)를 비디오 신호(V3)로 변형시킨다.
믹서 회로(9)는 키 신호(K2)의 신호 레벨이 1일 때 비디오 신호(V1)를 선택하고, 키 신호(K2)의 신호 레벨이 0일 때 배경 소스 비디오 신호(V3)를 선택하여, 비디오 신호(V1)와 배경 소스 비디오 신호(V3)를 함께 합성한다. 이는 도 5에 도시된 바와 같이 스튜디오에 있는 아나운서가 미술 박물관 앞에 있고 전방 좌측으로부터 촬영된 것같은 비디오 신호(V4)를 만들 수 있다.
믹서 회로(9)에서의 합성 처리는 다음의 식으로 표시됨을 주목한다:
(1-2) 카메라 위치 및 광학축의 검출 알고리즘:
여기서는 순차적으로 카메라 위치 및 광학축의 검출 알고리즘에 대한 설명이 주어진다.
상술된 바와 같이, 배경판(3)상에 매트릭스 형태로 배열된 점 광원을 촬영할 때, 이들이 배경판(3)의 표면에 수직 방향으로 촬영되면, 인접한 점 광원(P1) 내지 (P4)은 도 6에 도시된 바와 같이 직사각형 형태로 촬영된다. 그러므로, 도 7에 도시된 바와 같이, 배경면(3)에서 비디오 카메라(2)의 영상 촬영면까지의 광학 경로 길이가 S로 취해지면, 배경면(3)에서 점 광원(P1)과 (P2) 사이의 공간(M)과 영상 촬영면에서 점 광원(P1)과 (P2)의 영상 사이의 공간(m) 사이에는 다음의 수학식이 얻어질 수 있다.
여기서, f는 비디오 카메라(2)에서 줌 렌즈(13)의 초점 거리이다.
부수적으로, 배경판(3)에서 비디오 카메라(2)의 영상 촬영면까지의 광학 경로 길이(S)는 배경판(3)에서 비디오 카메라(2)까지의 거리(L)(비디오 카메라(2)의 광학축(O)이 배경판(3)과 교차하는 점까지의 거리)와 거의 같다. 그러므로, 수학식 1을 변형하면, 배경판(3)에서 비디오 카메라(2)까지의 거리(L)에 대해 다음의 수학식이 얻어질 수 있다.
그러므로, 비디오 신호(V1)로부터 추출된 4개의 점 광원간의 거리(m), 줌 렌즈(13)의 줌 정보(ZM)로부터 얻어진 초점 거리(f), 및 소정의 피치 간격으로 배열된 점 광원간의 거리(M)를 근거로, 수학식 3의 계산이 실행되고, 그에 의해 배경판(3)에서 비디오 카메라(2)까지의 거리(L)가 얻어질 수 있다.
한편, 도 8에 도시된 바와 같이, 비디오 카메라(2)가 배경판(3)에 대해 기울어진 경우에, 비디오 카메라(2)의 영상은 도 9에 도시된 바와 같이 점 광원(P1) 내지 (P4)의 영상이 직사각형 형상에서 변형된 상태로 관찰된다. 이 경우에는 직사각형 형상을 형성하는 4개 점의 점 광원 영상을 근거로, 수직 방향으로 연속된 점 광원(P1)과 (P3) 영상간의 거리(m1) 및 점 광원(P2)와 (P4) 영상간의 거리(m2)가 먼저 계산된다. 이어서, (m1) 및 (m2)를 근거로, 비디오 카메라(2)의 광학축(O)과 수직적으로 교차하도록 배열된 경우에서 점 광원 영상간의 거리(m)가 계산된다. 이때, 이 거리(m)은 수학식 3에 대입하여 계산된다. 이는 비디오 카메라(2)가 배경판(3)에 대해 경사진 경우에도 배경판(3)에서 비디오 카메라(2)까지의 거리(L)를 계산하는 것이 가능해지게 할 수 있다.
광학축(O)이 기준인 4개 영상의 좌표값으로 거리를 계산하기 위한 기준이 되는 4개의 점 광원 내부에 주어지는 경우에, 거리(m)는 인접한 점 광원 영상을 함께 연결한 직선을 보간하는 보간(interpolation) 연산 처리에 의해 계산될 수 있고, 광학축(O)이 4개의 점 외부에 주어지는 경우에는 거리(m)이 인접한 점 광원 영상을 함께 연결한 직선을 외삽 처리하는 외삽(extrapolation) 연산 처리에 의해 계산될 수 있다. 또한, 도 10에 도시된 바와 같이, 비디오 카메라(2)가 수평 방향과 수직 방향으로 모두 경사진 경우에, 광학축(O)과 수직으로 교차하도록 배열된 경우에서 점 광원 영상간의 거리(m)는 이들 4개의 점에 의해 형성된 직사각형 형상으로 계산되고, 그에 의해 거리(L)가 계산될 수 있다.
한편, 수평 공간이 광학축(O)에 의해 4개의 점 광원 영상의 내부에서 a:b로 내분된다고 가정하면, 광학축(O)의 수평 경사도(θy)는 다음의 식으로 표시될 수 있다. 그러므로, 광학축(O)의 수평 경사도(θy)는 수학식 4를 사용해 계산될 수 있다.
또한, 광학축(O)의 수직 경사도(θx)에 대해, 인접한 수평 점 광원 영상 사이의 공간이 인접한 수직 점 광원 영상 사이의 공간 대신에 수학식 4에 대입되면, 수직 경사도(θx)가 계산될 수 있다.
더욱이, 광학축(O)이 도 11에 도시된 바와 같이 수평 방향과 수직 방향으로 모두 경사진 경우에, 이들 4개 점으로 형성되는 직사각형 형상에 대해, 수직선 세그먼트(segment)(m1) 및 (m2)가 기준으로 어느 한 점 영상으로 검출되고 수직선 세그먼트(m1) 및 (m2)를 근거로 수학식 4에 의해 표시된 연산 처리가 실행되면, 광학축의 수평 경사도(θy)가 계산될 수 있다.
또한, 반대로, 이들 4개 점으로 형성된 직사각형 영역에 대해, 수평선 세그먼트(m1) 및 (m2)가 기준으로 어느 한 점 영상으로 검출되고 수평선 세그먼트(m1) 및 (m2)를 근거로 수학식 4에 의해 표시된 연산 처리가 실행되면, 광학축의 수직 경사도(θx)가 계산될 수 있다. 더욱이, 광학축(O)이 4개의 점 외부에 주어지는 경우, 수학식 4에 의해 표시된 연산 처리가 이들 4개 점으로 형성된 직사각형에 대해 유사하게 실행되면, 수평 및 수직 경사도 (θy) 및 (θx)가 계산될 수 있다.
이러한 매개변수 계산 알고리즘을 근거로, 카메라 위치 및 광학축 검출 회로(7)는 도 13에 도시된 바와 같이 비디오 신호(V1)로부터 추출된 점 광원의 영상(V1')으로부터, 기준 위치(Q)를 기준으로, 광학축(O)에 대응하는 기준 위치(Q)에 인접하고 또한 수평 및 수직 방향으로 인접한 4개 점의 점 광원 영상(P1) 내지 (P4)를 추출하고, 이들 점 광원 영상(P1) 내지 (P4)의 좌표값을 검출한다.
이때, 카메라 위치 및 광학축 검출 회로(7)는 내부 메모리에 저장된 식별 코드를 기준으로 점 광원 영상을 판단하고, 예를 들면 배경판(3) 앞에 서있는 사람에 의해 점 광원이 부분적으로 가려지더라도 수평 및 수직 방향으로 인접한 4개 점의 점 광원 영상을 확실히 검출한다.
더욱이, 연속적인 프레임 사이에서 선택된 4개 점의 점 광원 영상이 배경판(3) 앞에 서있는 사람의 이동이나 비디오 카메라(2)의 이동으로 인해 더 이상 추출될 수 없으면, 다른 점 광원 영상이 처리물로 추출된다.
또한, 검출된 4개의 점 광원 영상 중 임의의 영상이 광원-off 상태로 할당되는 프레임에서, 카메라 위치 및 광축 검출 회로(7)는 예를 들면, 이전 및 이후 프레임을 사용하는 보간 연산 처리에 의해, 또는 필요할 때 다른 점 광원 영상을 선택함으로서 각 프레임에 대해 배경판(3)에서 인접한 4개의 점 광원 영상을 추출한다.
이 방법으로 배경판(3)에서 수평 및 수직 방향으로 인접한 4개의 점 광원 영상이 검출되면, 카메라 위치 및 광학축 검출 회로(7)는 비디오 카메라(2)로부터 구해진 줌 정보(ZM)를 참고함으로서 기준 위치(Q)를 기준으로 상술된 보간 및 외삽법 산출 처리를 실행하게 되고, 비디오 카메라(2)의 광학축(O)이 배경판(3)과 교차하는 점까지의 거리(L)와, 수직 및 수평 경사도(θx) 및 (θy)를 검출하게 된다.
카메라 위치 및 광학축 검출 회로(7)는 또한 검출을 위해 사용된 점 광원에 대한 식별 코드로부터 기준점 광원(P0)에 대한 이들 점 광원의 좌표값(즉, 기준점 광원(P0)을 원점으로 하는 3차원 좌표)을 검출한다. 이 좌표값, 검출된 거리(L), 및 검출된 경사도(θx) 및 (θy)로부터, 카메라 위치 및 광학축 검출 회로(7)는 비디오 카메라(2)의 좌표값(X, Y, Z)를 계산한다.
카메라 위치 및 광학축 검출 회로(7)는 비디오 신호(V1)내의 각 필드에 대해 좌표값 검출 처리 및 거리와 경사도 검출 처리를 반복하고, 처리의 결과로 얻어진 검출 데이터 S1(X, Y, Z, θx, θy, 및 L)을 3차원 변환 어드레스 연산 회로(10)에 출력한다.
(1-3) 동작과 유리한 효과:
상술된 구성에서, 이 영상 합성기(1)는 먼저 프로젝터 유닛(4)을 구동시키고, 그에 의해 촬영 피사체가 되는 사람의 배경에 설치된 배경판(3)에 점 광원(P11) 내지 (Pnn)을 투사한다. 이때, 점 광원(P11) 내지 (Pnn)은 점 광원(P11) 내지 (Pnn)이 이후 식별될 수 있도록 고정된 패턴으로 on 및 off 된다.
점 광원(P11) 내지 (Pnn)이 이 방법으로 배경판(3)에 투사된 상태로, 피사체가 되는 사람은 비디오 카메라(2)에 의해 촬영되고, 결과의 비디오 신호(V1)는 영상 처리부(5)로 입력된다. 비디오 카메라(2)의 촬영에 사용되는 줌 정보(ZM)도 또한 영상 처리부(5)로 입력된다.
영상 처리부(5)에서는 비디오 신호(V1)가 먼저 크로마키 회로(8)에 입력된다. 크로마키 회로(8)는 비디오 신호(V1)로부터 배경판(3)의 색조에 대응하는 칼라 신호를 추출하여 소정의 한계값과 칼라 신호를 비교하고, 그에 의해 비디오 신호(V1)의 배경 부분을 나타내는 키 신호(K1)와, 비디오 신호(V1)의 피사체 부분을 나타내는 키 신호(K2)를 만든다.
카메라 위치 및 광학축 검출 회로(7)는 먼저 이 키 신호(K1)와 비디오 신호(V1)를 수신하고, 키 신호(K1)를 근거로 비디오 신호(V1)로부터의 배경 부분만으로 구성된 비디오 신호를 만든다. 이어서, 카메라 위치 및 광학축 검출 회로(7)는 내부 메모리에 저장된 점 광원의 on 및 off 정보로 구성된 식별 코드를 판독하고, 식별 코드 및 기준 펄스 신호(SP)를 근거로 배경 부분만으로 구성된 비디오 신호로부터 점 광원(P11) 내지 (Pnn)의 위치를 검출한다. 순차적으로, 검출된 점 광원(P11) 내지 (Pnn)으로부터, 카메라 위치 및 광학축 검출 회로(7)는 비디오 카메라(2)의 광학축(O)에 대응하는 디스플레이 화면상에서 기준 위치(Q)에 가장 인접하고 또한 배경판(3)에서 수평 및 수직 방향으로 인접한 4개의 점 광원을 추출한다. 추출된 4개의 점 광원의 좌표값과 줌 정보(ZM)를 근거로, 카메라 위치 및 광학축 검출 회로(7)는 상술된 수학식 3 및 수학식 4의 계산을 실행함으로서 비디오 카메라(2)의 광학축(O)이 배경판(3)과 교차하는 점까지의 거리(L), 광학축(O)의 수평 경사도(θy), 및 광학축(O)의 수직 경사도(θx)를 계산한다.
이 방법으로, 카메라 위치 및 광학축 검출 회로(7)는 기준인 식별 코드로 점 광원 영상을 판단하고, 그에 의해 예를 들면, 배경판(3) 앞에 서있는 사람에 의해 점 광원이 부분적으로 가려지더라도 거리(L)의 계산에 필요한 4개의 점 광원 영상 등이 확실하게 검출될 수 있다.
부가하여, 거리(L) 등을 계산할 때, 거리(L) 및 경사도(θx) 및 (θy)는 비디오 카메라(2)로부터 얻어진 줌 정보(ZM)를 참고하고 기준 위치(Q)를 기준으로 보간 및 외삽법 연산 처리를 실행함으로서 쉽게 계산될 수 있다.
거리(L)와 경사도(θx) 및 (θy)가 이 방법으로 계산되면, 카메라 위치 및 광학축 검출 회로(7)는 거리(L) 등을 검출하는데 사용된 점 광원 영상의 위치를 근거로, 기준점 광원(P0), 즉 3차원 좌표계의 원점에 대한 비디오 카메라(2)의 위치 좌표(X, Y, Z)를 계산하게 된다.
카메라 위치 및 광학축 검출 회로(7)에 의해 계산된 이들 매개변수(X, Y, Z, θx, θy, 및 L)와 시스템 제어기(6)로부터 공급된 줌 정보(ZM)를 근거로, 3차원 변환 어드레스 연산 회로(10)는 배경 영상(V2)이 비디오 카메라(2)의 위치로부터 보여지는 것과 같은 영상을 만들도록 3차원 변환 판독 어드레스(S2)를 발생한다.
이 판독 어드레스(S2)를 근거로, 프레임 메모리(11)는 저장된 배경 소스 비디오 신호(V2)를 판독하고, 그에 의해 배경 영상이 비디오 카메라(2)의 위치로부터 보여지는 것과 같은 배경 소스 비디오 신호(V3)를 만든다. 그러므로, 배경 소스 비디오 신호(V3)와 비디오 신호(V1)가 키 신호(K2)를 근거로 함께 합성되면, 영상은 피사체가 되는 사람이 스튜디오에 있는 것이 아니고 컴퓨터 그래픽에 의해 얻어진 가상 공간이나 또 다른 위치에 있는 것처럼 만들어질 수 있다.
이 경우에는 배경과 합성된 배경 소스 비디오 신호(V3)가 비디오 카메라(2)의 위치로부터 보여지는 것처럼 3차원 영상 변환이 실행되기 때문에, 물리적인 불안정이 느껴지지 않는 합성 영상이 얻어질 수 있다. 부가하여, 이 영상 합성기(1)에서는 비디오 카메라(2)의 검출된 위치를 근거로 판독 어드레스(S2)가 순차적으로 발생되고, 순차적으로 발생된 판독 신호(S2)를 근거로 배경 소스 비디오 신호(V2)에 영상 변환이 실행된다. 그러므로, 비디오 카메라(2)의 위치가 이동되더라도, 배경은 비디오 카메라(2)의 이동에 따라 변하므로, 물리적으로 불안정이 느껴지지 않는 보다 사실적인 합성 영상이 얻어질 수 있다. 더욱이, 이 영상 합성기(1)에서는 피사체가 되는 사람이 확대 또는 축소되는 경우에서도 비디오 카메라(2)의 줌 정보(ZM)가 판독 어드레스(S2)를 계산하는데 또한 사용되므로, 사람의 확대 또는 축소와 연관되는 물리적인 불안정이 느껴지지 않고 배경 영상이 또한 확대 또는 축소된다.
상술된 구성에 따라, 비디오 카메라(2)의 위치 정보는 배경판(3)에 매트릭스 형태로 투사된 점 광원 영상을 기준으로 검출되고, 이 위치 정보를 기준으로, 시각점이 설정되어 배경 영상이 합성되고, 그에 의해 배경과 합성된 배경 영상은 비디오 카메라(2)의 이동에 대응해 변화될 수 있다. 이 방법으로 행해지면, 합성된 배경 영상이 또한 촬영 수단의 이동에 대응해 자연스럽게 변화될 수 있는 영상 합성기(1)가 간단한 구조로 실현될 수 있다.
(2) 제 2 실시예
(2-1) 영상 합성기의 전체적인 구조
상술된 제 1 실시예에서는 영상 변환을 위한 매개변수(즉, 프레임 메모리내의 판독 어드레스)가 비디오 카메라(2)와 배경판(3) 사이의 기하관계로부터 계산되는 것으로 설명되었지만, 이 제 2 실시예는 비디오 카메라(2)가 이동되면 모니터 화면상에서 기준점 광원이 어느 위치로 이동되었나를 검출하고, 그에 의해 영상 변환을 위한 매개변수를 계산한다.
도 1에 대응하는 부분에는 같은 참고 번호가 적용된 도 14에서, 참고 번호(20)는 일반적으로 제 2 실시예에 따른 영상 합성기를 나타낸다. 이 영상 합성기(20)는 또한 기본적으로 비디오 카메라(2), 프로젝터 유닛(4), 및 영상 처리부(5)로 구성된다. 제 1 실시예의 영상 합성기(1)와 기본적으로 다른 점은 점 광원 좌표 검출 회로(21), 3차원 변환 어드레스 연산 회로(22), 및 화면 어드레스 발생 회로(23)가 새롭게 제공된다는 점이다.
이 영상 합성기(20)에서의 점 광원 좌표 검출 회로(21)는 배경판(2)에 투사된 다수의 점 광원(P11) 내지 (Pnn) 중 기준이 되는 4개의 점 광원의 위치를 비디오 신호(V1)로부터 검출하는 회로이다. 이 영상 합성기(20)에서는 도 15에 도시된 바와 같이 배경판(3)의 중심(B0)을 둘러싼 4개의 점 광원(P43), (P44), (P53), 및 (P54)이 기준점 광원이다. 점 광원 좌표 검출 회로(21)는 비디오 신호(V1)로부터 4개 점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 검출한다.
명확하게 말하면, 점 광원 좌표 검출 회로(21)는 도 16에 도시된 바와 같이 배경판(3)이 앞에서 촬영될 때 필드각(D)의 중심에서 보여지는 4개의 기준점(P43), (P44), (P53), 및 (P54)이 비디오 카메라(2)의 이동에 의해 모니터 화면상에서 어디로 이동되었나를 검출한다. 예를 들어, 비디오 카메라(2)의 촬영에 의해 얻이진 비디오 신호(V1)가 도 17에 도시된 바와 같은 상태에 있다고 가정하면, 점 광원 좌표 검출 회로(21)는 모니터 화면상에 주어진 4개의 기준점(P43), (P44), (P53), 및 (P54)의 위치 좌표를 검출하게 된다.
기준점 광원(P43), (P44), (P53), 및 (P54)이 이동된 장소의 위치가 이 방법으로 검출될 수 있는 경우, 점 광원이 소정의 피치 간격으로 배경판(3)에서 매트릭스 형태로 배열된다는 사실로부터 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치가 미리 알려지기 때문에, 실행되는 3차원 변환의 종류를 알면, 기준점 광원(P43), (P44), (P53), 및 (P54)이 이러한 장소로 이동되었나 여부가 검출될 수 있다. 즉, 비디오 카메라(2)의 이동으로 기준점 광원(P43), (P44), (P53), 및 (P54)에 주어진 3차원 영상 변환에 대한 변환 매트릭스가 검출될 수 있다. 이 변환 매트릭스는 바로 배경 영상을 비디오 카메라(2)의 시각점으로부터 보여지는 영상으로 변환시키는데 필요한 변환 매트릭스이다.
이러한 이유로, 점 광원 좌표 검출 회로(21)는 먼저 비디오 신호(V1)로부터 키 신호(K1)의 신호 레벨이 1로 되는 영역을 추출하고, 그에 의해 배경 부분으로만 구성된 비디오 신호를 만든다. 이어서, 점 광원 좌표 검출 회로(21)는 내부 메모리에 저장된 식별 코드를 판독한다. 이 식별 코드와 기준 펄스 신호(SP)를 근거로, 점 광원 좌표 검출 회로(21)는 배경 부분으로만 구성된 비디오 신호로부터 모니터 화면상에서 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 검출한다. 이때, 도 18에 도시된 바와 같이, 4개의 기준점 광원(P43), (P44), (P53), 및 (P54)은 비디오 카메라(2)의 필드각(D) 외부에 있거나 배경판(3) 앞에 서있는 사람에 의해 가려지므로, 이들이 배경으로만 구성된 비디오 신호 내부에 주어지지 않는 경우, 점 광원 좌표 검출 회로(21)는 비디오 신호에 주어진 다른 점 광원의 위치 좌표를 검출하고, 검출된 위치 좌표를 근거로 보간에 의해 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 검출한다.
점 광원 좌표 검출 회로(21)는 이 방법으로 검출된 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 3차원 변환 어드레스 연산 회로(22)에 검출 데이터(S10)로 출력한다.
3차원 변환 어드레스 연산 회로(22)는 배경판(3)에서 소정의 피치 간격에 매트릭스 형태로 형성된 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 포착한다. 그러므로, 이들 원래 위치 좌표, 점 광원 좌표 검출 회로(21)로부터 공급된 검출 데이터(S10)를 근거로 하는 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표, 및 시스템 제어기(6)로부터 공급된 줌 정보(ZM)를 근거로, 3차원 변환 어드레스 연산 회로(22)는 비디오 카메라(2)가 이동되면 모니터 화면에서 기준점 광원(P43), (P44), (P53), 및 (P54)이 한 장소로 이동되는데 필요한 변환 매트릭스를 계산한다. 이 변환 매트릭스는 비디오 신호(V1)에서 배경과 합성된 배경 영상을 비디오 카메라(2)의 시각점으로부터 보여지는 영상으로 변환시키는 변환 매트릭스와 정확히 동일하다.
3차원 변환 어드레스 연산 회로(22)는 이 변환 매트릭스의 역 매트릭스를 계산하여 화면 어드레스 발생 회로(23)로부터 공급된 래스터(raster) 주사 순서로 화면 어드레스(Xs, Ys)를 역 매트릭스로 곱하고, 그에 의해 프레임 메모리(11)의 판독 어드레스(XM, YM)를 계산하여 이를 프레임 메모리(11)로 출력한다. 변환 매트릭스의 역 매트릭스가 계산되는 이유는 영상 합성기(20)가 배경 소스 비디오 신호(V2)를 변환 매트릭스로 곱하여 3차원 영상 변환을 실행하지 않지만, 배경 소스 비디오 신호(V2)를 메모리에 기록하고 이어서 배경 소스 비디오 신호(V2)를 판독할 때 변환 매트릭스로 도시된 것과 같은 3차원 영상 변환을 실행하기 때문이다.
도 19에 도시된 바와 같이, 프레임 메모리(11)는 비디오 테이프 기록계(12)로부터 공급된 배경 소스 비디오(V2)를 내부 메모리 영역에 순차적으로 기록하고, 3차원 변환 어드레스 연산 회로(22)로부터 공급된 판독 어드레스(XM, YM)를 근거로, 배경 소스 비디오 신호(V2)를 판독하여, 그에 의해 도 4에 도시된 바와 같이 배경 영상이 비디오 카메라(2)의 위치로부터 보여지는 것과 같은 배경 소스 비디오 신호(V3)를 만들어 이를 믹서 회로(9)에 출력한다.
그래서, 제 1 실시예에서와 같이 믹서 회로(9)는 피사체 영역을 나타내는 키 신호(K2)를 근거로 비디오 카메라(2)로 촬영된 비디오 신호(V1)와 3차원 영상 변환이 주어진 배경 소스 비디오 신호(V3)를 선택하여 합성하고, 그에 의해 도 5에 도시된 바와 같이, 비디오 카메라(2)의 위치에 따라 배경 영상이 변형되는 합성 비디오 신호(V4)를 만들 수 있다.
(2-2) 3차원 변환 어드레스 연산 회로에서 판독 어드레스를 만드는 방법:
여기서는 3차원 변환 어드레스 연산 회로(22)에서 판독 어드레스(XM, YM)를 만드는 방법에 대한 설명이 주어진다. 배경 소스 비디오 신호(V2)가 비디오 신호(V1)에서의 배경판(3)에 삽입되기 위해서는 배경 소스 신호(V2)가 배경판(3)이 주어진 3차원 공간에 맵(map)화 되어야 하고, 또한 작동자의 시각점 위치를 기준으로 모니터 화면상에 투사되어야 한다. 이는 배경판(3)이 3차원 공간에서 주어지고 또한 비디오 신호(V1)에서의 배경판(3)은 3차원 공간에 주어진 배경판(3)이 작동자의 시각점 위치를 원점으로 모니터 화면에 투사된 것이기 때문이다. 그러므로, 3차원 변환 어드레스 연산 회로(22)는 3차원 공간으로의 맵핑(mapping)과 3차원 공간에서 2차원 공간으로의 투사를 포함하는 변환 매트릭스를 계산하고, 변환 매트릭스의 역 매트릭스를 계산하고, 또한 판독 어드레스를 제공하여야 한다. 이 점은 이후 명확하게 설명된다.
(2-2-1) 좌표계의 정의:
먼저, 3차원 공간에 대한 좌표계가 도 20a 및 도 20b를 참고로 설명된다. 제 2 실시예에서 사용되는 3차원 좌표계는 모니터 화면의 중심을 원점으로 하는 xyz 직각 좌표계로 정의되어, 도 20a 및 도 20b로 도시된 바와 같이, 모니터 화면의 수평 방향은 x축, 모니터 화면의 수직 방향은 y축, 또한 모니터 화면에 직각인 방향은 z축으로 정의된다. 이 경우에서는 x축에 대해 모니터 화면의 우측 방향이 양의 방향 또한 모니터 화면의 좌측 방향이 음의 방향이고, y축에 대해 모니터 화면의 위방향이 양의 방향 또한 모니터 화면의 아래 방향이 음의 방향이고, 또한 z에 대해 모니터 화면의 깊이 방향이 양의 방향 또한 모니터 화면측(즉, 작동자의 시각점이 주어지는 측)이 음의 방향이다.
또한, 화면 영역 내부의 x축 방향으로, 가상 좌표값이 -4와 +4 사이에서 설정되고, 화면 영역내의 y축 방향으로, 가상 좌표값이 -3과 +3 사이에서 설정된다. 물론, 화면 영역 외부에도 가상 좌표값이 설정된다. 부가하여, 작동작의 시각점 위치(PZ)는 z축상에서 -16에 가상으로 설정된다.
(2-2-2) 3차원 영상 변환에 대한 기본적인 알고리즘:
이제는 배경 소스 비디오 신호(V2)에 3차원 영상 변환 처리(즉, 3차원 공간으로의 맵핑 및 3차원 공간으로부터 모니터 화면 표면으로의 투사)를 실행함으로서, 비디오 신호(V1)에서의 배경판(3)에 삽입되는 배경 소스 비디오 신호(V3)를 만드는 방법에 대한 설명이 주어진다.
먼저, 배경 소스 비디오(V2)는 어떠한 3차원 처리도 실행하지 않고 원래 상태로 프레임 메모리(11)에 저장된다. 이 배경 소스 비디오 신호(V2)는 2차원 비디오 신호이므로, 도 20a에 도시된 바와 같이, 3차원 공간에서는 모니터 화면상에서 위치(M1)에 주어지는 비디오 신호이다.
상술된 바와 같이, 이 배경 소스 비디오 신호(V2)는 3차원 공간에 주어진 배경판(3) 위치에서 좌표-변환되어야 한다. 이제는 배경판(3)이 도 20a에 도시된 바와 같이 z축의 양의 방향에 있고 화면 표면에 대해 약 45° 경사진 위치(M2)에 주어지는 것으로 가정한다. 배경판(3)이 이와 같이 위치(M2)에 주어지면, 배경 소스 비디오 신호(V2)에 대해 z축의 양의 방향으로의 평행 이동과 y축에서 약 45°의 회전 처리가 실행되어야 한다. 이러한 좌표 변환 처리는 3차원 변환 매트릭스(T0)를 사용함으로서 실행될 수 있다. 즉, 3차원 공간에 주어지는 비디오 신호(V2')는 배경 소스 비디오 신호(V2)내의 각 픽셀을 3차원 변환 매트릭스(T0)로 곱함으로서 구해질 수 있다.
이 3차원 변환 매트릭스(T0)는 일반적으로 다음의 식에 의해 나타내질 수 있다:
이 변환 매트릭스(T0)에서 사용되는 변환 매개변수(r11) 내지 (r33)는 x축, y축, 및 z축에서 배경 소스 비디오 신호(V2)를 회전시키기 위한 성분을 포함하는 매개변수, x축 방향, y축 방향, 및 z축 방향에서 배경 소스 비디오 신호(V2)를 상하로 스케일 조정하기 위한 성분을 포함하는 매개변수, 또한 x축 방향, y축 방향, 및 z축 방향에서 배경 소스 비디오 신호(V2)를 기울게하는 성분을 포함하는 매개변수이다. 또한, 변환 매개변수(lx), (ly), 및 (lz)는 x축 방향, y축 방향, 및 z축 방향에서 배경 소스 비디오 신호(V2)의 평행 이동을 이루기 위한 성분을 포함하는 매개변수이다. 변환 매개변수(s)는 비디오 카메라(2)의 줌 정보(ZM)에 의해 결정된 매개변수로, 3차원 공간의 각 축 방향에서 균일하게 전체 배경 소스 비디오 신호(V2)를 확대 또는 축소하기 위한 성분을 포함하는 매개변수이다.
회전 변환과 같은 좌표계와 평행 이동 변환 및 확대-축소 변환과 같은 좌표계가 동일한 하나의 좌표계로 표시되기 때문에, 변환 매트릭스(T0)는 4 x 4 매트릭스가 된다. 일반적으로, 이와 같은 좌표계는 균일 좌표계(homogeneous coordinate system)라 칭하여진다.
이 방법으로 3차원 변환 매트릭스를 사용해 3차원 공간으로 좌표-변환된 배경 소스 비디오 신호(V2')는 비디오 신호(V1)에서의 배경판(3) 위치에 삽입되므로, 작동자의 시각점을 원점으로 모니터 화면상에서 투사 처리가 실행되어야 한다. 즉, 다른 말로 하면, 도 20a에 도시된 바와 같이 3차원 공간에서 위치(M2)에 주어진 배경 소스 비디오 신호(V2')가 z축에서 가상 시각점(PZ)으로부터 관찰될 때 xy 평면으로 투사되는 배경 소스 비디오 신호(V3)가 계산되어야 한다. 이 투사 처리는 투시 변환 매트릭스(P0)를 사용하여 실행될 수 있다. 즉, 3차원 공간에서 주어진 배경 비디오 신호(V2')가 xy 평면으로 투사된 배경 소스 비디오 신호(V3)는 배경 소스 비디오 신호(V2')내의 각 픽셀을 투시 변환 매트릭스(P0)로 곱함으로서 계산될 수 있다.
이 투시 변환 매트릭스(P0)는 일반적으로 다음의 식에 의해 나타내진다:
이 투시 변환 매트릭스(P0)의 매개변수(Pz)는 배경 소스 비디오 신호(V2')가 xy 평면으로 투사될 때 투시 표현을 적용하기 위한 투시값이다. 이 투시값에서는 통상 기준값으로 1/16이 설정된다. 이는 가상 시각점(PZ)의 z 좌표값이 -16임을 의미한다. 이 투시값(Pz)은 또한 작동자의 설정에 의해 소정의 값으로 변화될 수 있음을 주목한다.
이와 같이, 배경 소스 비디오 신호(V2)에 3차원 공간으로의 좌표 변환과 3차원 공간으로부터 xy 평면으로의 투사 처리를 실행함으로서, 비디오 신호(V1)에서 배경판(3) 위치에 배경 소스 비디오 신호(V2)를 삽입하는 것이 가능해진다.
간략하게 말하면, 상술된 변환 처리의 내용은 다음과 같다: 즉, 이 변환 처리는 3차원 변환 매트릭스(T0)에 의해 배경 소스 비디오 신호(V2)로부터 3차원 배경 소스 비디오 신호(V2')가 얻어지는 공간적인 영상 변환 단계와, 투시 변환 매트릭스(P0)에 의해 3차원 배경 소스 비디오 신호(V2')로부터 투시-변환된 배경 소스 비디오 신호(V3)가 얻어지는 투시 변환 단계로 구성된다. 그러므로, 배경 소스 비디오 신호(V2)로부터 투시-변환된 배경 소스 비디오 신호(V3)를 구하기 위한 변환 매트릭스(T)는 3차원 변환 매트릭스(T0)와 투시 변환 매트릭스(P0)를 곱하여 다음의 식에 도시된 바와 같이 나타내진다.
그러므로, 배경 소스 비디오 신호(V2)내의 각 픽셀이 수학식 7에서 도시된 변환 매트릭스(T0)로 곱하여지면, 비디오 신호(V1)의 배경판(3) 위치에 삽입될 수 있는 배경 소스 비디오 신호(V3)가 발생된다.
이 영상 합성기(20)에서, 배경 소스 비디오 신호(V3)가 만들어질 때, 배경 소스 비디오 신호(V2)는 변환 매트릭스(T0)로 곱하여지지 않지만, 실제적으로는 변환 매트릭스(T0)에 도시된 영상 변환이 실행되도록 판독 신호가 판독되고, 판독 어드레스를 근거로, 배경 소스 비디오 신호(V2)가 프레임 메모리(11)에서 판독되고, 그에 의해 영상 변환이 주어진 배경 소스 비디오 신호(V3)가 만들어짐을 주목한다.
즉, 이 영상 합성기(20)에서, 배경 소스 비디오 신호(V2)는 프레임 메모리(11)에 순차적으로 기록되고, 배경 소스 비디오 신호(V2)는 변환 매트릭스(T0)에 의해 도시된 영상 변환이 실행되도록 판독 어드레스를 근거로 판독되고, 그에 의해 비디오 신호(V1)에서 배경판(3)에 배경 소스 비디오 신호(V2)를 삽입할 수 있도록 배경 소스 비디오 신호(V3)를 만든다.
부수적으로, 프레임 메모리(11)에 기록되는 배경 소스 비디오 신호(V2)와 프레임 메모리(11)로부터 판독되는 배경 소스 비디오 신호(V3)는 모두 2차원 비디오 데이터이고, 프레임 메모리(11)는 또한 2차원 데이터를 저장하기 위한 메모리이다. 이러한 이유로, 프레임 메모리(11)에서 비디오 데이터를 판독하는 동작에서 사용되는 판독 어드레스를 계산할 때, 3차원 공간 중 z축 방향으로 주어진 데이터를 계산하기 위한 매개변수는 실질적으로 사용되지 않는다. 그러므로, 수학식 7에서 도시된 변환 매트릭스(T)에서, z축에 주어진 데이터를 계산하기 위한 제 3 행 및 제 3 열의 매개변수는 불필요하다.
즉, 판독 어드레스의 계산을 위해 실제로 필요한 매개변수를 갖는 변환 매트릭스가 T33으로 취해지면, 변환 매트릭스(T33)는 수학식 7에서 제 3 행 및 제 3 열을 제외한 다음의 식으로 나타내진다.
이제는 프레임 메모리(11)로부터 배경 소스 비디오 신호(V2)를 판독하는데 사용되는 판독-어드레스 계산 방법에 대한 설명이 이루어진다. 먼저, 프레임 메모리(11)상의 위치 벡터와 모니터 화면상의 위치 벡터 사이의 관계가 도 21을 참고로 설명된다.
먼저, 프레임 메모리에서 2차원 어드레스와 위치 벡터를 각각 (XM, YM) 및 [XM, YM]이라 놓는다. 또한, 모니터 화면에서 어드레스와 위치 벡터를 각각 (XS, YS) 및 [XS, YS]라 놓는다. 순차적으로, 프레임 메모리(11)상의 2차원 위치 벡터[XM, YM]가 균일 좌표계에 의해 표시되면, 이는 벡터 [xm, ym, H0]으로 나타내질 수 있다. 모니터 화면상의 위치 벡터[XS, YS]가 균일 좌표계에 의해 표시되면, 이는 벡터 [xs, ys, 1]로 나타내질 수 있다. 이 균일 좌표계의 매개변수(H0)는 벡터의 크기를 나타내는 매개변수이다.
변환 매트릭스(T33)가 프레임 메모리(11)상의 위치 벡터[xm, ym, H0]에서 실행되면, 프레임 메모리(11)상의 위치 벡터[xm, ym, H0]는 모니터 화면상의 위치 벡터[xs, ys, 1]로 변환된다. 그러므로, 프레임 메모리(11)상의 위치 벡터[xm, ym, H0]와 모니터 화면상의 위치 벡터[xs, ys, 1] 사이의 수학식은 다음의 식으로 나타내질 수 있다:
프레임 메모리(11)상의 위치 벡터[xm, ym, H0]에서 사용되는 균일 좌표계의 매개변수 "H0"와 모니터 화면상의 위치 벡터[xs, ys, 1]에서 사용되는 균일 좌표계의 매개변수 "1" 사이의 관계는 변환 매트릭스(T33)로, 프레임 메모리(11)상의 위치 벡터[xm, ym]가 모니터 화면상의 위치 벡터[xs, ys]로 변환되고, 또한 프레임 메모리(11)상의 위치 벡터[xm, ym]의 크기 "H0"가 모니터 화면상의 위치 벡터[xs, ys]의 크기 "1"로 변환된 것임을 주목한다.
부수적으로, 이 영상 합성기(20)와 유사하게, 배경 소스 비디오 신호(V2)에 공간적인 변환 처리가 실행되도록 변환 매트릭스(T33)에 대응하는 판독 어드레스가 프레임 메모리(11)에 공급되는 장치에서는 프레임 메모리(11)상의 한 점에 대응하는 모니터 화면상의 점을 계산할 필요가 없지만, 모니터 화면상의 한 점에 대응하는 프레임 메모리(11)상의 점은 계산될 필요가 있다.
즉, 수학식 9로부터 변형된 다음의 식에 도시되는 바와 같이, 모니터 화면상의 위치 벡터[xs, ys, 1]를 기준으로, 변환 매트릭스(T33)의 역 매트릭스(T33 -1)를 사용함으로서 프레임 메모리(11)상의 위치 벡터[xm, ym, H0]를 계산할 필요가 있다.
이제는 이 개념을 근거로, 프레임 메모리상의 2차원 위치 벡터[XM, YM]을 실제로 계산하는 방법에 대한 설명이 이후 이루어진다. 먼저, 변환 매트릭스(T33)는 다음의 식에 도시된 바와 같이 매개변수(a11) 내지 (a33)에 의해 표시된다.
역변환 매트릭스(T33 -1)는 다음의 식에 도시된 바와 같이 매개변수(b11) 내지 (b33)에 의해 표시된다.
이와 같이 정의된 역 매트릭스(T33 -1)를 상술된 수학식 10에 대입하여 전개하면, 다음의 식이 주어진다:
수학식 13으로부터, 프레임 메모리(11)상의 위치 벡터[xm, ym, H0]는 다음의 식에 도시된 바와 같이 나타내진다:
이제, 이 방법으로 계산된 프레임 메모리(11)상의 균일 좌표계의 위치 벡터[xm, ym, H0]가 프레임 메모리상의 2차원 위치 벡터[XM, YM]로 변환되는 경우에서, 변환은 다음과 같이 실행된다: 즉, 2차원 위치 벡터[XM, YM]가 균일 좌표계로 변환될 때 사용되는 매개변수(H0)는 균일 좌표계의 위치 벡터[xm, ym]의 크기를 나타내는 매개변수이다. 그러므로, 균일 좌표계의 위치 벡터를 2차원 위치 벡터로 변환시키기 위해, 이는 균일 좌표계의 위치 벡터 방향을 나타내는 매개변수(xm) 및 (ym)가 균일 좌표계의 위치 벡터 크기를 나타내는 매개변수(H0)로 표준화되면 충분하다. 그러므로, 프레임 메모리상의 2차원 위치 벡터의 매개변수(XM) 및 (YM)는 다음의 식으로 계산될 수 있다:
또한, 모니터 화면상의 균일 좌표계의 위치 벡터[xs, ys, 1]가 프레임 메모리상의 2차원 위치 벡터[XS, YS]로 변환되는 경우에서, 변환은 같은 방법으로 실행될 수 있다. 이는 균일 좌표계의 위치 벡터 방향을 나타내는 매개변수(xs) 및 (ys)가 균일 좌표계의 위치 벡터 크기를 나타내는 매개변수 "1"로 표준화되면 충분하다. 그러므로, 모니터 화면상의 2차원 위치 벡터의 매개변수(XS) 및 (YS)는 다음의 식에 의해 계산될 수 있다:
그러므로, 수학식 14와 수학식 16을 수학식 15로 대입하면, 다음의 식에 의해 나타내질 수 있는 프레임 메모리(11)상의 2차원 위치 벡터의 매개변수(XM) 및 (YM)가 산출된다:
수학식 17 및 수학식 18로, 프레임 메모리(11)상의 위치 벡터[XM, YM]가 계산될 수 있고, 또한 프레임 메모리상의 판독 어드레스(XM, YM)가 계산될 수 있다.
이제는 수학식 17 및 수학식 18에서 사용되는 역 매트릭스(T33 -1)의 매개변수가 계산된다. 역 매트릭스(T33 -1)의 매개변수(b11) 내지 (b33)는 변환 매트릭스(T33)의 매개변수(a11) 내지 (a33)을 사용해 다음의 식에서 도시된 바와 같이 나타내질 수 있다.
여기서, 매개변수(W1)는 다음의 식으로 나타내지는 값이다:
수학식 11로부터, 매개변수(a11) 내지 (a33)는 다음의 식에 의해 나타내진다:
그러므로, 수학식 29 내지 31이 수학식 19 내지 28에 대입되면, 수학식 19 내지 28은 다음의 식에서 도시된 바와 같이 변형될 수 있다:
그러므로, 수학식 32 내지 41이 수학식 17 및 18에 대입되면, 프레임 메모리(11)의 판독 어드레스(XM, YM)가 다음의 식에 의해 계산될 수 있다:
매개변수(H0)는 수학식 14를 수학식 38 내지 40에 대입함으로서 다음의 식에 의해 나타내질 수 있음을 주목한다.
이와 같이, 프레임 메모리(11)의 판독 어드레스(XM, YM)는 변환 매트릭스(T33)의 매개변수(r11내지 r33, lx, ly, lz, s, 및 Pz)로 나타내질 수 있다. 그러므로, 화면 어드레스(XS, YS)가 모니터 화면의 래스터 주사 순서에 대응하도록 각 픽셀에 대해 수학식 42 내지 44에 공급되면, 공급된 화면 어드레스에 대응하는 프레임 메모리상의 판독 어드레스(XM, YM)는 순서대로 계산될 수 있다.
(2-2-3) 변환 매트릭스(T33)를 계산하는 방법:
상술된 바와 같이, 변환 매트릭스(T33)의 매개변수가 공지되면, 프레임 메모리(11)의 판독 어드레스(XM, YM)는 수학식 42 내지 44를 사용해 계산될 수 있다. 여기서는 변환 매트릭스(T33)의 매개변수를 계산하는 방법이 설명된다.
프레임 메모리상의 위치 벡터와 모니터 화면상의 위치 벡터 사이의 관계는 상술된 바와 같이 수학식 9에 도시된 관계를 갖는다. 그러므로, 위치 벡터의 실제값이 수학식 9에 대입되면, 변환 매트릭스(T33)의 매개변수는 계산될 수 있다.
모니터 화면상의 위치 벡터는 점 광원 좌표 검출 회로(21)에 의해 검출된 4개 점 광원(P43), (P44), (P53), 및 P(54)의 위치 벡터를 사용한다. 또한, 프레임 메모리상의 위치 벡터에서, 전체 배경판(3)은 프레임 메모리의 전체 메모리 영역인 것으로 가정되고, 그때 점 광원(P43), (P44), (P53), 및 P(54)에 대응하는 프레임 메모리(11)상의 위치 벡터가 사용된다.
먼저, 점 광원 좌표 검출 회로(21)에 의해 검출된 4개 점 광원(P43), (P44), (P53), 및 P(54)의 위치 벡터는 순서대로 [X1, Y1], [X2, Y2], [X3, Y3], 및 [X4, Y4]로 취해진다. 4개 점 광원(P43), (P44), (P53), 및 P(54)의 원래 위치에 대응하는 프레임 메모리(11)상의 위치 벡터는 순서대로 [X'1, Y'1], [X'2, Y'2], [X'3, Y'3], 및 [X'4, Y'4]로 취해진다. 이들 위치 벡터가 균일 좌표계로 나타내지면, 점 광원 (P43), (P44), (P53), 및 (P54)의 모니터 화면상의 위치 벡터는 다음의 식으로 나타내진다:
프레임 메모리상의 위치 벡터는 다음의 식으로 나타내진다:
균일 좌표계의 위치 벡터를 수학식 9에 대입하면, 다음의 식이 주어진다:
변환 매트릭스(T33)는 다음의 수학식에서와 같이 정의된다.
그러므로, 수학식 47은 다음의 식에 도시된 바와 같이 변형될 수 있다:
수학식 49를 전개하면, 다음의 식이 주어진다:
수학식 50으로부터, 매개변수(Xi), (Yi), 및 (Ki)에 대해 다음의 식이 주어진다.
수학식 53을 수학식 51 및 52에 대입하면, 매개변수(Xi) 및 (Yi)에 대해 다음의 식이 주어진다.
수학식 54 및 55 각각의 우변에 있는 분자와 분모를 매개변수(a33)로 나누면, 다음의 식이 주어진다:
그러므로, 매개변수(Xi) 및 (Yi)의 값은 매개변수(a33)로 나누어도 변하지 않음을 알 수 있다. 그러므로, 변환 매트릭스(T33)가 다음의 식에 도시된 변환 매트릭스(T33')로 대치되더라도,
수학식 49는 성립된다. 즉, 다음의 식이 성립된다.
수학식 59가 i = 1 내지 4에 대해 전개되면, 다음의 식에 도시된 바와 같이, 매개변수(a11') 내지 (a33') 및 (K1) 내지 (K4)에 대해 12개의 연립 선형 방정식이 얻어진다.
이 연립 선형 방정식은 총 12개의 매개변수가 있기 때문에 풀릴 수 있다. 그러므로, 매개변수(a11') 내지 (a33')가 계산될 수 있고, 변환 매트릭스(T33')가 계산될 수 있다. 계산된 변환 매트릭스(T33')가 줌 정보(ZM)로 주어진 확대-감소 매개변수(a33)로 곱하여지면, 변환 매트릭스(T33)가 계산될 수 있음을 주목한다.
(2-2-4) 판독 어드레스를 만드는 방법:
3차원 변환 어드레스 연산 회로(22)는 상술된 과정에서 프레임 메모리(11)에 공급되는 판독 어드레스를 만든다. 즉, 점 광원 좌표 검출 회로(21)로부터 검출 데이터(S10)로 공급되는 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 벡터와 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치에 대응하는 프레임 메모리(11)상의 위치 벡터를 근거로 전체 배경판(3)이 프레임 메모리의 메모리 영역에 대응한다고 가정할 때, 3차원 변환 어드레스 연산 회로(22)는 변환 매트릭스(T33)의 매개변수에 대해 상술된 연립 선형 방정식을 설정하여 연립 선형 방정식의 해답을 풀고, 그에 의해 변환 매트릭스(T33)를 계산한다. 이어서, 3차원 변환 어드레스 연산 회로(22)는 계산된 변환 매트릭스(T33)의 매개변수를 사용해 역 매트릭스(T33 -1)를 계산한다. 역 매트릭스(T33 -1)의 매개변수와 화면 어드레스 발생기(23)로부터 공급된 화면 어드레스(XS, YS)를 근거로, 3차원 변환 어드레스 연산 회로(22)는 프레임 메모리(11)에 공급될 판독 어드레스(XM, YM)를 계산하고, 이를 프레임 메모리(11)에 공급한다. 특히, 실제적으로 변환 매트릭스(T33)로부터 역 매트릭스(T33 -1)를 계산하는 과정은 생략되고, 상술된 수학식 42 내지 44은 변환 매트릭스(T33)의 매개변수로 계산되어 판독 어드레스(XM, YM)를 직접 계산한다.
(2-2-5) 판독 어드레스를 계산하는 과정:
마지막으로, 여기서는 배경 소스 비디오 신호(V2)의 영상 변환을 실행하는데 필요한 판독 어드레스를 계산하는 방법이 도 22에 도시된 흐름도를 참고로 설명된다.
먼저, 단계(SP1)로부터 단계(SP2)에서는 시스템 제어기(6)가 프로젝터 유닛(4)을 구동하여 제어하고, 그에 의해 on- 및-off 패턴이 5개-프레임의 싸이클로 반복되도록 다수의 점 광원(P11) 내지 (Pnn)을 배경판(3)에 투사하고, 또한 5-프레임 싸이클의 헤드(head) 프레임을 나타내는 기준 펄스 신호(sp)를 점 광원 좌표 검출 회로(21)에 전달한다.
다음 단계(SP3)에서는 점 광원 좌표 검출 회로(21)가 이 기준 펄스 신호(SP)의 수신에 응답해 내부 카운터(n)의 값을 1로 설정하고, 다음 단계(SP4)에서는 5-프레임 싸이클 중 제 1 싸이클에 대응하는 비디오 신호(V1)의 배경 영상으로부터 점 광원의 좌표를 검출한다. 점 광원 좌표 수단은 도 23에 도시된 바와 같이 모니터 화면의 중심, 즉 광학축을 원점으로 모니터 화면에서 조정됨을 주목한다.
다음 단계(SP5)에서, 점 광원 좌표 검출 회로(21)는 카운터(n)의 값이 5에 이르렀나 여부를 판단함으로서 이전에 설정된 카운터(n)의 값이 5-프레임 싸이클의 최종 프레임에 이르렀나 여부를 판단한다. 이 경우에서는 카운터의 값(n)이 1이므로, 단계(SP5)는 단계(SP6)로 진행한다. 단계(SP6)에서, 점 광원 좌표 검출 회로(21)는 카운터(n)의 값에 1을 더하고, 단계(SP6)는 단계(SP4)로 복귀된다.
단계(SP4)에서, 점 광원 좌표는 유사하게 5-프레임 싸이클의 제 2 프레임에 대응하는 비디오 신호(V1)의 배경 영상으로부터 검출된다. 같은 방법으로, 점 광원 좌표는 이후에 단계(SP5)와 단계(SP6)를 반복함으로서 5-프레임 싸이클의 프레임에 대응하는 비디오 신호(V1)의 배경 영상으로부터 검출된다.
그래서, 5개 프레임의 비디오 신호(V1)로부터 점 광원 좌표의 검출이 완료되면, 이는 카운터(n)의 값이 5에 이르른 것을 의미하므로, 점 광원 좌표 검출 회로(21)는 단계(SP5)에서 단계(SP7)로 진행된다.
단계(SP7)에서, 점 광원 좌표 검출 회로(21)는 기준점 광원(P43), (P44), (P53), 및 (P54)에 대응하는 점 광원이 모두 5개 프레임의 비디오 신호(V1)로부터 검출된 좌표를 갖는 점 광원에 있는가 여부를 판단한다. 그 결과로, 기준점 광원(P43), (P44), (P53), 및 (P54)에 대응하는 점 광원이 모두 있는 경우, 기준점 광원(P43), (P44), (P53), 및 (P54)의 좌표는 3차원 변환 어드레스 연산 회로(22)에 검출 데이터(S10)로 출력된다.
한편, 기준점 광원(P43), (P44), (P53), 및 (P54)에 대응하는 점 광원이 모두 있지 않은 경우, 단계(SP8)에서는 점 광원 좌표 검출 회로(21)가 on 상태로 된 각 프레임의 점 광원의 좌표를 근거로 각 점 광원의 좌표를 검출한다. 다음 단계(SP9)에서, 점 광원 좌표 검출 회로(21)는 검출된 점 광원 좌표를 근거로 보간 처리에 의해 기준점 광원(P43), (P44), (P53), 및 (P54)의 좌표를 계산하고, 이들을 3차원 변환 어드레스 연산 회로(22)에 검출 데이터로 출력한다. 기준점 광원이 배경판(3) 앞에 서있는 사람에 의해 가려지거나 비디오 카메라(2)의 필드각 밖에 있는 경우는 기준점 광원(P43), (P44), (P53), 및 (P54)이 5개 프레임에 있지 않은 경우로 고려됨을 주목한다.
단계(SP10)에서, 점 광원 좌표 검출 회로(21)로부터 기준점 광원(P43), (P44), (P53), 및 (P54)의 좌표를 수신한 3차원 변환 어드레스 연산 회로(22)는 기준점 광원(P43), (P44), (P53), 및 (P54)의 좌표를 근거로 변환 매트릭스(T33)의 매개변수를 계산한다. 다음 단계(SP11)에서는 3차원 변환 어드레스 연산 회로(22)가 계산된 변환 매트릭스(T33)의 매개변수를 근거로 판독 어드레스(XM, YM)를 계산한다. 다음 단계(SP12)에서는 3차원 변환 어드레스 연산 회로(22)가 판독 어드레스(XM, YM)를 프레임 메모리(11)에 공급한다.
이 방법으로, 영상 합성기(20)에서는 배경판(3)에 투사되는 기준점 광원(P43), (P44), (P53), 및 (P54)의 좌표가 비디오 신호(V1)로부터 검출되고, 배경 소스 비디오(V2)에 영상 변환을 실행하기 위한 변환 매트릭스(T33)의 매개변수가 검출된 4개 점의 좌표를 근거로 계산되고, 또한 프레임 메모리(11)에 대한 판독 어드레스(XM, YM)가 계산된 변환 매트릭스(T33)의 매개변수를 근거로 계산된다. 그러므로, 이 판독 신호(XM, YM)를 근거로, 배경 소스 비디오 신호(V2)가 프레임 메모리(11)로부터 판독되면, 도 4에 도시된 바와 같이 비디오 카메라(2)로부터 관찰되는 것과 같은 배경 소스 비디오 신호(V3)가 쉽게 만들어질 수 있다.
(2-3) 동작 및 이로운 효과:
상술된 구성에서, 이 영상 합성기(20)는 먼저 프로젝터 유닛(4)을 구동시키고, 그에 의해 촬영 피사체가 되는 사람의 배경에 설치된 배경판(3)으로 점 광원(P11) 내지 (Pnn)을 투사한다. 이때, 점 광원(P11) 내지 (Pnn)은 점 광원(P11) 내지 (Pnn)이 추후 식별될 수 있도록 각각 5-프레임의 싸이클로 고정된 패턴을 갖고 on 및 off 상태로 된다.
이 방법으로 점 광원(P11) 내지 (Pnn)이 배경판(3)에 투사된 상태로, 피사체가 되는 사람은 비디오 카메라(2)에 의해 촬영되고, 결과의 비디오 신호(V1)는 영상 처리부(5)에 입력된다. 비디오 카메라(2)의 촬영에 사용되는 줌 정보(ZM)도 또한 영상 처리부(5)에 입력된다.
영상 처리부(5)에서, 비디오 신호(V1)는 먼저 크로마키 회로(8)에 입력된다. 크로마키 회로(8)는 비디오 신호(V1)로부터 배경판(3)의 색조에 대응하는 색깔 신호를 추출하여 그 색깔 신호를 소정의 한계값과 비교하고, 그에 의해 비디오 신호(V1)의 배경 부분을 나타내는 키 신호(K1)와 비디오 신호(V1)의 피사체 부분을 나타내는 키 신호(K2)를 만든다.
점 광원 좌표 검출 회로(21)는 먼저 이 키 신호(K1)와 비디오 신호(V1)를 수신하고, 키 신호(K1)를 근거로 비디오 신호(V1)로부터 배경 부분만으로 구성된 비디오 신호를 만든다. 이어서, 점 광원 좌표 검출 회로(21)는 내부 메모리에 저장된 점 광원의 on- 및-off 정보로 구성된 식별 코드를 판독한다. 식별 코드를 근거로, 점 광원 좌표 검출 회로(21)는 배경 부분으로만 구성된 비디오 신호로부터 미리 설정된 4개의 기준점 광원(P43), (P44), (P53), 및 (P54)을 검출하고, 모니터 화면에서 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 검출한다. 이때, 기준점 광원(P43), (P44), (P53), 및 (P54)은 배경판(3) 앞에 서있는 사람에 의해 가려지거나 비디오 카메라(2)의 필드각(D) 밖에 있으므로, 기준점 광원(P43), (P44), (P53), 및 (P54)이 배경 부분만으로 구성된 비디오 신호에 있지 않은 경우, 점 광원 좌표 검출 회로(21)는 비디오 신호에 주어진 다른 점 광원의 위치 좌표를 검출하고, 검출된 위치 좌표를 근거로 보간에 의해 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 검출한다.
3차원 변환 어드레스 연산 회로(22)는 4개 기준점 광원(P43), (P44), (P53), 및 (P54)의 위치 좌표를 근거로, 배경 소스 비디오 신호(V2)에 3차원 영상 변환을 실행하기 위한 변환 매트릭스(T33)를 계산하고, 변환 매트릭스(T33)의 매개변수를 근거로, 프레임 메모리(11)에 공급되는 판독 어드레스(XM, YM)를 계산한다.
판독 어드레스(XM, YM)를 근거로, 프레임 메모리(11)는 메모리 영역에 저장된 배경 소스 비디오 신호(V2)를 판독하고, 그에 의해 도 4에 도시된 바와 같이 배경 영상이 비디오 카메라(2)의 위치로부터 보여지는 것과 같은 배경 소스 비디오 신호(V3)를 만든다. 그러므로, 배경 소스 비디오 신호(V3)와 비디오 신호(V1)가 키 신호(K2)를 근거로 함께 합성되면, 도 5에 도시된 바와 같이 배경 영상이 비디오 카메라(2)의 위치에 따라 변형된 물리적인 불안정이 느껴지지 않는 합성 비디오 신호(V4)가 만들어질 수 있다.
이 방법으로, 제 2 실시예의 영상 합성기(20)에서는 다수의 점 광원(P11) 내지 (Pnn) 중 4개가 기준점 광원으로 미리 설정되고, 모니터 화면상에서 4개 기준점 광원의 위치 좌표가 비디오 신호(V1)로부터 검출되고, 또한 배경 영상의 영상 변환을 위한 판독 어드레스가 4개 점의 위치 좌표를 근거로 발생된다. 그러므로, 제 1 실시예 보다 더 간단한 구조로, 배경 영상은 비디오 카메라의 위치에 따라 변형될 수 있고, 물리적인 불안정이 느껴지지 않는 합성 영상이 쉽게 만들어질 수 있다.
상술된 구조에 따라, 점 광원은 매트릭스 형태로 배경판(3)에 투사되고, 모니터 화면상에서 4개 점 광원의 위치 좌표가 비디오 신호(V1)로부터 검출되고, 또한 영상 변환을 위한 판독 어드레스가 검출된 4개 위치 좌표를 근거로 만들어지고, 그에 의해 배경 소스 비디오 신호(V2)를 변형시킨다. 그러므로, 더 간단한 구조로도 비디오 카메라(2)의 위치에 따라 변형된 배경 영상이 만들어질 수 있다. 이 방법으로, 합성되는 배경 영상이 촬영 수단의 이동에 대응해 자연스럽게 변화될 수 있는 영상 합성기(20)가 더 간단한 구조로도 실현될 수 있다.
(3) 다른 실시예:
상술된 실시예에서는 점 광원(P11) 내지 (Pnn)이 매트릭스 형태로 프로젝터 유닛(4)에 의해 배경판(3)에 투사되는 경우가 설명되었지만, 본 발명은 이에 제한되지 않는다. 발광 다이오드가 매트릭스 형태로 배경판에 미리 제공되어 소정의 패턴으로 on 및 off 되는 경우에서도, 상술된 경우와 유사한 이로운 효과가 얻어질 수 있다. 이에 부가하여, 레이저빔으로 배경판을 주사함으로서 배경판에 점 광원이 형성될 때에도 상술된 경우와 유사한 이로운 효과가 얻어질 수 있다. 여기서, 요점은 배경판에 대해 영상 합성 처리의 기준이 되는 광원을 형성하기 위한 조명 수단이 제공되면, 상술된 경우와 유사한 이로운 효과가 얻어질 수 있다는 점이다.
또한, 상술된 실시예에서는 매트릭스 형태로 배열된 점 광원이 소정의 패턴으로 광원을 on 및 off 시킴으로서 식별될 수 있는 경우가 설명되었지만, 본 발명은 이에 제한되지 않는다. 점 광원이 소정의 패턴으로 빛의 강도를 변화시킴으로서 식별되는 경우에서도, 상술된 경우와 유사한 이로운 효과가 얻어질 수 있다.
부가하여, 상술된 제 1 실시예에서는 비록 거리, 경사도 등이 점 광원 사이의 공간을 근거로 검출되는 경우가 설명되었지만, 본 발명은 이에 제한되지 않고, 광원 영상이 바(bar)로 형성되어 거리, 경사도 등이 점 광원 영상 사이의 공간 대신에 바 형상의 광원 영상 길이에 의해 검출되는 경우, 광원 영상이 직사각형으로 형성되어 거리, 경사도 등이 직사각형의 크기에 의해 검출되는 경우, 또한 거리 경사도 등이 영상에 포함된 점 광원의 수에 의해 검출되는 경우에도 적용될 수 있다. 즉, 본 발명은 광범위하게 촬영 수단의 위치 정보가 처리물로 구성되는 배경에 형성된 광원 영상에 의해 검출되는 경우에 적용될 수 있다.
부가하여, 상술된 실시예에서는 비록 컴퓨터 그래픽에 의한 영상이나 또 다른 장소에서 촬영된 영상이 배경판(3) 위치에 삽입되는 경우가 설명되었지만, 본 발명은 이에 제한되지 않는다. 예를 들면, 책상 및 상자와 같은 작은 기구가 사람과 함께 촬영되는 경우에, 본 발명은 또한 광범위하게 이들 작은 기구가 다양한 영상을 합성하기 위해 배경판 대신 처리물로 사용되는 경우에도 적용될 수 있다.
본 발명은 방송국에서 비디오 데이터의 소정의 영역에 또 다른 영상을 삽입함으로서 합성된 영상이 만들어지는 경우에 이용될 수 있다.

Claims (19)

  1. 촬영 수단을 통해 얻어진 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영한 영역을 검출하고, 상기 영역에 또 다른 영상을 삽입하고, 이어서 합성된 영상을 만드는 영상 합성기에 있어서:
    상기 처리물 영역과 같은 색조를 갖는 광원 영상을 상기 처리물 영역에 형성하는 조명 수단;
    상기 광원 영상을 기준으로 상기 처리물 영역에 대해 상기 촬영 수단의 위치 정보를 검출하는 위치 검출 수단; 및
    상기 위치 정보를 기준으로 상기 촬영 수단의 위치 변화에 대응해 상기 다른 영상을 변화시키는 영상 제작 수단
    을 구비한 영상 합성기.
  2. 제 1 항에 있어서,
    상기 조명 수단은 소정의 피치(pitch)로 상기 처리물 영역에 배열된 점 광원에 의해 상기 광원 영상을 형성하는 영상 합성기.
  3. 제 1 항에 있어서,
    상기 조명 수단은 상기 처리물 영역에 상기 광원 영상을 투사하기 위한 투사 수단을 구비한 영상 합성기.
  4. 제 1 항에 있어서,
    상기 조명 수단은 소정의 패턴으로 상기 광원 영상을 온 및 오프시키거나 소정의 패턴으로 상기 광원 영상의 빛 강도를 변화시키는 영상 합성기.
  5. 제 1 항에 있어서,
    상기 위치 검출 수단은 상기 처리물 영역에 대한 상기 촬영 수단의 광학축의 기울기, 상기 광학축이 상기 처리물 영역과 교차하는 점까지의 거리, 및 상기 처리물 영역상의 기준점에 대한 상기 촬영 수단의 좌표를 검출하는 영상 합성기.
  6. 제 1 항에 있어서,
    상기 처리물 영역은 상기 촬영 수단에 의해 촬영되는 피사체의 배경에 설치된 배경판을 구비한 영상 합성기.
  7. 입력 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영한 영역을 검출하고, 상기 영역에 또 다른 영상을 삽입하고, 이어서 합성된 영상을 만드는 영상 합성기에 있어서:
    상기 입력 비디오 데이터를 만들 때, 상기 처리물 영역과 같은 색조를 갖는 다수의 광원 영상을 상기 처리물 영역에 형성하는 조명 수단;
    상기 입력 비디오 데이터로부터 상기 처리물 영역을 검출하고 기준이 되는 상기 처리물 영역상에 형성된 상기 다수의 광원 영상 중 4개 광원 영상의 위치를 검출하는 위치 검출 수단;
    상기 위치 검출 수단에 의해 검출된 광원 영상의 위치 정보를 근거로, 상기 처리물 영역에 삽입된 배경 소스 비디오 데이터를 3차원적으로 영상-변환하는 영상 변환 수단; 및
    상기 영상 변환 수단에 의해 영상-변환된 상기 배경 소스 비디오 데이터를 상기 처리물 영역에 대응하는 상기 입력 비디오 데이터의 영역과 합성하는 합성 수단
    을 구비한 영상 합성기.
  8. 제 7 항에 있어서,
    상기 조명 수단은 상기 처리물 영역에 매트릭스 형태로 배열된 점 광원에 의해 상기 광원 영상을 형성하는 영상 합성기.
  9. 제 7 항에 있어서,
    상기 조명 수단은 상기 처리물 영역에 상기 매트릭스 형상의 광원 영상을 투사하는 투사 수단을 구비한 영상 합성기.
  10. 제 7 항에 있어서,
    상기 조명 수단은 소정의 패턴으로 상기 광원 영상을 on 및 off 시키거나 소정의 패턴으로 상기 광원 영상의 빛 강도를 변화시키는 영상 합성기.
  11. 제 7 항에 있어서,
    상기 위치 검출 수단은 기준이 되는 상기 4개의 광원 영상이 상기 입력 비디오 데이터에 주어지지 않을 때, 검출된 다른 광원 영상의 위치 정보를 근거로, 기준이 되는 상기 4개 광원 영상의 위치 정보를 보간에 의해 계산하는 영상 합성기.
  12. 제 7 항에 있어서,
    상기 처리물 영역은 피사체의 배경에 설치된 배경판을 구비한 영상 합성기.
  13. 제 7 항에 있어서,
    상기 영상 변환 수단은:
    상기 위치 검출 수단에 의해 검출된 위치 정보를 근거로, 3차원 영상 변환이 주어진 상기 배경 소스 비디오 데이터에 대해 판독 어드레스를 계산하는 어드레스 연산 수단; 및
    상기 판독 어드레스를 근거로, 내부 메모리에 저장된 상기 배경 소스 비디오 데이터를 판독함으로서, 상기 3차원 영상 변환이 주어진 상기 배경 소스 비디오 데이터를 제공하는 저장 수단
    을 구비한 영상 합성기.
  14. 제 13 항에 있어서,
    상기 어드레스 연산 수단은 상기 위치 검출 수단에 의해 검출된 4개 광원 영상의 상기 위치 정보를 근거로 상기 배경 소스 비디오 데이터를 3차원적으로 영상-변환하기 위한 변환 매트릭스를 계산하고, 상기 변환 매트릭스의 역 매트릭스를 근거로 상기 판독 어드레스를 계산하는 영상 합성기.
  15. 제 14 항에 있어서,
    상기 어드레스 연산 수단은 상기 위치 검출 수단에 의해 검출된 상기 4개 광원 영상의 디스플레이 좌표계상의 위치 정보와 상기 4개 광원 영상의 상기 처리물 영역상의 위치 정보를 근거로 상기 배경 소스 비디오 데이터를 3차원적으로 영상-변환하기 위한 변환 매트릭스를 계산하고, 상기 변환 매트릭스의 역 매트릭스를 근거로 상기 판독 어드레스를 계산하는 영상 합성기.
  16. 제 15 항에 있어서,
    상기 변환 매트릭스는 다음의 식에서 도시되는 바와 같이 8개 변환 매개변수로 구성된 3 x 3 변환 매트릭스인 영상 합성기:
  17. 제 16 항에 있어서,
    상기 어드레스 연산 수단은 다음의 수학식을 사용하여 상기 8개 매개변수를 계산하는 영상 합성기:
    여기서, i = 1 내지 4이고, (Xi, Yi)는 상기 위치 검출 수단에 의해 검출된 상기 4개 광원 영상의 디스플레이 좌표계상의 위치 정보를 나타내고, (X'i, Y'i)는 상기 4개 광원 영상의 상기 처리물 영역상의 위치 정보를 나타내고, 또한 Ki는 균일(homogeneous) 좌표계에 대한 매개변수를 나타낸다.
  18. 촬영 수단을 통해 얻어진 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영한 영역을 검출하고, 상기 영역에 또 다른 영상을 삽입하고, 이어서 합성된 영상을 만드는 방법에 있어서:
    상기 처리물 영역과 같은 색조를 갖는 광원 영상을 상기 처리물 영역에 형성하는 단계;
    상기 광원 영상을 기준으로 상기 처리물 영역에 대해 상기 촬영 수단의 위치 정보를 검출하는 단계; 및
    상기 위치 정보를 기준으로 상기 촬영 수단의 위치 변화에 대응해 상기 다른 영상을 변화시키는 단계
    를 포함한 방법.
  19. 입력 비디오 데이터로부터 소정의 색조를 갖는 처리물 영역을 촬영한 영역을 검출하고, 상기 영역에 또 다른 영상을 삽입하고, 이어서 합성된 영상을 만드는 방법에 있어서:
    상기 입력 비디오 데이터를 만들 때, 상기 처리물 영역과 같은 색조를 갖는 다수의 광원 영상을 상기 처리물 영역에 형성하는 단계;
    상기 입력 비디오 데이터로부터 상기 처리물 영역을 검출하고 기준이 되는 상기 처리물 영역상에 형성된 상기 다수의 광원 영상 중 4개 광원 영상의 위치를 검출하는 단계;
    검출된 광원 영상의 위치 정보를 근거로, 상기 처리물 영역에 삽입된 배경 소스 비디오 데이터를 3차원적으로 영상-변환하는 단계; 및
    영상-변환된 상기 배경 소스 비디오 데이터를 상기 처리물 영역에 대응하는 상기 입력 비디오 데이터의 영역과 합성하는 단계
    를 포함한 방법.
KR10-1998-0702733A 1996-12-26 1997-12-26 영상합성기및영상합성방법 KR100495191B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP34682396 1996-12-26
JP96-346823 1996-12-26
PCT/JP1997/004896 WO1998030029A1 (fr) 1996-12-26 1997-12-26 Dispositif et procede pour synthese d'images

Publications (2)

Publication Number Publication Date
KR19990064245A true KR19990064245A (ko) 1999-07-26
KR100495191B1 KR100495191B1 (ko) 2005-11-21

Family

ID=18386054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0702733A KR100495191B1 (ko) 1996-12-26 1997-12-26 영상합성기및영상합성방법

Country Status (4)

Country Link
US (1) US6104438A (ko)
EP (1) EP0895429A4 (ko)
KR (1) KR100495191B1 (ko)
WO (1) WO1998030029A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3480648B2 (ja) * 1996-11-12 2003-12-22 ソニー株式会社 ビデオ信号処理装置及びビデオ信号処理方法
US6191812B1 (en) * 1997-04-01 2001-02-20 Rt-Set Ltd. Method of providing background patterns for camera tracking
US6211913B1 (en) * 1998-03-23 2001-04-03 Sarnoff Corporation Apparatus and method for removing blank areas from real-time stabilized images by inserting background information
WO1999067949A1 (fr) * 1998-06-22 1999-12-29 Fuji Photo Film Co., Ltd. Imageur et procede
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images
US6674917B1 (en) * 1998-09-29 2004-01-06 Hitachi, Ltd. Method of synthesizing an image for any light source position and apparatus therefor
US6504625B1 (en) * 1998-12-24 2003-01-07 Champion International Company System and method for print analysis
US7230628B1 (en) * 2000-10-05 2007-06-12 Shutterfly, Inc. Previewing a framed image print
US7177483B2 (en) * 2002-08-29 2007-02-13 Palo Alto Research Center Incorporated. System and method for enhancement of document images
US7675540B2 (en) * 2003-08-19 2010-03-09 Kddi Corporation Concealed regions complementing system of free viewpoint video images
FI20065063A0 (fi) * 2006-01-30 2006-01-30 Visicamet Oy Menetelmä ja mittalaite mitata pinnan siirtymä
JP5323320B2 (ja) * 2006-07-19 2013-10-23 有限会社シマテック 表面検査装置
US8045060B2 (en) * 2006-10-04 2011-10-25 Hewlett-Packard Development Company, L.P. Asynchronous camera/projector system for video segmentation
FR2913749B1 (fr) * 2007-03-13 2009-04-24 Commissariat Energie Atomique Systeme d'eclairage matriciel, notamment de type scialytique procede de controle d'un tel eclairage et procede d'etalonnage d'une camera equipant un tel systeme
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
US9350923B2 (en) 2010-08-31 2016-05-24 Cast Group Of Companies Inc. System and method for tracking
US9055226B2 (en) * 2010-08-31 2015-06-09 Cast Group Of Companies Inc. System and method for controlling fixtures based on tracking data
CN103842036B (zh) * 2011-09-23 2016-05-11 可利爱驰有限公司 获取被拍摄体的实际移动轨迹的方法及系统
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
US20180020167A1 (en) * 2016-05-10 2018-01-18 Production Resource Group, Llc Multi Background Image Capturing Video System
JP7269617B2 (ja) * 2018-11-30 2023-05-09 国立大学法人静岡大学 顔画像処理装置、画像観察システム、及び瞳孔検出システム
DE102021106488A1 (de) * 2020-12-23 2022-06-23 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrund-Wiedergabeeinrichtung, Hintergrundwiedergabesystem, Aufnahmesystem, Kamerasystem, digitale Kamera und Verfahren zum Steuern einer Hintergrund-Wiedergabeeinrichtung
GB202112327D0 (en) * 2021-08-27 2021-10-13 Mo Sys Engineering Ltd Rendering image content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4200890A (en) * 1977-07-11 1980-04-29 Nippon Electric Company, Ltd. Digital video effects system employing a chroma-key tracking technique
JPS5793788A (en) * 1980-12-03 1982-06-10 Nippon Hoso Kyokai <Nhk> Chroma-key device
JPS5992678A (ja) * 1982-11-19 1984-05-28 Nec Corp キ−信号検出装置
JPH0342788Y2 (ko) * 1984-12-26 1991-09-06
GB8706348D0 (en) * 1987-03-17 1987-04-23 Quantel Ltd Electronic image processing systems
GB8822062D0 (en) * 1988-09-20 1988-10-19 Quantel Ltd Video processing
JP2642743B2 (ja) * 1989-05-08 1997-08-20 日本放送協会 画像合成用キー信号発生方法
JP2685580B2 (ja) * 1989-05-22 1997-12-03 アストロデザイン株式会社 画像合成装置
JPH0342788A (ja) * 1989-07-11 1991-02-22 Nec Corp データ収集装置
US5056928A (en) * 1989-09-12 1991-10-15 Snow Brand Milk Products Co., Ltd. Method and apparatus for measuring a change in state of a subject fluid
JP3113365B2 (ja) * 1992-01-29 2000-11-27 日本放送協会 映像合成システム
GB9217098D0 (en) 1992-08-12 1992-09-23 British Broadcasting Corp Derivation of studio camera position and motion from the camera image
JPH06105232A (ja) * 1992-09-24 1994-04-15 Fujita Corp 画像合成装置
US5886747A (en) * 1996-02-01 1999-03-23 Rt-Set Prompting guide for chroma keying

Also Published As

Publication number Publication date
WO1998030029A1 (fr) 1998-07-09
US6104438A (en) 2000-08-15
KR100495191B1 (ko) 2005-11-21
EP0895429A1 (en) 1999-02-03
EP0895429A4 (en) 2002-05-02

Similar Documents

Publication Publication Date Title
KR100495191B1 (ko) 영상합성기및영상합성방법
CA2201680C (en) Processing image data
US6031941A (en) Three-dimensional model data forming apparatus
JP3593466B2 (ja) 仮想視点画像生成方法およびその装置
US5077608A (en) Video effects system able to intersect a 3-D image with a 2-D image
JP3030485B2 (ja) ３次元形状抽出方法及び装置
KR19980071768A (ko) 코너 검출 장치 및 코너 검출 방법
KR19980041972A (ko) 비디오 신호 처리 장치 및 비디오 신호 처리 방법
JPH10111953A (ja) 画像処理方法および装置および記憶媒体
KR100317138B1 (ko) 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법
JP2802725B2 (ja) 表情再現装置および表情再現に用いられるマトリックスの算出方法
JPH11328443A (ja) 三次元パノラマ画像生成システム、三次元パノラマ画像生成方法及び記録媒体
JP3577202B2 (ja) 映像作成装置
JPH10208074A (ja) 画像生成方法
GB2312125A (en) Virtual studio with zoom control
JP4006105B2 (ja) 画像処理装置およびその方法
JPH04329484A (ja) 画像合成装置
JPH11265440A (ja) 任意光源位置の画像合成方法および表示装置
JPH06259571A (ja) 画像合成装置
JP3683927B2 (ja) コンピュータ・グラフィック制作システム及びその制御方法
JPH05183808A (ja) 画像情報入力装置と画像合成装置
JP3648099B2 (ja) 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体
JPH09245192A (ja) 仮想環境生成実現方法およびその装置
JPH10240967A (ja) モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法
JPH10271535A (ja) 画像変換方法及び画像変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090527

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee