KR100288004B1 - 입체영상정보 검출전송장치 방송신호 전송장치 입체 영상 디스플레이장치 및 입체영상 디스플레이 방법 - Google Patents

Abstract

1. 청구 범위에 기재된 발명이 속한 기술 분야

본 발명은 동적피사체를 실시간 입체영상으로 디스플레이하기 위한 방법 및 시스템에 관한 것이다.

2. 발명이 해결하고자 하는 기술적 과제

본 발명은 관심이 되는 동적 피사체의 3차원 위치 및 속도정보만을 검출하여 전송함으로써, 종래의 입체영상 시스템이 가지는 처리데이터량의 급격한 증가 및 현행 방송체계와의 비호환성 등의 문제점들을 극복하고 적은 비용으로 용이하게 입체영상을 구형하고자 하는 것이다.

3. 발명의 해결 방법의 요지

본 발명은 전용의 동적피사체의 위치 및 속도 검출장치를 이용하여 측정하고자 하는 동적피사체의 3차원 위치 및 속도를 검출하고, 위치 및 속도신호와 제어신호 등을 합하여 규정된 데이터형식으로 만들고, 이 데이터형식을 방송전파에 부가하여 실시간으로 전송하며, 수신장치를 통하여 방송신호에서 규정된 데이터를 추출하여, 추출된 신호에 따라 내장된 정적피사체 및 동적피사체의 입체영상정보를 디스플레이하는 시스템을 제공한다.

4. 발명의 중요한 용도

본 발명에 따른 입체영상 디스플레이를 위한 방법 및 시스템에 의하면, 관심이 되는 동적피사체의 3차원 위치와 속도정보만을 검출하여 부가정보로 보내고 나머지 정보는 데이터베이스개념으로 처리할 수 있어 기존의 시스템을 그대로 유지하면서도 적은 비용으로 실시간 입체영상을 실현하는 효과를 얻을 수 있다.

Description

입체영상정보 검출전송장치, 방송신호 전송장치, 입체영상 디스플레이 장치, 및 입체영상 디스플레이 방법

제1도는 종래의 입체영상 디스플레이를 위한 시스템의 구성도,

제2도는 본 발명에 의한 입체영상 디스플레이를 위한 시스템의 전체 구성도,

제3도는 본 발명에 의한 동적피사체에 대한 위치 및 속도를 검출하여 전송하는 입체영상정보 검출전송장치의 외관 사시도,

제4a도 및 제4b도는 본 발명에 의한 동적피사체에 대한 위치 및 속도를 검출하여 전송하는 입체영상정보 검출전송장치의 데이터처리 블록도 및 구성도,

제5a도 및 제5b도는 본 발명에 의한 데이터부가 전송시스템 또는 방송정보 전송장치의 구성도 및 부가데이터의 규격도,

제6도는 본 발명에 의한 입체영상 디스플레이 장치의 데이터처리 블록도,

제7도는 본 발명에 의한 입체영상 디스플레이 장치의 제 1 의 사용 상태도,

제8도는 본 발명에 의한 입체영상 디스플레이 장치의 제 2 의 사용 상태도이다.

〈도면의 주요부분에 대한 부호의 설명〉

1 : 피사체 2a,2b : 좌안·우안 카메라

4 : 영상처리장치 5 : 전송장치

6 : 영상구동장치 7 : 입체TV

100 : 위치 및 속도 검출장치 120 : 줌렌즈 및 구동부

122 : 카메라 123 : 연산모듈

124,125 : 회전부 126 : 지지대

140 : 영상입력부 141 : 검출부

142 : 분리부 143 : 초기값 설정부

144 : 움직임 추정부 145 : 위치보정부

146 : 중심계산부 147 : 변위비교부

148 : 위치산출부 149 : 속도산출부

150 : 송출부 151 : 버퍼

152 : 외부신호 입력부 153 : 재설정부

200 : 실시간 전송장치 260 : 송출 VTR

261 : 제어기 262 : MUX

263 : TV송신기 300 : 수신장치

310 : 2차원 TV 320 : 입체영상 디스플레이 패널

324 : 입력장치 325 : 정적피사체 프로그램 영역

326 : 동적피사체 프로그램 영역 327 : 저장장치

330 : 2차원 화면 340 : 3차원 화면

345 : 액정셔터안경 370 : 고주파 수신부

371 : 영상디코더 372 : DEMUX

373 : 색 및 음성 분리부 375 : 부가신호 디코더

376 : 오류검출 및 정정부 377 : 합성부

378 : 입체영상 처리부

a,b,c,d,e,f : 데이터영역 m : 줌렌즈 배율

k₁,k₂: 회전각 r : 초기거리

x,y : 2차원 초기위치 X₀,Y₀,Z₀: 3차원 초기위치

X,Y,Y : 3차원 위치 V : 속도

i₁: 정적피사체의 영상 i₂: 동적피사체의 영상

s₁: 외부신호 s₂: 녹화재생신호

본 발명은 측정하고자 하는 동적피사예의 3차원 위치 및 속도를 검출하기 위한 위치 및 속도 검출장치와, 위치 및 속도 검출장치에서 나오는 동적피사체의 위치 및 속도신호와 다양하게 영상을 조작하는데 필요한 제어신호 등을 합하여 규정된 데이터형식으로 만들고, 이 데이터형식을 아날로그나 디지털 방송전파에 부가하여 실시간으로 전송하기 위한 실시간 전송장치, 및 실시간 전송장치로부터 전송된 동적피사체의 위치 및 속도 검출장치에서 구한 동적피사체의 3차원 위치 및 속도정보와 제어정보를 획득하는 수신장치를 통하여 방송신호에서 규정된 데이터형식을 추출하여, 추출된 신호에 따라 내장된 정적피사체의 입체영상정보와 동적피사체의 입체영상정보를 디스플레이하는 장치를 포함하는 입체영상 디스플레이 시스템에 관한 것이다.

본 발명에 따른 위치 및 속도 검출장치는 줌렌즈 및 줌렌즈 구동부가 장착된 CCD카메라, 패턴인식(pattern recognition)에 기반한 연산모듈, 모터가 내장되어 상하·좌우회전이 가능한 상하·좌우 회전부, 지지대로 구성된다. 상기 회전부는 상하회전과 좌우회전이 가능하여 각각 상하회전각(k₁)과 좌우회전각(k₂)을 얻을 수 있다. 상기 회전부상에 줌기능을 가진 동적피사체 검출카메라가 설치되고, 상기 연산모듈은 영상입력부를 통하여 입력된 영상에서, 패턴인식기법을 이용하여 측정하고자 하는 동적피사체를 동적피사체 검출부를 통하여 검출한다. 동적피사체 분리부에 의해 동적피사체를 배경과 분리해내고, 동적피사체의 초기값 설정부에서 줌렌즈 구동 및 상하·좌우 회전구동부를 구동하여, 2차원 화면상에 놓인 동적피사체의 초기위치(x,y)와 카메라와 동적피사체 사이의 초기거리(r)로부터 3차원상의 동적피사체 초기위치(X₀,Y₀,Z₀)를 초기값으로 설정한다. 동적피사체를 촬영된 화상의 일정위치에 그 위치와 크기를 고정시킨 후, 움직임 추정부에서 동적피사체의 움직임 추정기법에 의거하여 움직임을 추정하며, 줌렌즈 구동 및 상하·좌우 회전구동부를 구동하여 카메라장치를 예상궤적으로 미리 이동시키고, 위치보정부에서 예상궤적과 실제궤적과의 차이만을 보정하며, 상기의 보정을 연속적으로 행하면서 동적피사체를 추적하고, 이 추적값은 동적피사체 중심계산부과 변위비교부를 거치고, 위치산 출부과 속도산출부에 의해 각각 위치(X,Y,Z)와 속도(V)를 산출하며, 도출되는 위치좌표값(X,Y,Z)은 버퍼에 기억된다. 상기 버퍼에 저장된 값에 따라 재설정부가 작동하여, 줌렌즈 구동 및 상하좌우 회전구동부에 의해 카메라를 급속이동시켜 동적피사체의 초기위치(X₀,Y₀,Z₀)를 재설정하거나, 외부신호 입력부를 통해 재설정부로 주어지는 외부신호에 따라 카메라를 초기위치(X₀,Y₀,Z₀)에 재설정하거나 특정 위치에 설정한다. 일정한 주기로 측정하고자 하는 동적피사체의 3차원 위치신호(X,Y,Z)와 속도신호(V)를 송출부를 통하여 출력하게 된다.

본 발명에 따른 실시간 전송장치는 동기신호 및 헤더 영역(a), 3개의 3차원 위치데이터 영역(b), 속도데이터 영역(c), 재생조작에 필요한 제어데이터 영역(d), 오류검출 및 정정을 위한 데이터 영역(e), 및 향후 확장에 필요한 예약영역(f)을 포함하며, 기존의 아날로그 TV 영상신호의 경우 수직귀선 소거기간(VBL)의 일부를 이용하여 제시된 데이터규격이 부가되고, 디지털 TV 영상신호의 경우 여분의 예약데이터영역을 사용하여 제시된 데이터규격이 부가되는 것을 특징으로 한다.

본 발명에 따른 디스플레이 장치는 수신된 방송신호는 고주파 수신부를 지나 영상디코더(image decoder)를 통과한 후, 디멀티플렉서(demultiplexer)에 의해 각각 영상신호와 부가신호로 분리되고, 영상신호는 기존의 2차원 TV브라운관으로 보내진다. 부가신호 디코더(add-on data decoder)를 통과한 위치신호(X,Y,Z)와 속도 신호(V)는 오류검출 및 정정부호에 의해 오류발생시 오류검출 및 정정부에서 오류정정절차를 거치며, 오류검출 및 정정부를 통과한 위치(X,Y,Z)와 속도(V)정보는 제어신호 또는 입력장치에 의해 입력된 외부신호(s₁) 또는 입력장치에 의해 입력된 녹화재생신호(s₂)에 따라 녹화재생용 저장장치에서 신호를 추출하여, 프로그램 입력신호 합성부에서 합성신호를 만들게 된다. 이 신호에 의해 정적피사체의 데이터베이스 및 로딩프로그램 영역에서 선정된 정적피사체의 영상(i₁)과 동적피사체의 규정된 3차원운동 데이터베이스(predefined 3D motion DB) 및 구동프로그램 영역에서 선정된 동적피사체의 운동영상(i₂)을 입체영상합성 및 입체영상처리부를 통하여 입체영상 디스플레이 판넬(display panel)에 투사함에 있어, 기존의 TV와 병합설치된 3차원 화면에 표시하여 기존의 2차원 화면과 일체화된 화면을 구성하고 3차원 화면은 2차원 화면의 절반에 해당하는 프레임율로 좌안·우안화상을 디스플레이한다. 또는 입체영상 디스플레이 판넬에 투사함에 있어, 기존의 2차원 TV와는 독립된 전용의 수신장치, 입체영상 디스플레이 판넬, 입력장치, 정적피사체 데이터베이스 및 로딩 프로그램 영역, 동적피사체의 규정된 3차원 운동 데이터베이스 및 운동 구동프로그램 영역, 및 녹화 및 재생용 저장장치로 구성될 수도 있다.

이하, 본 발명의 구성 및 작용을 첨부되는 도면을 참고로 하여 보다 상세하게 설명한다.

본 발명에 의한 입체영상 디스플레이 시스템의 전체구성이 제2도에 도시되었다. 전체시스템은 크게 3차원 위치 및 속도 검출장치(100: 입체영상정보 검출전송장치), 부가데이터 실시간 전송장치(200: 방송신호 전송장치), 입체영상 디스플레이장치(300, 320, 324, 325, 326, 327)의 3가지 부분으로 이루어져 있다.

본 발명에 따른 동적피사체의 3차원 위치 및 속도는 3차원 위치 및 속도 검출장치(100)에 의해 검출된다. 본 발명에 의한 바람직한 실시예에 있어서, 제3도에 도시된 동적피사체의 위치 및 속도 검출장치는 줌렌즈 및 줌렌즈 구동부(120)가 장착된 CCD카메라(122), 패턴인식(pattern recognition)에 기반한 연산모듈(123), 모터가 내장되어 상하·좌우회전이 가능한 상하·좌우 회전부(124,125), 지지대(126)로 구성되어 자동으로 측정하고자 하는 동적피사체를 추적하는 것이 가능하다.

본 발명의 바람직한 실시예에 있어서, 동적피사체 위치 및 속도 검출장치(100)의 데이터처리 블록도 및 구성도가 제4a도와 제4b도에 도시되었다.

제4a도에서는, CCD카메라의 2차원 화면상에 놓인 동적피사체의 초기위치(x,y) 및 카메라와 동적피사체사이의 초기거리(r), 줌렌즈 구동부와 상하·좌우 회전부에서 추출된 줌렌즈의 배율(m)과 상하회전각(k₁)과 좌우회전각(k₂), 카메라의 설치위치(p) 등의 데이터가 패턴인식(pattern recognition)에 기반한 연산모듈(123)의 입력으로 들어가 최종적으로 상대 직각좌표계상의 3차원 위치(X,Y,Z) 및 속도(V)를 산출하는 과정을 도시했다.

동적피사체 위치 및 속도 검출장치(100)의 데이터처리와 관련한 세부적인 구성이 제4b도에 도시되었다. CCD카메라의 영상입력부(140)를 통해 들어오는 영상은 연산모듈(123)로 입력되며 연산모듈에서는 패턴인식기법을 통하여 영상에서 동적피사체의 움직임을 동적피사체 검출부(141)를 통해 검출하고, 동적피사체 분리부(142)에 의해 동적피사체를 배경과 분리해낸다. 동적피사체의 초기값 설정부(143)는 분리된 동적피사체의 중심을 CCD화면의 일정한 위치, 예컨대 중심위치에 고정시키고 동적피사체의 원래 크기와 화면에 잡힌 크기의 비례관계로부터 실제로 동적피사체가 카메라가 설치된 위치(p)에서 얼마나 떨어진 곳에 있는가를 알아내며, 이렇게 하여 2차원 화면상에 놓인 동적피사체의 초기위치(x,y)와 카메라와 동적피사체사이의 초기거리(r)로부터 3차원상의 동적피사체 초기위치(X₀,Y₀,Z₀)를 초기값으로 설정한다. 3차원상의 동적피사체의 초기위치(X₀,Y₀,Z₀)는 한 번 결정하고 끝나는 경우도 있겠지만, 많은 경우 새롭게 설정되어야 한다. 이때는 필요한 정도의 3차원 위치(X,Y,Z) 및 속도(V)를 구한 다음에 동적피사체를 추적했던 경로가 기억되어 있는 버퍼(151)에 저장된 값에 따라 재설정부(153)가 작동하여 줌렌즈 구동 및 상하좌우 회전구동부(120,124,125)에 의해 카메라를 역으로 급속이동시켜 동적피사체의 초기 위치(X₀,Y₀,Z₀)를 재설정하거나, 외부신호 입력부(152)를 통해 재설정부(153)로 주어지는 외부신호에 따라 카메라를 초기위치(X₀,Y₀,Z₀)에 재설정하거나 특정 위치에 설정하는 것이 가능하다. 이렇게 함으로써 위치 및 속도검출장치(100)는 작동초기에 측정하고자 하는 동적피사체가 운동을 시작하는 위치나 운동중의 특정위치에서 추적을 시작할 수 있게 된다.

측정하고자 하는 동적피사체가 이동하면 위치 및 속도 검출장치(100)는 동적피사체의 초기값 설정부(143)의 초기값(X₀,Y₀,Z₀)을 기준으로 하여 실시간으로 동적피사체를 추적하게 된다. 구기종목에 있어 공의 운동은 초기위치와 초기속도 등의 값을 통해 역학적으로 이후의 궤적을 계산해낼 수 있으며, 일반적으로 동적피사체의 경우 어떤 위치에서 다음에 이동할 위치를 예측하는 것이 가능하다. 이를 바탕으로 움직임 추정부(144)에서 측정하고자 하는 동적피사체가 진행할 방향을 움직임 추정기법(motion estimation method)에 의해 미리 계산하여 예상하고 카메라의 이동위치를 예측된 위치로 미리 이동시킨 후, 위치보정부(145)에서 실제 동적피사체가 이동한 위치와의 차이만을 보정하여 이동하면 효율적이고 정확하게 동적피사체를 추적할 수 있으며, 용이하게 동적피사체의 위치 및 속도를 구할 수 있다. 화면의 중심위치에 그 중심이 고정된 동적피사체가 이동하면, 영상입력부(140)의 카메라는 동적피사체의 중심을 화면의 중심과 일치시키기 위해, 움직임 추정부(144)와 위치보정부(145)의 계산에 따라 동적피사체의 운동에 맞춰서 움직인다. 상하·좌우 회전구동부(124,125)에 의해 카메라가 움직임에 따라 초기위치에 대해 각각 상하, 좌우 2개의 회전각(k₁,k₂)이 얻어진다. 또한, 동적피사체가 이동하면 동적피사체가 화면에 잡히는 크기도 시간에 따라 변하게 되는데, 그 크기를 초기크기와 같게 유지하기 위해 줌렌즈 구동부(120)에 의해 줌렌즈의 배율(m)이 조정된다. 이와같이 2개의 회전각(k₁,k₂)과 줌렌즈의 이동거리, 즉 배율변화(m) 및 움직임 추정부(144)와 위치보정부(145)에서 나오는 동적피사체의 중심위치에 대한 추적값은 동적피사체 중심계산부(146)에 의해, 동적피사체의 중심이 초기위치에서 변위된 양과 이전의 위치에서 변화된 양을 얻을 수 있으며, 이를 통해 위치산출부(148)에서 동적피사체의 3차원 위치정보를 계산한다. 또한, 변위비교부(147)에서 일정한 주기로 샘플링(sampling)된 인접한 2개의 위치정보의 변위를 비교함으로써, 속도산출부(149)에서 동적피사체의 속도를 계산할 수 있다.

동적피사체 자체에 신호발생장치를 부착할 수 있는 경우에는 소형의 라디오파 발생장치를 부착하고, 여기에서 나오는 주기적인 신호는 위치 및 속도 검출장치에 수신이 되어 간단하게 위치와 속도를 검출할 수 있다.

최종적으로 동적피사체의 위치 및 속도 검출장치는 해당 방송규격의 프레임 주사율(frame rate)에 맞추어 3개의 3차원 위치신호(X,Y,Z)와 속도신호(V)를 일정주기로 송출부(150)를 통하여 발생하게 된다.

본 발명에 있어서, 위치 및 속도 검출장치(100)로부터 구한 동적피사체의 3차원 위치(X,Y,Z)와 속도(V)정보는 그 정보량이 많지 않기 때문에 기존의 TV 영상신호의 수직귀선 소거기간(VBL)에 중첩되어 충분히 부가송출될 수 있다. 제5a도 및 제5b도에 위치 및 속도정보 부가전송 시스템의 구성도와 부가신호 규격이 도시되어 있다. 수직귀선 소거기간의 제16H에서부터 제21H의 구간은 중첩이 가능하며, 이 기간에는 방송국의 운영상 필요한 시험신호나 감시,제어 신호가 전송되는 경우도 있지만, 적어도 2H는 위치 및 속도정보의 부가 위해 사용이 가능한 영역이다.

따라서, 제5b도에 도시한 바와 같이, 부가신호규격은 동기(sync)신호 및 헤더(header) 영역(a), 3개의 3차원 위치데이터 영역(b), 속도데이터 영역(c), 재생조작에 필요한 제어데이터 영역(d), 오류검출 및 정정을 위한 데이터 영역(e), 향후 확장에 필요한 예약영역(f)을 합쳐 기존의 방송전송규격내에서 완전히 수용될 수 있으며, 실시간 전송의 경우에도 장애가 발생하지 않는다.

제5a도에 도시한 바와 같이, 부가신호규격에 맞게 가공된 신호는 방송국에 설치될 위치 및 속도정보제어기(261)에 의해 송출VTR(260)에서 나오는 영상신호와 함께 멀티플렉서(multiplexer)(262)에서 합쳐지며, 최종적으로 TV송신기(263)에 의해 가정으로 송출된다. 또한, 현재 개발되었거나 개발이 진행중인 디지털 TV방송인 경우에도 그 규격마다 각 프레임이나 수평주사기간내에 향후의 용도를 위한 예약영역이 제공되며, 이 부분을 활용하여 실시간 전송하는 것도 아날로그방송의 경우와 마찬가지로 가능하다.

본 발명에 있어서, 방송국에서 송출된 방송신호를 수신하여 이로부터 위치신호를 추출하여 입체영상으로 표시하는 입체영상 디스플레이 장치의 데이터 처리 블록도가 제6도에 도시되었다. 수신된 방송신호는 고주파 수신부(370)를 지나 영상디코더(image decoder)(371)를 통과한 후, 디멀티플렉서(demultiplexer)(372)에 의해 각각 영상신호와 부가신호로 분리되고, 영상신호는 색·음성 분리부(373)에 의해 색과 음성으로 분리되어 기존의 2차원 TV브라운관(310)으로 간다. 부가신호 디코더(add-on data decoder)(375)를 통과한 부가데이터는 위치신호, 속도신호, 제어신호, 오류검출 및 정정부호로 해독이 되며, 위치신호와 속도신호는 오류검출 및 정정부호에 의해 오류발생시 오류검출 및 정정부(376)에서 오류정정절차를 거치게 된다.

오류검출 및 정정부(376)를 통과한 위치와 속도정보는 제어신호 또는 입력장치(324)에 의해 입력된 외부신호(s₁)에 따라 해당하는 정적피사체와 동적피사체를 로딩(loading)하기 위하여, 프로그램 입력신호 합성부(377)에서 합성신호를 만들게 되며, 이 신호에 의해 정적피사체의 데이터베이스 및 로딩프로그램 영역(325)에서 선정된 정적피사체의 영상(i₁)과 동적피사체의 규정된 3차원운동 데이터베이스(predefined 3D motion DB) 및 구동프로그램 영역(326)에서 선정된 동적피사체의 운동영상(i₂)은 입체영상합성 및 입체영상처리부(378)를 지난 후, 입체영상 디스플레이 판넬(display panel)(320)에 투사된다.

또한, 입력장치(324)에 의해 입력된 녹화재생신호(s₂)에 따라 녹화재생용 저장장치(327)는 프로그램 입력신호 합성부(377)에서 나오는 합성신호를 녹화하거나, 기 녹화된 신호를 녹화재생신호(s₂)에 따라 프로그램 입력신호 합성부(377)로 보내어 저장되어 있던 방송내용을 재생할 수 있다.

수신된 입체영상을 디스플레이함에 있어서, 3차원 영상 단독 또는 2차원 영상과 3차원 영상을 각각 분리 또는 병합된 수단에 의하여 디스플레이할 수 있다.

본 발명의 바람직한 실시예로서, 기존 브라운관의 상하·좌우의 어느 한쪽에 입체영상 디스플레이판넬을 나란히 병합설치한 경우의 사용상태를 제7도에 도시하였다. 골프, 테니스 등의 스포츠경기를 실시간 입체영상으로 관람하는 경우, 선수들의 자세한 움직임이나 기타 세부정보 등은 기존의 TV 브리운관(310)을 통하여 2차원 화면(330)으로 시청하고, 2차원화면(330)만으로는 이동 방향을 정확하게 관찰하기 힘든 공의 3차원적인 움직임은 고정되어 있는 간단한 입체영상배경과 함께 입체영상 디스플레이 패널(320)을 통하여 3차원 화면(340)으로 시청한다. 시청자는 액정셔터방식의 안경(345)을 착용하여 입체영상을 감상할 수 있으며, 이때 입체영상의 좌안화상과 우안화상은 액정셔터안경의 좌안,우안과 각각 동기한다. 또한, 3차원 입체영상의 좌안,우안화상의 초당 프레임수는 각각 기존의 2차원영상의 2N 프레임수의 절반인 N 프레임이 되어 시청자는 액정셔터안경을 착용하고서도 기존의 2차원영상을 그대로 볼 수 있다.

본 발명의 바람직한 다른 실시예로서, 기존의 2차원 TV(310)와 별도로 분리되는 전용의 입체TV장치를 사용하는 경우의 사용상태를 제8도에 도시하였다. 이 경우 상세한 움직임은 기존의 2차원 TV(310)를 이용하여 시청하고, 입체감이 필요한 화면은 입체영상 디스플레이 판넬(320), 입력장치(324), 정적피사체 데이터베이스 및 로딩 프로그램 영역(325), 동적피사체의 규정된 3차원 운동 데이터베이스 및 운동 구동프로그램 영역(326), 및 녹화 및 재생이 가능한 저장장치(327)를 포함하는 전용의 입체TV를 이용하여 시청한다. 전용의 입체 TV는 정적피사체와 동적피사체의 보다 정확한 3차원 입체영상을 투사하게 되며, 다양한 각도에서의 감상기능, 줌기능 등을 부가할 수 있어 보다 역동적인 입체영상을 볼 수 있게 한다. 이때 입체TV는 렌티큘라방식일 수도 있고 액정셔터안경(345)을 착용하는 방식일 수도 있다.

또한, 비교적 동적피사체의 움직임이 단순하거나 동적피사체 자체에 신호발생기를 부착할 수 있어서 위치정보를 비교적 용이하게 구할 수 있는 경우에는 전용의 입체TV 단독으로 시청하는 것도 가능하다.

상기에서, 본 발명을 첨부되는 도면을 참고로 한 실시예들에 의해 상세히 설명하였으나, 상기의 실시예들은 본 발명의 바람직한 실시형태를 예시한 것일 뿐, 본 발명을 제한하는 것은 아니며, 첨부되는 특허 청구범위에 의한 본 발명의 범주내에서, 다양한 변형 및 응용이 가능함은 당연하다.

본 발명에 의하면, 종래의 입체TV가 데이터 처리량의 과다함이나 입체영상 효과를 얻기 위한 촬영의 어려움을 안고 있는데 반해, 관심이 되는 동적피사체의 위치와 속도정보만을 검출장치(100)로부터 산출하여 기존의 방송규격에 부가하여 실시간으로 송수신(200,300)하고, 나머지 정적피사체나 동적피사체의 입체영상정보는 전용의 저장장치(325,326)에 내장하고 필요시 호출하여서 수신된 위치 및 속도신호와 종합하여 디스플레이함으로써, 비교적 저렴한 비용으로 실시간 입체영상을 시청할 수 있다.

본 발명이 갖는 장점을 보다 상세히 기재하면 다음과 같다.

첫째, 동적피사체의 3차원 위치와 속도정보만을 검출하여 부가정보로 보내고 나머지 정보는 데이터베이스개념으로 처리할 수 있어 기존의 시스템을 그대로 유지하면서도 적은 비용으로 실시간 입체영상을 구현할 수 있다.

둘째, 3차원 위치정보를 바탕으로 입체영상정보를 구축하는데 필요한 데이터저장 및 변환기술, 입체영상 디스플레이기술들은 응용력이 높아 여러 분야에 접목이 가능하다.

셋째, 동적피사체의 실시간 3차원 위치검출기술은 고속이동체의 계측, 정밀측정, 네비게이션(navigation) 등에 응용할 수 있다.

본 발명은 특히, 스포츠중계의 경우에 특유의 장점을 갖게 되며 이와 관련하여 적용이 가능한 용도로는 다음과 같다.

첫째, 기존 TV시청의 보완기구로 쓰일 수 있다. 특히, 스포츠중계의 경우 역동적으로 움직이는 선수와 공의 움직임은 2차원영상만으로는 제대로 충족될 수 없으며, 더구나 공의 움직임을 제대로 포착하지 못하는 경우가 많았다. 이 경우 본 발명은 위치검출기술을 적용하여 선수와 공의 이동을 정확하게 파악하고 이를 실시간 입체영상으로 재현함으로써, 기존의 TV시청만으로는 느낄 수 없는 깊이감있는 영상을 감상할 수 있다.

둘째, 별도의 저장장치가 내장되어 있어 방송내용을 입체적으로 녹화하고 재생할 수 있어, 일반인은 물론 전문가들이 경기내용을 자세하게 분석하는 것이 가능해져 경기력향상을 기할 수 있다.

본 발명은 동적 피사체의 실시간 입체영상 디스플레이 방법 및 이 방법의 실시에 사용되는 입체영상 디스플레이 시스템에 관한 것이며, 보다 상세하게는, 동적피사체의 위치 및 속도 검출장치를 이용하여 측정하고자 하는 동적피사체의 3차원 위치 및 속도를 검출하고, 이 위치 및 속도신호와 여러 가지로 영상을 조작하는데 필요한 제어신호 등을 합하여 규정된 데이터형식으로 만들고, 이 데이터형식을 아날로그나 디지털 방송전파에 부가하여 실시간으로 전송하고, 원래의 동적피사체의 위치 및 속도 검출장치에서 구한 동적피사체의 3차원 위치 및 속도정보와 제어정보 등을 획득하는 수신장치를 통하여 방송신호에서 규정된 데이터형식을 추출하여, 추출된 신호에 따라 내장된 정적피사체 및 동적피사체의 입체영상정보를 디스플레이하기 위한 입체영상 디스플레이 방법 및 시스템에 관한 것이다.

현행 영상시스템의 한계를 뛰어넘고자 하는 다양한 시도의 하나로서 영상의 입체화를 들 수 있다. 그 동안 몇몇 성과가 있었으나, 데이터 처리기술, 현재 시스템과의 호환성 등의 문제로 입체영상기술은 폭넓은 사용자층을 확보하기에는 아직은 많은 시간이 필요한 미래기술로 여겨지고 있다.

종래의 입체영상시스템은 제1도에서 도시한 것처럼 우선 피사체(1)의 영상을 일정한 각도로 배치된 2대의 좌안·우안카메라(2a,2b)로 촬영하고, 이로부터 생성되는 좌안·우안영상(3a,3b)을 입력으로 받아서 영상처리장치(4)에 의해 처리하여 전송장치(5)로 전송하고, 영상구동장치(6)에 의해 입체영상을 느낄 수 있도록 일정시차나 일정각도를 유지하여 표시하는 기능을 행하게 된다. 이렇게하여 생성된 영상을 입체TV(7)의 렌티큘라(lenticular)판에 투사함으로써 사용자는 좌안·우안에 각각 다른 각도로 들어오는 이미지를 보게 되어 입체영상의 효과를 느끼거나, 좌우화상을 순차적으로 디스플레이하고 액정셔터(liquid crystal shutter)방식의 안경을 착용하여 이 안경에 의해 좌안·우안화상을 빠르게 선택함으로써 입체감을 느끼게 된다.

그러나, 이와 같이 현재 개발되고 있거나 개발된 입체영상 시스템은 기존의 2차원 영상시스템과 비교하여 가지는 여러 가지 이점에도 불구하고 현실적인 적용에 있어 다음과 같은 문제점들을 안고 있다.

첫째, 정적, 동적 피사체의 모든 입체정보를 그대로 전송하기 때문에, 데이터 전송량이 기존 데이터 전송량의 2배 이상으로 증가하게 된다.

둘째, 증가된 전송데이터량으로 인하여 기존의 방송시스템으로는 전송이 불가하며, 부득이 전송용량이 훨씬 더 큰 시스템으로 교체되어야 하고, 따라서 기존의 방송시스템과의 호환이 어렵다.

셋째, 입체효과를 내기 위한 촬영이 쉽지 않다.

넷째, 상기 문제점들로 인하여 입체영상을 구현하는 데는 많은 인력과 장비 및 비용이 소요된다.

따라서, 본 발명은 이러한 문제점을 극복하기 위한 것으로, 현재의 영상시스템은 그대로 유지하면서 여기에 몇 가지 기술과 장치를 도입하여 적은 비용으로 입체영상을 즐길 수 있는 시스템을 제공하는데 그 목적을 두고 있다. 즉, 관심이 되는 동적피사체의 3차원 위치 및 속도정보만을 검출하고, 이 정보를 현존하는 아날로그 공중파방송이나 디지털방송 등의 신호에 부가하여 전송하고, 전용의 입체 TV단말기를 이용하여 위치 및 속도신호에 따라, 내장된 정적피사체의 입체영상정보와 함께 동적피사체의 입체영상정보를 디스플레이함으로써, 간단히 실시간 입체영상을 감상할 수 있게 하는 시스템을 제공하고자 하는 것이다.

Claims (9)

1. 지지대와, 이 지지대에 의해 지지되며 모터가 내장되어 상하회전 및 좌우회전이 가능한 회전부와, 상기 회전부 위에 설치되며 줌렌즈 및 줌렌즈 구동부가 장착된 CCD카메라와 패턴인식에 기반한 연산모듈을 포함하도록 구성되어, 3차원 공간 내에서 피사체를 촬영하고 촬영된 영상정보로부터 3차원 입체영상정보를 추출하여 전송하는 입체영상정보 검출전송장치에 있어서, 상기 CCD 카메라에 의해 촬영된 촬영영상신호가 입력되는 영상입력부와, 상기 영상입력부를 통해 입력된 영상에서 패턴인식기법을 통해 동적피사체를 검출하는 동적피사체 검출부와, 상기 검출된 동적피사체를 배경인 정적피사체로부터 분리해내는 동적피사체 분리부와, 상기 분리된 동적피사체에 대해서 3차원 공간내의 3차원 위치(X,Y,Z)를 산출하는 위치산출부와, 상기 분리된 동적피사체에 대해서 3차원 공간내의 이동 속도를 산출하는 속도 산출부와, 상기 산출된 동적피사체의 3차원 위치 및 속도를 나타내는 데이터를 송출하는 송출부를 포함하는 것을 특징으로 하는 입체영상정보 검출전송장치.
2. 제1항에 있어서, 상기 동적피사체 분리부에 의해 분리된 동적피사체에 대해서 3차원 공간내의 초기 위치(X₀,Y₀,Z₀)를 설정하는 초기값 설정부와, 상기 동적피사체 분리부에 의해 분리된 동적피사체에 대해서 3차원 공간내에서의 초기 위치로부터의 변위를 비교하는 변위비교부와, 상기 위치산출부에서 산출된 현재의 3차원 공간내의 3차원 위치를 새로운 초기 위치로 설정하는 초기값 재설정부를 또한 포함하여, 상기 변위비교부에서의 비교결과를 기초로 속도산출부에서 동적피사체의 3차원 공간내에서의 이동속도를 산출하는 것을 특징으로 하는 입체영상정보 검출전송장치.
3. 제1항 또는 제2항에 기재된 입체영상정보 검출전송장치에서 산출되어 송출된 동적피사체의 3차원 위치 및 속도를 나타내는 데이터를 각각 위치데이터 영역 및 속도 데이터 영역에 기입하고, 동기신호 영역, 헤더영역, 제어데이터 영역, 오류검출 및 정정데이터 영역을 부가하여 전송데이터를 생성하고, 이 전송데이터를 2차원 영상신호를 포함하는 방송신호에 부가하는 것을 특징으로 하는 방송신호 전송장치.
4. 정적피사체 영상정보 및 동적피사체의 운동영상정보를 저장하는 저장수단과, 방송신호 수신부와, 상기 수신부로부터 수신된 방송신호로부터 영상신호와 부가신호를 분리하여 영상신호는 2차원 영상 디스플레이로 전송하고, 부가신호는 디코더로 전송하는 디멀티플렉서와, 상기 디멀티플렉서로부터의 부가신호로부터, 촬영된 동적피사체에 대한 3차원 공간상의 위치신호(X,Y,Z)와 속도신호를 해독해내는 디코더와, 상기 디코더에 의해 해독하여 얻은 위치신호 및 속도신호와, 상기 저장수단에 저장된 동적피사체에 대한 운동영상정보에 기초하여 동적피사체에 대한 입체영상신호를 생성하는 동적 입체영상신호 생성수단과, 상기 동적 입체영상신호 생성수단에 의해 생성된 동적피사체에 대한 입체영상 신호와, 상기 저장수단에 저장되어 제공되는 정적피사체의 영상정보를 합성하여 표시영상정보를 생성하는 입체영상 합성처리수단과, 상기 입체영상 합성처리부로부터의 표시영상정보에 따라 3차원 입체영상을 표시하는 디스플레이를 포함하며, 상기 2차원 영상과, 상기 3차원 입체영상은, 하나의 디스플레이의 구분된 표시화면에 각각 표시되는 것을 특징으로 하는 입체영상 디스플레이 장치.
5. 정적피사체의 영상정보 및 동적피사체의 운동영상정보를 저장하는 저장수단과, 방송신호 수신부와, 상기 수신부로부터 수신된 방송신호로부터 영상신호와 부가신호를 분리하여 영상신호는 2차원 영상 디스플레이로 전송하고, 부가신호는 디코더로 전송하는 디멀티플렉서와, 상기 디멀티플렉서로부터의 부가신호로부터, 촬영된 동적피사체에 대한 3차원 공간상의 위치신호(X,Y,Z)와 속도신호를 해독해내는 디코더와, 상기 디코더에 의해 해독하여 얻은 위치신호 및 속도신호와, 상기 저장수단에 저장된 동적피사체에 대한 운동영상정보에 기초하여 동적피사체에 대한 입체영상신호를 생성하는 동적 입체영상신호 생성수단과, 상기 동적 입체영상신호 생성수단에 의해 생성된 동적피사체에 대한 입체영상신호와, 상기 저장수단에 저장되어 제공되는 정적피사체의 영상정보를 합성하여 표시영상정보를 생성하는 입체영상 합성처리수단과, 상기 입체영상 합성처리부로부터의 표시영상정보에 따라 3차원 입체영상을 표시하는 디스플레이를 포함하며, 상기 2차원 영상과, 상기 3차원 입체영상은, 독립된 각각의 디스플레이에 표시되는 것을 특징으로 하는 입체영상 디스플레이 장치.
6. 3차원 공간 내에서 정적피사체를 배경으로 움직이는 동적피사체에 대해서, 공간 내의 3차원 위치와 속도를 검출하는 단계, 상기 검출된 동적피사체에 대한 3차원 위치와 속도를 나타내는 데이터가 포함되도록, 전송 데이터 형식을 생성하는 단계, 상기 생성된 전송 데이터 형식을 2차원 영상신호를 포함하는 방송신호에 부가하여 실시간 전송하는 단계, 상기 전송된 방송신호를 기초로, 촬영되어 전송되어진 2차원 영상을 디스플레이에 표시하는 단계, 상기 전송된 방송신호로부터 동적피사체에 대한 3차원 위치 데이터 및 속도 데이터를 추출하는 단계, 상기 동적피사체 및 정적피사체 각각에 대해서 사전에 준비되어 내장된 입체영상생성 정보를 읽어오는 단계, 상기 추출된 동적피사체에 대한 3차원 위치 및 속도 데이터와, 상기 읽어온 동적피사체 및 정적피사체 각각의 입체영상생성 정보를 기초로, 화면에 표시될 표시영상정보를 생성하는 단계, 및 상기 표시영상정보에 따라 디스플레이에 입체영상을 표시하는 단계를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
7. 제6항에 있어서, 상기 3차원 위치 및 속도를 검출하는 단계, 카메라에 의해 촬영된 피사체에 대한 영상으로부터, 패턴인식기법을 이용하여 동적피사체의 영상을 분리하고, 분리된 동적피사체에 대해 연속적으로 얻어진 영상의 변위를 비교하는 단계를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
8. 제7항에 있어서, 상기 3차원 위치 및 속도를 검출하는 단계는, 상기 분리된 동적피사체의 영상을 기초로, 초기위치에서의 크기와 현재의 크기 사이의 비례관계를 연산하여 카메라로부터 피사체 까지의 거리를 산출하는 단계를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
9. 제6항에 있어서, 상기 3차원 위치 및 속도를 검출하는 단계는 동적피사체에 구비된 신호발생장치로부터, 동적피사체에 대한 위치 정보를 무선으로 제공받는 단계를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.

Images