KR20040041297A - 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법 - Google Patents

Abstract

본 발명은 카메라 영상을 이용하여 가시거리 이내에 보이는 운동물체의 움직임을 추적하고 표시하는 방법에 관한 것으로서, 운동물체를 관찰하고 표시하기 위한 소정 공간에 대해 상기 공간을 모두 포함하도록 복수의 카메라를 그 주변에 설치하는 제1단계와; 상기 복수의 카메라로부터 입력되는 카메라 영상을 하나의 표준좌표로서 나타내기 위한 표준좌표 변환식을 산출하는 제2단계와; 상기 복수의 카메라로부터 입력되는 카메라 영상으로부터 운동물체를 구별하고 그 이미지를 추출하는 제3단계와; 상기 표준좌표계를 가지는 가상공간에 상기 복수의 카메라부터 입력되는 카메라 영상으로부터 추출된 운동물체의 이미지를 재현하는 제4단계;를 포함하여 이루어진다.

Description

여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법{METHOD FOR TRACING AND DISPLAYING MULTIPLE OBJECT MOVEMENT USING MULTIPLE CAMERA VIDEOS}

본 발명은 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법에 관한 것으로서, 더욱 상세하게는 소정의 공간 내에서 움직이는 운동물체의 위치 및 움직임을 자동으로 추적하고 일괄적으로 표시하는 방법에 관한 것이다.

이전까지 물체를 추적하는 방법은 센서를 이용하거나 카메라를 이용하는 방법이 활용되었다. 센서를 이용하는 방법의 경우 움직임을 정밀하게 추적할 수 있으나 추적과정에서 센서 자체를 장착할 수 없는 경우가 더 많으며, 카메라를 이용하는 경우에도 별도로 카메라에서 송출하는 영상을 관찰하는 사람이 필요하였다.

스포츠 경기를 예로 들 경우, 종래의 중계방법은 다수의 카메라를 경기장 주변에 설치하고, 카메라맨이 선수와 공의 움직임을 따라가면서 촬영하며 방송 현장 책임자가 복수의 카메라 영상들 중에서 선택적으로 시청자에게 송출하며 아나운서와 해설가가 경기진행과정은 물론 선수의 움직임을 설명하는 형태로 이루어졌다.

그러나, 카메라를 통해 촬영할 수 있는 각도는 대단히 제한적이기에 대부분의 경우, 공의 움직임만을 추적하는 형태로 진행되어 촬영된 영상 이외의 전체 선수들의 움직임은 추적할 수 없었다.

그럼에도 시청자들은 어느 하나의 카메라에 의해 촬영된 영상 외에 전체 선수의 움직임을 궁금해 하는 경우도 있고, 또 경기를 분석하고 해설하기 위해서도 전체 선수의 움직임이 중요한 경우가 많다.

또한, 근래에는 경기의 흐름에 대해 시청자들이 보다 쉽게 이해하고 즐길 수 있도록 여러 가지 컴퓨터 그래픽을 이용하여 경기를 분석하고 해설하는 경우가 많아졌는데, 특히 결정적인 장면이 나온 경우에 이를 반복하여 재생하거나 신속하게 그래픽으로 재구성하여 해설하는 경우가 많아졌다. 그러나, 이 경우 대부분 미리 준비한 경기장 이미지에 선수의 위치를 수작업으로 부가하여 제작하였다.

또 다른 예로서, 교통신호체제를 들 수 있다. 종래의 방법은 규칙적으로 신호를 주거나, 횡단보도를 건너야 하는 사람이 간단한 입력 장치를 통해 교통 흐름을 제어하는 방식, 혹은 도로 밑에 센서를 설치하여 차량이나 사람의 많고 적음에 따라 신호를 제어하는 방식으로 이루어졌다.

교통의 원활한 흐름이라는 측면에서 볼 때, 종래의 방법들은 흐름을 막거나 추가되는 비용에 비해 효율적이라고 보기엔 힘든 부분들이 많았다. 흐름의 양에 상관없이 규칙적으로 보내는 신호체제는 설치의도와는 무관하게 흐름을 방해하는 요소로 작동하며 직접 제어하는 방식은 어느 한쪽을 불편하게 하며 센서를 도로에 장착하는 방식은 센서의 감지 영역을 얼마만큼으로 확장할 것인가에 따라 도로공사의 구간이 달라지므로 흐름의 개선을 위해 일정 기간동안은 거꾸로 교통 흐름이 나빠질 수밖에 없으며 이에 따른 비용도 많은 편이었다.

결론적으로, 여러 대의 카메라 출력 각각을 여러 대의 모니터 등을 통하여 관측하는 경우 오랜 시간 동일한 환경에서 숙련된 전문가가 아니면 실제로 일어나고 있는 상황에 대한 정보를 종합적으로 수집 요약하는 것이 매우 어렵고, 수집된 정보를 바탕으로 카메라를 통해 관측한 상황을 분석하고 해결하는 것은 더욱 어려운 일이다. 또, 비록 전문가에 의해 관측된 상황에 대한 정보가 처리된다고 하더라도 대부분 수작업으로 이루어지기 때문에 처리 시간이 오래 걸리는 단점이 있으며, 종합된 정보에 대한 표시 기능이 떨어지기 때문에 그 정보로부터 어떤 판단을 해야 하는 경우에는 정보 전달 능력이 떨어져서 그 정보 자체의 유용성 가치가 낮아지게 되는 결과가 초래한다. 특히, 정보수집 및 처리 전문가와 그 정보를 바탕으로 판단을 해야 하는 사람이 서로 다르면 정보의 가치는 그 정보를 어떻게 표시하는가에 따라 그 가치가 결정된다.

본 발명은, 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 여러 대의 카메라 영상을 통해 움직이는 모든 물체들의 움직임을 추적하고 그 결과를 전체적으로 표시하는 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명의 다른 목적은, 다중 입력 영상을 하나의 가상현실세계에서 재구현하고 이를 사용자가 원하는 방식으로 보여줌으로써 당 공간 내에서 발생하는 모든 움직임을 원하는 모든 각도에서 관찰할 수 있도록 하는 데에 있다.

도 1은 본 발명에 의한 전체 시스템 구성도,

도 2는 축구 경기장에서 선수의 움직임을 추적하고 표시하기 위해 복수의 카메라를 설치한 예를 나타내는 예시도,

도 3은 본 발명에 의해 표준 영상으로 변환한 일례를 나타내는 예시도,

도 4는 본 발명에 의해 축구장의 선수를 추적하고 표시하는 일례를 나타내는 예시도,

도 5는 가상현실을 이용한 삼차원 가상공간 재구축과 사용자 인터페이스 상호간의 데이터 흐름도이다.

상기 목적을 달성하기 위해, 본 발명에 의한 방법은, 운동물체를 관찰하고 표시하기 위한 소정 공간에 대해 상기 공간을 모두 포함하도록 복수의 카메라를 그 주변에 설치하는 제1단계와; 상기 복수의 카메라로부터 입력되는 카메라 영상을 하나의 표준좌표로서 나타내기 위한 표준좌표 변환식을 산출하는 제2단계와; 상기 복수의 카메라로부터 입력되는 카메라 영상으로부터 운동물체를 구별하고 그 이미지를 추출하는 제3단계와; 상기 표준좌표계를 가지는 가상공간에 상기 복수의 카메라부터 입력되는 카메라 영상으로부터 추출된 운동물체의 이미지를 재현하는 제4단계;를 포함하여 이루어지는 것을 특징으로 한다.

여기서, 상기 제2단계는, 각각의 상기 카메라 영상에서 적어도 네 점에 대하여 대응하는 표준좌표계에서의 좌표를 지정함으로써, 투영좌표변환법에 의해 상기카메라 영상의 모든 화소의 좌표를 하나의 표준좌표계의 좌표로 변환하는 표준좌표 변환식을 산출하는 단계인 것으로 할 수 있다.

또, 상기 제3단계는, 상기 카메라 영상에서 화소의 밝기, 색상 및 채도 중 적어도 어느 하나의 값을 그 배경 영상의 화소의 값과 비교하여, 그 차가 소정치 이상인지 여부를 판별하여 소정치 이상인 경우에 운동물체로 판별하고 이를 분리시키는 단계인 것으로 할 수 있다.

또한, 상기 제4단계는, 상기 표준좌표계를 가지는 가상공간에 상기 복수의 카메라부터 입력되는 카메라 영상으로부터 추출된 운동물체의 이미지를 재현함에 있어서, 상기 운동물체의 이미지는 상기 제3단계에서 적어도 두 개 이상의 카메라 영상으로부터 삼차원 정보를 얻은 후, 상기 삼차원 정보를 이용하여 상기 가상공간에 재현하는 단계인 것으로 할 수 있다.

이하, 첨부된 도면을 참조하여 보다 상세하게 설명하겠다.

도 1은 본 발명에 의한 운동물체 추적 및 표시방법을 설명하기 위한 블록도이다.

본 발명에 의한 방법은 두 가지 과정의 결합으로 이루어진다. 첫 번째 과정은 운동물체들의 위치를 추적하는 것이고 두 번째 과정은 추적 결과를 이용하여 가상현실로 재구성하는 것이다.

운동물체 추적과정은 모두 세 단계로 구성되는데, 각각의 카메라로 촬영되어 입력된 영상들을 하나의 표준좌표계에 대하여 표시하기 위하여 기준 카메라의 좌표계에 대한 각 카메라들의 표준 좌표를 추출하는 단계와, 표준좌표계로 연결된 영상으로부터 운동하는 물체들을 추적하고 입력 영상에서 분리하는 단계와, 표준좌표계에 대해서 얻어진 추적 결과물들을 절대좌표에 대한 값으로 변환하고 삼차원 좌표를 계산하는 단계로 구성된다.

두 번째 과정은 가상현실 기법을 통한 가상환경 구축 및 영상 합성인데, 물체 추적 결과를 이용하여 최초 입력된 동영상들의 상황을 그대로 사이버 공간에서 옮긴다. 가상공간에 재구성된 실제 상황은 사용자 인터페이스 또는 삼차원 디스플레이 같은 표시 장치를 이용하여 사용자가 원하는 방식으로 그 상황을 다시 관측하고 판단할 수 있도록 한다.

운동물체 위치추적과정에서는, 우선, 기준이 되는 카메라 영상과 적어도 네 점에 대하여 대응하는 표준좌표계의 좌표를 지정함으로서 변환식을 산출하게 된다. 공간적으로 서로 다른 곳에 배치된 카메라들 사이의 삼차원적 좌표관계를 설정하기는 매우 어렵지만, 단지 영상들 간의 좌표변환 관계는 설정이 간단할 뿐만 아니라 다중 카메라를 이용한 물체 추적에 충분한 정보를 제공한다.

다음으로는, 상기 카메라 영상에서 운동물체가 없는 배경 영상을 계산하여 얻고, 이로부터 입력 영상과 비교하여 각 화소의 밝기, 색상 및 채도를 기준으로 운동물체를 추적하고 운동물체의 영상부분을 배경영상에서 분리하는 과정을 거친다. 여기서 얻어지는 운동물체들의 운동물체 이미지들은 추적 결과와 함께 가상현실을 이용한 영상 재구성에 사용된다.

그런데, 카메라가 촬영하는 공간은 일정하지 않다. 예를 들어, 축구경기장의경우 길이가 90~120 미터로 국제규격 자체가 약 30미터의 편차를 가지며, 교통신호체계 역시 필요에 따라 관찰해야 하는 거리는 가변적이다. 또한 촬영된 영상은 촬영한 각도에 따라 공간의 왜곡이 심하게 발생된다. 따라서, 다중 카메라 동영상에서 운동물체를 추적하고 운동물체 이미지들을 추출하는 과정이 쉽게 이루어지도록 하나의 동영상을 기준으로 표준좌표계를 설정하고 다른 동영상들의 상대적인 위치관계를 결정하도록 한다.

표준 좌표계는 실제 공간의 좌표계와는 별도로 설정된 것이므로 추적한 물체의 실제적인 통계량을 얻기 위해서는 이 표준좌표를 실제의 공간인 절대좌표로 변환시키는 별도의 프로세스를 거치게 된다. 아울러, 이 과정에서 영상추적결과를 이용하여 삼차원 좌표를 계산한다. 표준좌표계는 각 카메라에 공통으로 보이는 하나의 동일 평면을 기준으로 구축된다. 추적된 객체의 일부나 전체가 그 평면 위에 있지 않는 것이라면 그 부분에 대한 삼차원 좌표를 계산한다. 예를 들어, 축구 경기의 추적 결과에는 공의 영상위치를 검출하게 되며, 다중영상에서 얻어진 공의 위치와 표준좌표계 정보를 이용하면 그 공의 삼차원 좌표를 계산할 수 있다.

위 추적 과정을 거치면, 추적한 물체의 입력 시간동안 이동 정보와 운동물체 이미지들을 얻게 된다. 이를 바탕으로 컴퓨터 그래픽 기법을 사용하여 하나의 삼차원 가상공간을 설정하는 것이 가능하며 이것이 두 번째 과정인 가상공간 재구성 및 표시 과정이다.

표준좌표계 모델에 대한 삼차원 그래픽 모델을 설정하고 추적을 통해 얻어진 운동물체 이미지들을 매 시점(time) 추적된 위치에 재배치함으로써 여러 대의 카메라를 통해 입력된 상황이 하나의 가상공간 안에 재구현 되는 것이다.

그 다음에는, 가상공간에서 일어나는 일을 소정의 디스플레이 장치를 통해 사용자가 관측하도록 해준다. 이를 위해서는 가상카메라의 위치와 방향을 설정해야할 필요가 있는데 그 값을 설정하는데 따라 전혀 새로운 형태의 동영상을 합성하는 것이 가능해진다. 가상공간의 움직임과 가상 카메라의 동작을 사용자가 임의로 조작할 수 있기 때문에 사용자는 어떤 시간 및 장소에서 발생하는 사건을 전혀 새로운 각도에서 관측할 수 있다. 삼차원 디스플레이 장치를 사용하면 동일한 상황을 삼차원적으로 보고 느끼면서 그 상황에 대한 관찰 및 분석이 가능하다.

도 2는 본 발명에 의한 운동물체 추적을 축구에 적용하기 위해 여러 대의 카메라를 운동장 주변에 설치한 것을 보여주는 예시이다.

한 대의 카메라를 통해서 넓은 영역을 모두 관찰하는 것은 불가능하다. 따라서, 전체 영역을 분할하고 각 분할 영역에 대해 카메라 한 대씩을 설치하도록 한다. 전체 표준 영상 합성을 위해서 각 카메라 영상은 해당 분할 영역을 포함하면서 이웃 영역 또한 조금씩 담고 있어야한다.

도 3은 여러 카메라 중에서 하나의 카메라 영상을 표준 영상으로 변환한 것을 보여주는 예시도이다.

본 발명에 따르면, 먼저 각각의 카메라 영상을 디지털 영상으로 변환하고, 각각의 카메라 영상에서 선수를 식별하여 분리시킨 후, 하나의 표준좌표계에 대응하는 좌표로 변환하여 단일의 표준 영상에 선수의 움직임을 표시함으로써, 경기장 내의 모든 선수의 움직임을 관찰할 수 있도록 한다.

이를 위해, 우선적으로 표준좌표계를 가지는 표준 영상을 구현할 필요가 있다. 이는 축구장과 같이 촬영하는 공간의 길이가 일정하지 않기 때문에 거치는 과정으로서 농구등과 같이 표준좌표와 절대좌표가 동일한 경우에는 필요 없는 과정이 된다. 그러나 통상적으로 운동장은 물론, 본 발명을 응용한 각종 화면분석을 활용하는 공간은 공간의 크기가 일정하다고 보지 않는다. 표준 영상은 먼저 가상의 영상으로서 평면적으로 경기장 전체의 프레임을 포함하도록 하여 제작된다. 그런 다음에는 각각의 카메라 영상에서의 선수의 위치를 표준좌표계를 가지는 표준 영상에 표시하기 위해 각각의 카메라 영상에 대한 표준좌표계로의 변환식을 결정하여야 한다. 두 영상 사이의 변환식은 표준 영상과 다른 카메라 영상사이에 대응하는 네 점을 지정함으로써 투영좌표변환방식에 의해 구할 수 있다. 그 식에 따라 입력 영상을 표준좌표로 변환하면 표준좌표영상에서의 위치를 얻을 수 있다. 도 3은 실제 축구 영상에 대해서 투영좌표변환식을 써서 표준좌표영상으로 변환한 것을 보여주는 예시이다.

다음으로는, 경기장과 선수를 구분한다. 각각의 카메라 영상에서 선수를 식별하여 구분하기 위해서 본 실시예에서는 화소의 밝기, 색상 및 채도 중 적어도 어느 하나의 값을 가지고 선수를 구별한다. 이를 위해, 먼저 기준이 되는 경기장 영상의 밝기, 색상 및 채도의 값을 정하고, 각각의 카메라 영상의 각 화소의 밝기, 색상 및 채도의 값을 상기 기준값과 대비하여 소정치 이상의 차가 있으면 이를 경기장과 식별하여 분리시킨다. 상기한 방법으로 선수영역을 경기장으로부터 분리한 후에는, 그 위치를 나타내는 기준점을 정하고, 그 기준점의 좌표를 표준좌표로 변환하여 표준 영상에 그 선수의 위치를 표시할 수 있다.

움직이는 선수의 영상을 추적하기 위해서 칼만필터(Kalman Filter)를 사용한다. 각 선수들의 위치를 상태변수로 하고 이를 운동방정식과 측정방정식으로 표현할 수 있다. 스포츠 경기에서 선수들의 움직임은 매우 다양하기 때문에 보다 확실하게 선수를 추적하기 위해서는 칼만필터와 더불어 다양한 운동예측모델을 동시에 사용할 수 있는 Hidden Markov Model을 사용하는 것이 바람직하다. 또, 겹침이나 가려짐을 해결하기 위해 SMC(Sequential Monte Clarlo)방법을 사용한다.

각각의 카메라 영상에서 선수의 위치가 결정되면, 그 좌표를 표준좌표로 변환한 후, 표준 영상에서 그 선수의 위치를 표시한다. 이 때, 표준 영상에서는 그 선수의 움직임의 흔적을 표시함으로써 선수들의 움직임을 보다 용이하게 파악할 수 있도록 할 수 있다. 도 4는 표준영상에서 추적하는 것을 예시하는 그림이다.

본 발명의 다른 측면에 의하면, 적어도 둘 이상의 카메라 영상의 추적 결과를 이용하여 특정 장면을 3차원 그래픽으로 재구성하여 보여주는 것이다. 도 5는 가상현실을 이용한 삼차원 가상공간 재구축과 사용자 인터페이스 상호간의 데이터 흐름을 보여준다. 여러 대의 카메라 영상의 처리 결과를 가상공간 재구성을 통해 3차원 그래픽 영상으로 재구성하면, 어느 각도에서나 그 장면을 재현하는 것이 가능하게 된다. 이 경우, 카메라를 설치할 수 없거나 카메라로 촬영할 수 없는 시점에서도 그 장면을 재현하는 것이 가능하게 된다.

본 실시예에서는 축구 경기를 예로서 설명하였지만, 반드시 축구경기에만 한정되는 것은 아니고, 여러 가지 스포츠 경기의 분석 및 중계 자료로서 활용될 수있는 것은 말할 필요도 없다. 특히, 3차원 그래픽 영상으로 재구성하여 재현하는 것은, 예컨대 권투나 레슬링 등과 같은 경기에 적용하여 이용할 수도 있다.

또한, 이러한 그래픽 영상은 스포츠게임의 개발에서 그래픽 작업의 기간을 상당히 단축시켜 줄 수도 있을 것이다.

또한, 교통신호체계에의 활용과 같이 운동물체에 센서부착을 할 수 없는 모든 경우에 있어서 운동물체의 속도와 위치값 추적을 함으로서 흐름을 원활하게 하는데 활용될 수 있을 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 선수의 움직임을 추적하는 방법을 사용하면, 여러 대의 카메라로 보는 전체 공간에서 각각의 물체들의 위치와 움직임을 직접적인 센서를 부착하지 않고도 한 눈에 파악할 수 있다. 예를 들면, 축구 경기의 경우 전체 선수들의 움직임을 하나의 전체 영상에서 도식적으로 관측할 수 있으므로, 각 선수들의 움직임에 대한 통계적 분석뿐만 아니라 전체경기의 분석 및 해설이 용이하게 된다.

특히, 다중 카메라를 통해 입력된 각각의 장면들을 3차원 그래픽을 써서 하나의 전체 장면으로 재구성하면, 원하는 어느 각도에서나 그 장면을 재현하여 볼 수 있으므로 새로운 형태의 장면 (또는 사건) 분석이 가능하다. 또한, 삼차원 디스플레이 장치를 사용하면 입체적으로 관찰 분석 할 수 있으며, 가상 카메라의 위치를 조절함으로써 다양한 영상 컨텐츠를 제작할 수도 있다.

Claims (4)

1. 운동물체를 관찰하고 표시하기 위한 소정 공간에 대해 상기 공간을 모두 포함하도록 복수의 카메라를 그 주변에 설치하는 제1단계와;

   상기 복수의 카메라로부터 입력되는 카메라 영상을 하나의 표준좌표로서 나타내기 위한 표준좌표 변환식을 산출하는 제2단계와;

   상기 복수의 카메라로부터 입력되는 카메라 영상으로부터 운동물체를 구별하고 그 이미지를 추출하는 제3단계와;

   상기 표준좌표계를 가지는 가상공간에 상기 복수의 카메라부터 입력되는 카메라 영상으로부터 추출된 운동물체의 이미지를 재현하는 제4단계;

   를 포함하여 이루어지는 것을 특징으로 하는 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법.
2. 제 1 항에 있어서,

   상기 제2단계는, 각각의 상기 카메라 영상에서 적어도 네 점에 대하여 대응하는 표준좌표계에서의 좌표를 지정함으로써, 투영좌표변환법에 의해 상기 카메라 영상의 모든 화소의 좌표를 하나의 표준좌표계의 좌표로 변환하는 표준좌표 변환식을 산출하는 단계인 것을 특징으로 하는 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법.
3. 제 1 항에 있어서,

   상기 제3단계는, 상기 카메라 영상에서 화소의 밝기, 색상 및 채도 중 적어도 어느 하나의 값을 그 배경 영상의 화소의 값과 비교하여, 그 차가 소정치 이상인지 여부를 판별하여 소정치 이상인 경우에 운동물체로 판별하고 이를 분리시키는 단계인 것을 특징으로 하는 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법.
4. 제 1 항에 있어서,

   상기 제4단계는, 상기 표준좌표계를 가지는 가상공간에 상기 복수의 카메라부터 입력되는 카메라 영상으로부터 추출된 운동물체의 이미지를 재현함에 있어서, 상기 운동물체의 이미지는 상기 제3단계에서 적어도 두 개 이상의 카메라 영상으로부터 삼차원 정보를 얻은 후, 상기 삼차원 정보를 이용하여 상기 가상공간에 재현하는 단계인 것을 특징으로 하는 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법.