KR20010016086A - 합성 이미지 디스플레이 장치 및 방법 - Google Patents

Abstract

본 발명은 디지털카메라로 촬영한 풀스크린 영상을 분석 및 검색하여 이미지화하고, 부분적으로 촬영한 클로즈업 화면에 이미지화한 영상을 합성시켜 디스플레이 시키는 합성 이미지 디스플레이 장치 및 그 방법을 제공하는데 있다. 이를 위하여 본 발명에 따른 합성 이미지 디스플레이 방법은 디지털카메라로 경기장 전체를 풀스크린으로 촬영하고, 촬영한 영상을 디지털 데이타로 변환시키는 단계와, 변환된 영상의 각각의 색상에 대한 정보와 움직임에 대한 정보를 분석하는 단계와, 분석한 정보에 따라 색과 움직임을 검색하여 의미가 있다고 판단되는 색을 추출하고 추출된 색상에 의미를 부여하는 단계와, 추출된 색을 대표이미지로 변환하는 단계와, 클로즈업 촬영영상과 대표이미지를 합성하는 단계와, 합성화면을 시청자들에게 디스플레이 시키는 단계로 이루어지는 것을 특징으로 한다.

Description

합성 이미지 디스플레이 장치 및 방법{apparatus for display synthesis image and thereof method}

본 발명은 합성 이미지 디스플레이 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 스포츠경기에 있어서 운동선수들의 움직임을 디지털카메라를 이용하여 촬영한 후 TV 브라운관에 디스플레이시켜 메인카메라에 포착되지 않는 선수들의 위치 및 움직임을 나타낼 수 있는 합성 이미지 디스플레이 장치 및 그 방법에 관한 것이다.

일반적으로 축구나 야구등 대부분의 단체운동경기에서는 선수들의 움직임을 전체적으로 보여주지 못하고, 도 1의 화면과 같이 공의 움직임에 따라서 부분적으로 클로즈업 한 화면을 시청자들에게 제공하고 있으며, 이를 보완하기 위하여 경기에 참가한 전체 선수들의 움직임을 시청자들에게 제공하기 위하여 도 2의 화면과 같이 운동장 전체를 풀스크린(full screen)으로 촬영한 후, 상기 풀스크린 화면을 축소시켜 부분적으로 클로즈업 한 화면의 일부분에 고착시켜 도 3의 화면을 시청자들에게 제공하고 있다.

그러나 이와 같은 종래기술은 풀스크린으로 촬영한 화면은 실제로 경기장에서 움직이는 선수 전체의 위치를 보여주고 있기 때문에 투명한 이미지로 보여줄 수 없었으며, 축소시킨 풀스크린 화면이 클로즈업 한 화면을 완전히 가리고 있기 때문에 답답한 느낌을 주었다.

또한 선수들의 실제적인 움직임을 보여주기 때문에 선수들이 착용한 운동복 색상의 구분이 곤란하고, 시청자들의 시각으로 시청하기에는 불편하기 때문에 시청자들에 대한 서비스제공의 목적에도 불구하고, TV 방영은 실질적으로 무의미한 결과만을 가져왔다.

그리고, 선수들의 구분을 위하여 풀스크린 화면을 확대시킨다면 전체화면의 상당한 부분을 차지하기 때문에, 시청자들은 시청에 불편을 느낄 수 밖에 없었다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로써, 그 목적은 디지털카메라로 촬영한 풀스크린 영상을 분석 및 검색하여 이미지화하고, 부분적으로 촬영한 클로즈업 화면에 이미지화한 영상을 합성시켜 디스플레이 시키는 합성 이미지 디스플레이 장치 및 그 방법을 제공하는데 있다.

도 1은 종래 부분적인 곳을 클로즈업해서 보여주는 화면상태도이다.

도 2는 종래 운동장 전체를 풀스크린으로 촬영한 화면상태도이다.

도 3은 종래기술에 따른 합성이미지를 디스플레이한 화면상태도이다.

도 4는 본 발명에 따른 합성 이미지 디스플레이 장치를 나타낸 블럭도이다.

도 5는 본 발명에 따른 운동장 전체의 풀스크린 촬영한 영상을 이미지화하여 나타낸 화면상태도이다.

도 6은 본 발명에 따른 합성 이미지를 디스플레이한 화면상태도이다.

도 7은 본 발명에 따른 합성 이미지 디스플레이 방법을 나타낸 흐름도이다.

〈도면의 주요부분에 대한 부호의 설명〉

10, 21, 22, 23 : 카메라 30 : 관리서버

31 : 변환수단 32 : 분석수단

33 : 검색수단 34 : 이미지변환수단

35 : 합성수단 40 : 디스플레이수단

상기와 같은 목적을 달성하기 위한 본 발명에 따른 합성 이미지 디스플레이 장치는 풀스크린을 촬영하기 위한 디지털카메라와, 실제 경기에 참여하는 선수들의 부분적인 클로즈업 영상을 촬영하기 위한 카메라들과, 디지털카메라로 촬영한 디지털영상을 디지털 데이타로 변환하기 위한 변환수단과, 변환된 디지털 데이타의 각각의 영상에 사용된 색을 추출하고 군집화하여 각각의 의미를 부여하는 분석수단인 RGB와, 추출된 색과 선수들의 움직임을 검색하여 의미가 있다고 판단되는 색을 추출하여 의미를 부여하는 검색수단과, 시청자에게 의미가 있는 색상에 대한 정보중에서 움직임이 있다고 판단되는 색상에 대하여 프로그램에서 정의한 기호 또는 모양을 통하여 쉽게 볼 수 있도록 하는 방법을 이용하여 대표이미지로 변환하는 이미지변환수단과, 상기 카메라가 촬영한 클로즈업 영상과 이미지변환수단에 의하여 변환된 이미지영상을 합성하는 합성수단과, 상기 합성수단에 의하여 합성된 영상을 디스플레이시키는 디스플레이수단으로 구성되는 것을 특징으로 한다.

본 발명에 따른 합성 이미지 디스플레이 방법은 디지털카메라로 경기장 전체를 풀스크린으로 촬영하고, 촬영한 영상을 디지털 데이타로 변환시키는 단계와, 변환된 영상의 각각의 색상에 대한 정보와 움직임에 대한 정보를 분석하는 단계와, 분석한 정보에 따라 색과 움직임을 검색하여 의미가 있다고 판단되는 색을 추출하고 추출된 색상에 의미를 부여하는 단계와, 추출된 색을 대표이미지로 변환하는 단계와, 클로즈업 촬영영상과 대표이미지를 합성하는 단계와, 합성화면을 시청자들에게 디스플레이 시키는 단계로 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명한다.

도 4는 본 발명에 따른 합성 이미지 디스플레이 장치를 나타낸 블럭도이다.

도시한 바와 같이, 운동장 전체를 풀스크린으로 촬영하기 위한 디지털 카메라(10)와, 실제 경기에 참여하는 선수들의 부분적인 클로즈업 영상을 촬영하기 위한 카메라들(21, 22, 23)과, 상기 디지털카메라(10)로 촬영한 디지털영상을 디지털 데이타로 변환하기 위한 변환수단(31)과, 변환된 디지털 데이타의 각각의 영상에 사용된 색을 추출하고 군집화하여 각각의 의미를 부여하는 분석수단(32)과, 추출된 색과 선수들의 움직임을 검색하여 의미가 있다고 판단되는 색을 추출하여 의미를 부여하는 검색수단(33)과, 시청자에게 의미가 있는 색상에 대한 정보중에서 움직임이 있다고 판단되는 색상에 대하여 프로그램에서 정의한 기호 또는 모양을 통하여 쉽게 볼 수 있도록 하는 방법을 이용하여 대표이미지로 변환하는 이미지변환수단(34)과, 상기 카메라들이(21, 22, 23) 촬영한 클로즈업 영상과 상기 이미지변환수단(34)에 의하여 변환된 이미지영상을 합성하는 합성수단(35)과, 상기 합성수단(35)에 의하여 합성된 영상을 디스플레이시키는 디스플레이수단(40)으로 구성된다.

상기 분석수단은 색상을 분석하는 시스템인 알지비(RGB:red, green, and blue)를 이용하며, 알지비는 시각적 스펙트럼내에서 어떤 색상을 얻기 위해 적, 녹, 청이 다양한 비율로 섞여질 수 있으며, RGB의 레벨은 0~100%까지 변화할 수 있고, 각 레벨은 256가지 레벨 범위로 나타내어진다.

도 5는 본 발명에 따른 운동장 전체의 풀스크린 촬영한 영상을 이미지화하여 나타낸 화면상태도이다.

도시한 바와 같이, 도 2의 풀스크린 화면을 카메라(10)로 촬영하여 색상에 대한 정보와 선수들의 움직임에 대한 정보를 분석하여 시청자에게 의미가 있는 색상에 대한 정보중에서 움직임이있다고 판단되는 색상에 대하여 프로그램에서 정의한 기호 또는 모양을 통하여 보다 시청이 쉽고, 선수들의 구별이 가능하도록 하는 방법을 이용하여 이미지영상을 만들어 디스플레이시킨다. 카메라(21, 22, 23)로 촬영되는 부분은 촬영되지 않는 부분과 구별이 가능하도록 다른 이미지영상을 디스플레이시킨다.

도 6은 본 발명에 따른 합성 이미지를 디스플레이한 화면상태도이다.

도시한 바와 같이, 카메라(10)에 의하여 촬영된 풀스크린 영상을 도 5에 나타난것과 같이 이미지화하여 나타낸 화면을 축소하여 도 1의 클로즈업 화면의 한부분에 고착시켜 사용한다. 도 5의 이미지화면은 도 1의 클로즈업 화면을 가리지 않기 때문에 클로즈업된 선수들의 움직임을 시청할 수 있고, 선수들의 움직임에 따라서 이미지가 움직이도록 한다. 클로즈업된 선수들의 움직임과 다른 선수들의 움직임을 구별이 가능하도록 서로 다른 이미지로 나타낸다.

도 7은 본 발명에 따른 합성 이미지 디스플레이 방법을 나타낸 흐름도로써 이를 참조하여 본 발명의 작용을 더욱 상세히 설명하면 다음과 같다.

도시한 바와 같이, 카메라(10)로 경기장 전체를 풀스크린으로 촬영하고, 관리서버(30)의 변환수단(31)은 풀스크린으로 촬영한 영상을 디지털 데이타로 변환시킨다(S210). 관리서버(30)의 분석수단(32)은 변환된 데이타의 각각의 색상에 대한 정보와 움직임에 대한 정보를 분석한다(S220). 분석수단에서는 군집화와 알고리즘을 이용하여 대표적인 군집화 알고리즘으로는 케이-민스( 이하 K-Means)알고리즘이라는 방법으로 접근한다. 고전적으로 널리 쓰이고 있는 클러스트링 알고리즘중에서 K-Means알고리즘은 K개의 초기 중심 픽셀을 대상으로 이들 픽셀들의 밝기값에 근접한 픽셀들을 모은 후에, 이들 중심 픽셀들의 평균값을 구하여 다음 반복 처리의 중심값으로 결정하는 방법으로 군집과 평균과정을 더 이상 평균값이 변하지 않을 때까지 반복 처리하는 알고리즘이다. 따라서 K의 수나 초기 중심값을 설정하는 것이 이 알고리즘의 가장 중요한 문제이며, 시행착오와 영상을 보는 주관적 관점에 의하여 결정하는 것이 일반적이다. K-means알고리즘의 K값 결정문제와 중심 픽셀의 결정문제를 개선할 수 있는 방법을 제시하면 다음과 같다. 먼저 칼라 영상의 알지비값 분포영역을 각각 이등분하여 2×2×2의 8개 클래스로 분할한다. 이들 8개의 클래스에 속하는 픽셀들의 존재 유무를 판단하고, 존재하는 클래스의 수를 K값으로 결정한다. 다음으로는 K개 클래스에 속하는 픽셀들의 중심, 반경을 구하여 서로 겹치는가 확인 후, 겹치는 것에 속하는 것을 한개의 클래스로 간주하여 새로운 K를 구하는 과정을 거친 후, 이에 해당하는 픽셀 값들의 평균값을 클러스트링을 위한 초기 중심값으로 결정한다. 색상에 대한 정보분석은 컴퓨터 디스플레이에서 사용될 색상을 나타내는 시스템인 알지비를 이용하여 색상의 분포도와 변화도 및 군집도등을 분석한다. 분석수단(32)이 분석한 정보에 따라 관리서버(30)의 검색수단(33)은 색과 움직임을 검색하여 의미가 있다고 판단되는 색을 추출하고 추출된 색상에 의미를 부여한다(S230). 검색수단에서는 각각의 색상에 대한 변화도와 그 색들의 위치정보를 벡터로 가지고 있는데, 그들의 변화도로써 구분한다. 관리서버(30)의 이미지변환수단(34)은 시청자에게 의미가 있는 색상에 대한 정보중에서 움직임이 있다고 판단되는 색상에 대하여 관리서버에서 규정한 기호 또는 모양으로 시청자가 시청이 용이하도록 추출된 색을 대표이미지로 변환한다(S240). 관리서버(30)의 합성수단(35)은 카메라(21, 22, 23)로 촬영한 클로즈업 촬영영상과 상기 이미지변환수단(34)에 의하여 변환된 대표이미지를 합성한다(S250). 디스플레이수단(40)은 상기 합성화면을 시청자들에게 디스플레이 시킨다(S260).

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

이상에서 설명한 바와 같이, 본 발명에 따른 스포츠이미지 디스플레이 장치및 방법은 사용자가 TV시청을 하면서도 마치 운동장에 있다는 듯한 느낌을 가질 수 있는 효과가 있다.

다른 효과는 기존의 단체경기에서 보지 못했던 선수들의 위치 및 움직임을 알아볼 수 있기 때문에 선수관리 및 게임의 전반적인 데이타를 정리할 수 있는 효과가 있다.

또 다른 효과는 기존 기술의 결과화면과 새로운 기술의 결과화면을 비교해 보았을 때 두개의 화면이 겹칠 경우에, 화면의 크기 및 시각효과에 영향을 주지 않는 효과가 있다.

Claims (6)

1. 경기장 전체를 풀스크린으로 촬영하는 카메라(10);

   부분적인 클로즈업 영상을 촬영하는 카메라(21, 22, 23);

   상기 카메라(10)로 촬영한 풀스크린영상을 디지털 데이타로 변환하기 위한 변환수단(31); 상기 변환수단(31)에 의하여 변환된 디지털 데이타의 각각의 영상에 사용된 색을 추출하고 군집화하는 분석수단(32); 추출된 색과 선수들의 움직임을 검색하여 의미가 있다고 판단되는 색에 의미를 부여하는 검색수단(33); 시청자에게 의미가 있는 색상에 대한 정보중에서 움직임이 있다고 판단되는 색상에 대하여 대표이미지로 변환하는 이미지 변환수단(34); 및 상기 카메라(21, 22, 23)가 촬영한 클로즈업 영상과 상기 이미지 변환수단(34)에 의하여 변환된 이미지영상을 합성하는 합성수단(35)으로 구성된 관리서버(30) 및

   합성된 영상을 디스플레이시키는 디스플레이수단(40)으로 구성되는 것을 특징으로 하는 합성 이미지 디스플레이 장치.
2. 제 1 항에 있어서, 상기 이미지변환수단(34)은 상기 카메라(21, 22, 23)로 촬영한 영상에 대응하는 이미지와 풀스크린 영상에 대응하는 대표이미지를 구분가능하게 표현하는 것을 특징으로 하는 합성 이미지 디스플레이 장치.
3. 제 1 항에 있어서, 상기 분석수단(32)은 RGB를 이용하여 상기 카메라(21, 22, 23)로 촬영한 영상과 풀스크린 영상의 추출된 색상을 분석하는 것을 특징으로 하는 합성 이미지 디스플레이 장치.
4. 카메라(10)로 경기장 전체를 풀스크린으로 촬영하고, 촬영한 영상을 디지털 데이타로 변환시키는 단계(S210);

   상기 변환된 데이타의 각각의 색상에 대한 정보와 움직임에 대한 정보를 분석하는 단계(S220);

   분석한 정보에 따라 색과 움직임을 검색하여 의미가 있다고 판단되는 색을 추출하고, 추출된 색상에 의미를 부여하는 단계(S230);

   상기 추출된 색을 대표이미지로 변환하는 단계(S240);

   카메라(21, 22, 23)로 촬영한 클로즈업 영상과 상기 대표이미지를 합성하는 단계(S250);

   상기 합성화면을 시청자들에게 디스플레이 시키는 단계(S260)로 이루어지는 것을 특징으로 하는 합성 이미지 디스플레이 방법.
5. 제 4 항에 있어서, 분석단계(S220)는 K-means알고리즘을 이용하는 것을 특징으로 하는 합성 이미지 디스플레이 방법.
6. 제 4 항에 있어서, 이미지 변환단계(S240)는 상기 카메라(21, 22, 23)로 촬영한 클로즈업 영상에 대응하는 이미지와 풀스크린 영상 이미지를 구분가능하게 표현하는 것을 특징으로 하는 합성 이미지 디스플레이 방법.