KR101873257B1 - 카메라 제어장치 및 그 장치의 구동방법 - Google Patents

카메라 제어장치 및 그 장치의 구동방법 Download PDF

Info

Publication number
KR101873257B1
KR101873257B1 KR1020160179630A KR20160179630A KR101873257B1 KR 101873257 B1 KR101873257 B1 KR 101873257B1 KR 1020160179630 A KR1020160179630 A KR 1020160179630A KR 20160179630 A KR20160179630 A KR 20160179630A KR 101873257 B1 KR101873257 B1 KR 101873257B1
Authority
KR
South Korea
Prior art keywords
camera
marker
image
area
detecting
Prior art date
Application number
KR1020160179630A
Other languages
English (en)
Inventor
장정훈
최준호
장민기
Original Assignee
주식회사 인텔리빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인텔리빅스 filed Critical 주식회사 인텔리빅스
Priority to KR1020160179630A priority Critical patent/KR101873257B1/ko
Application granted granted Critical
Publication of KR101873257B1 publication Critical patent/KR101873257B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라 제어장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 카메라 제어장치는, 기설정된 장소의 마커가 촬영된 제1 영상을 제1 카메라로부터 수신하고, 장소가 촬영되는 제2 영상을 제2 카메라로부터 수신하는 통신 인터페이스부, 및 제1 영상에서 검출된 마커의 위치에 대한 좌표값과 촬영 중에 검출된 마커를 화면의 중앙으로 위치시킬 때 제2 카메라가 변동하는 변동값 간에 대응 관계를 결정하고, 결정한 대응 관계로부터 산출된 제2 카메라와 지평면 사이의 변환 관계를 적용해 제2 카메라를 제어하는 제어부를 포함할 수 있다.

Description

카메라 제어장치 및 그 장치의 구동방법{Apparatus for Controlling Camera and Driving Method Thereof}
본 발명은 카메라 제어장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 마커(marker)를 기반으로 다중 보조 카메라의 세팅 또는 캘리브레이션을 자동으로 수행하려는 카메라 제어장치 및 그 장치의 구동방법에 관한 것이다.
일반적인 방송 시스템에서 시청자는 방송사가 제공하는 시점의 영상 콘텐츠만 소비할 수 있었다. 그러나, 최근 들어서는 인터넷의 발달 및 영상 콘텐츠의 전달/소비 방식이 다변화됨에 따라, 동일 대상에 대해 단일 시점(Point of view)의 영상 콘텐츠가 아닌 다시점의 영상 콘텐츠를 제공하고, 시청자는 자신이 원하는 시점의 영상 콘텐츠를 선택하여 볼 수 있는 여건이 조성되고 있다. 이러한 멀티미디어 환경에서 동일 대상에 대한 다시점의 영상 콘텐츠를 획득하는 방법은 다수의 카메라들을 공간적으로 분산하여 설치하고, 카메라들이 동일 대상을 가리키도록 배치한 후 촬영하는 것이다. 그러나 촬영 대상이 한 장소에만 있는 것이 아니라 여러 장소에 있거나, 촬영 대상이 계속 이동하는 경우 개별 카메라를 일일이 수동 제어하여 대상물을 촬영하기에는 어려움이 뒤따른다. 이에 분산되어 있는 카메라들이 움직이는 대상을 촬영할 수 있도록 자동 제어하는 시스템이 요구되고 있다.
한편, 지능형 영상감지 기술은 CCTV 시스템을 활용하여 도심통합관제, 침입자 탐지/추적기능, 이벤트 감지 기능 등에 활용되고 있다. 광범위한 지역에서 여러 대의 카메라를 설치하는 경우 흔히 고정 카메라와 PTZ(Pan Tilt Zoom) 카메라가 사용된다. PTZ 카메라는 카메라 렌즈의 방향을 자유자재로 움직일 수 있는 카메라로, PTZ는 Pan(좌우이동), Tilt(상하이동), Zoom(이미지 확대 및 축소)을 의미한다.
그런데, 종래 보조 카메라로 사용되는 PTZ 카메라는 고정 카메라를 따라 움직이도록 제어되고 있기 때문에 고정 카메라의 촬영 시점을 변경하는 경우 동일 객체를 촬영하기 위해서는 PTZ 카메라를 작업자가 일일이 고정 카메라의 촬영 시점에 맞추어 자세를 변경해 주어야 하는 번거로움이 있다.
또한, 종래에는 작업자가 실내 농구장 등의 특정 장소에 PTZ 카메라를 설치할 경우, 고정 카메라에 동기화하여 정확히 세팅하는 데에도 많은 어려움이 있다.
한국공개특허 제10-2014-0054780, 2014년 5월 9일 공개(명칭 : 복수의 카메라 제어 방법과 그를 위한 카메라 제어 장치 한국등록특허 제10-1567359, 2015년 8월 19일 공개(명칭 : PTZ 카메라에 대한 자동 캘리브레이션 장치 및 방법) 한국등록특허 제10-1302073, 2013년 8월 26일 공개(명칭: 지능형 동체 추적 카메라 시스템) 한국등록특허 제10-0978721, 2010년 2월 10일 공개(명칭: 전방위 카메라 및 PTZ 카메라를 연동하여 촬영하는 촬영장치, 촬영방법 및 그 기록매체)
본 발명의 실시예는, 가령 마커를 기반으로 다중 보조 카메라의 세팅 또는 캘리브레이션을 자동으로 수행하는 카메라 제어장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 카메라 제어장치는, 기설정된 장소의 마커가 촬영된 제1 영상을 제1 카메라로부터 수신하고, 상기 장소가 촬영되는 제2 영상을 제2 카메라로부터 수신하는 통신 인터페이스부, 및 상기 제1 영상에서 검출된 상기 마커의 위치에 대한 좌표값(x, y)과 상기 촬영 중에 검출된 상기 마커를 화면의 중앙으로 위치시킬 때 상기 제2 카메라가 변동하는 변동값(θP, θT) 간에 대응 관계를 결정하고, 상기 결정한 대응 관계로부터 산출된 상기 제2 카메라와 지평면(ground plane) 사이의 변환 관계(homography)를 적용해 상기 제2 카메라를 제어하는 제어부를 포함한다.
상기 제어부는, 적어도 4개의 마커를 사용하여 각각 검출한 상기 좌표값과 상기 변동값의 대응 쌍을 근거로 상기 대응 관계를 설정하고, 상기 대응 쌍에 의해 각각 설정된 대응 관계를 근거로 상기 변환 관계를 산출할 수 있다.
상기 제어부는, 상기 마커를 화면의 중앙으로 위치시킬 때, 상기 마커를 줌인하면서 화면의 중앙으로 위치시킬 수 있다.
상기 제어부는, 관계식
Figure 112016127729739-pat00001
(여기서, X=cosθTsinθP,Y=cosθTsinθP,Z=sinθP)에 의해 상기 변환 관계를 산출할 수 있다.
상기 제어부는, 상기 제2 카메라의 렌즈부의 방향을 좌우이동 및 상하이동시켜 얻은 좌표값을 상기 변동값으로 검출할 수 있다.
상기 제어부는, 상기 제2 카메라의 제2 영상에서 상기 마커에 대한 좌표값을 더 검출하며, 입력된 RGB의 상기 제1 영상 및 상기 제2 영상을 HSV 포맷으로 변환하고, 상기 변환한 HSV 포맷의 영상을 근거로 상기 마커의 일측 제1 영역과 타측 제2 영역에 대한 후보군을 각각 생성하며, 상기 생성한 각각의 제1 영역 및 제2 영역의 후보군을 근거로 상기 제1 영역과 상기 제2 영역의 상관 관계를 판단하고, 판단 결과 상기 제1 영역이 상기 제2 영역에 포함되고 상기 제1 영역의 면적이 가장 클 때 상기 제1 영역의 위치에 대한 좌표를 상기 마커의 좌표값으로 검출할 수 있다.
또한, 본 발명의 실시예에 따른 카메라 제어장치의 구동방법은, 제1 카메라에서 촬영한 제1 영상에서 기설정된 장소에 위치하는 마커의 위치에 대한 좌표값(x, y)을 검출하는 단계, 제2 카메라로 상기 장소를 촬영 중에 검출된 상기 마커를 화면의 중앙으로 위치시킬 때 변동되는 상기 제2 카메라의 변동값(θP, θT)을 검출하는 단계, 상기 검출한 좌표값과 변동값 간에 대응 관계를 결정하고, 상기 결정한 대응 관계로부터 상기 제2 카메라와 지평면 사이의 변환 관계를 산출하는 단계, 및 상기 산출한 변환 관계를 적용해 상기 제2 카메라를 제어하는 단계를 포함한다.
상기 변환 관계를 산출하는 단계는, 적어도 4개의 마커를 사용하여 각각 검출한 상기 좌표값과 상기 변동값의 대응 쌍을 근거로 상기 대응 관계를 설정하는 단계, 및 상기 대응 쌍에 의해 각각 설정된 대응 관계를 근거로 상기 변환 관계를 산출하는 단계를 포함할 수 있다.
상기 제2 카메라의 변동값을 검출하는 단계는, 상기 마커를 화면의 중앙으로 위치시킬 때, 상기 마커를 줌인하면서 화면의 중앙으로 위치시킬 수 있다.
상기 변환 관계를 산출하는 단계는, 관계식
Figure 112016127729739-pat00002
(여기서, X=cosθTsinθP,Y=cosθTsinθP,Z=sinθP)에 의해 산출할 수 있다.
상기 제2 카메라의 변동값을 검출하는 단계는, 상기 제2 카메라의 렌즈부의 방향을 좌우이동 및 상하이동시켜 얻은 좌표값을 상기 변동값으로 검출할 수 있다.
상기 카메라 제어장치의 구동방법은, 상기 제2 카메라의 제2 영상에서 상기 마커에 대한 좌표값을 각각 검출하는 단계를 더 포함하며, 상기 마커에 대한 좌표값을 검출하는 단계는, 입력된 RGB의 상기 제1 영상 및 상기 제2 영상을 HSV 포맷으로 변환하는 단계, 상기 변환한 HSV 포맷의 영상을 근거로 상기 마커의 일측 제1 영역과 타측 제2 영역에 대한 후보군을 각각 생성하는 단계, 상기 생성한 각각의 제1 영역 및 제2 영역의 후보군을 근거로 상기 제1 영역과 상기 제2 영역의 상관 관계를 판단하는 단계, 및 판단 결과 상기 제1 영역이 상기 제2 영역에 포함되고 상기 제1 영역의 면적이 가장 클 때 상기 제1 영역의 위치에 대한 좌표를 상기 마커의 좌표값으로 검출하는 단계를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는, 카메라 제어방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 카메라 제어방법은, 제1 카메라에서 촬영한 제1 영상에서 기설정된 장소에 위치하는 마커의 위치에 대한 좌표값(x, y)을 검출하는 단계, 제2 카메라로 상기 장소를 촬영 중에 검출된 상기 마커를 화면의 중앙으로 위치시킬 때 변동되는 상기 제2 카메라의 변동값(θP, θT)을 검출하는 단계, 상기 검출한 좌표값과 변동값 간에 대응 관계를 결정하고, 상기 결정한 대응 관계로부터 상기 제2 카메라와 지평면 사이의 변환 관계를 산출하는 단계, 및 상기 산출한 변환 관계를 적용해 상기 제2 카메라를 제어하는 단계를 실행한다.
본 발명의 실시예 따르면, 가령 PTZ 카메라와 같은 보조 카메라를 고정식 카메라와 같은 주 카메라에 동기화시키는 것이 자동으로 이루어지므로 그만큼 카메라의 세팅 작업이 편해질 것이다.
또한, 자동 세팅 등에 의한 캘리브레이션 작업이 이루어지고, 나아가 마커를 추가로 이용하게 됨으로써 카메라를 수작업으로 조정하는 것에 비하여 더욱 정밀한 조정이 이루어지게 되어 결국 영상 촬영의 정밀도가 증대될 것이다.
도 1은 본 발명의 실시예에 따른 다중 카메라 제어 시스템을 나타내는 도면,
도 2는 도 1에 사용된 시연용 마커를 예시하여 나타낸 도면,
도 3은 본 발명의 제1 실시예에 따른 도 1의 카메라 제어장치의 세부 구조를 나타내는 블록다이어그램,
도 4는 본 발명의 제2 실시예에 따른 도 1의 카메라 제어장치의 세부 구조를 나타내는 블록다이어그램,
도 5는 캘리브레이션 과정을 설명하기 위한 도면,
도 6은 캘리브레이션 과정을 설명하기 위한 UI 화면,
도 7은 본 발명의 제1 실시예에 따른 캘리브레이션 과정을 나타내는 흐름도,
도 8은 본 발명의 제2 실시예에 따른 캘리브레이션 과정을 나타내는 흐름도, 그리고
도 9는 본 발명의 실시예에 따른 마커 검출 과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 다중 카메라 제어 시스템을 나타내는 도면이고, 도 2는 도 1에 사용된 시연용 마커를 예시하여 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 다중 카메라 제어 시스템(90)은 제1 카메라(100), 제2 카메라(110) 및 카메라 제어장치(120)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 카메라 제어장치(120)와 같은 일부 구성요소가 생략되어 시스템(90)이 구성되거나, 카메라 제어장치(120)와 같은 일부 구성요소가 제1 카메라(100) 및/또는 제2 카메라(110)에 통합하여 구성되어 카메라 간 다이렉트 통신을 수행할 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
제1 카메라(100)는 가령 고정식 카메라를 포함한다. 여기서, "고정식 카메라"란 고정된 위치에서 대상 지역(ex. 지평면)을 촬영하며, 제2 카메라(110)와 달리 객체를 따라 렌즈가 회전하는 기능은 없는 카메라를 나타낸다. 물론 본 발명의 실시예에서는 이에 특별히 한정하지는 않을 것이다. 제1 카메라(100)는 가령 농구 코트의 지평면(ground plane)을 촬영하여 촬영된 영상을 카메라 제어장치(120)로 제공할 수 있다. 본 발명의 실시예에 따라 제1 카메라(100)는 제2 카메라(110)가 자신에게 동기화될 수 있도록 지평면에 설치되어 있는 마커(130), 예컨대 적어도 4곳에 위치하는 마커(130a~130d))를 촬영하여 취득한 제1 영상을 카메라 제어장치(120)로 제공할 수 있다.
물론 제1 카메라(100)는 마커(130)가 촬영된 제1 영상(ex. 정지 영상)을 제공하지 않고, 촬영된 영상을 자체적으로 분석하여 마커(130)의 위치를 검출하고, 검출한 위치의 좌표값(x, y)만을 카메라 제어장치(120)로 제공할 수 있을 것이다. 따라서, 본 발명의 실시예에서는 마커(130)에 대한 위치를 검출함에 있어 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 만약, 제1 카메라(100)가 좌표값(x, y)만을 카메라 제어장치(120)로 제공한다면, 절대 좌표값 및 상대 좌표값 중 어느 하나의 형태로 제공할 수 있고, 이또한 시스템 설계자에 의해 결정될 수 있는 것이다.
제2 카메라(110)는 보조 카메라로서 가령 PTZ(Pan-Tilt-Zoom) 카메라를 포함한다. 제2 카메라(110)는 고정된 영역에서 카메라 렌즈부의 방향을 자유자재로 움직여 대상을 촬영하는 카메라이며 좌우이동(Pan), 상하이동(Tilt), 줌-인/아웃(Zoom in, Zoom out)의 제어가 가능하다. 다시 말해, 제2 카메라(110)는 카메라 제어장치(120)에서 제어 신호(혹은 제어 데이터)를 제공하면, 수신된 제어 신호에 따라 제어된다고 볼 수 있다. 이러한 제2 카메라(110)는 제1 카메라(100)가 지향하는 객체와 동일한 객체를 추적하기 위하여 동기화가 필요하며, 이를 위하여 본 발명의 실시예에서는 가령 마커(130)를 기반으로 한 캘리브레이션 동작을 수행한다. 다시 말해, 제2 카메라(110)는 마커(130)를 기반으로 산출된 호모그래피 즉 지평면과 제2 카메라(110)의 변환 관계를 적용해 자신의 자세를 변경한다. 즉 렌즈부의 방향을 조정한다. 이를 통해 제2 카메라(110)는 제1 카메라(100)에 동기화된다.
동기화 동작(ex. 세팅, 캘리브레이션)이 완료되면, 제2 카메라(110)는 카메라 제어장치(120)에서 제공하는 제어 데이터에 따라 제어된다. 여기서 제어 데이터는 제1 카메라(100)가 촬영하여 카메라 제어장치(120)로 제공한 제1 영상을 근거로 생성되는 PTZ 제어 정보(혹은 제어 데이터)를 포함한다. 따라서, 가령 제1 카메라(100)와 제2 카메라(110)가 어떠한 객체를 추적할지가 결정되었다면, 제2 카메라(110)는 여러 방향에서 제1 카메라(100)와 동일한 객체를 촬영하여 취득한 제2 영상을 카메라 제어장치(120)로 제공할 수 있을 것이다. 예를 들어, 제1 카메라(100)가 화면의 중앙에 특정 객체를 계속해서 비추고 있다면 제2 카메라(110)는 이를 근거로 제1 카메라(100)가 추적하려는 객체로 판단할 수 있다. 또는 제1 카메라(100)가 화면에 특정 객체를 잡은 후 별도의 신호를 보내면 이를 근거로 제2 카메라(110)는 제1 카메라(100)가 추적하려는 객체를 판단할 수도 있을 것이다.
카메라 제어장치(120)는 복수의 카메라와 연결되어 데이터를 교환하며, 촬영된 데이터를 활용하는 정보기기로서, 데스크탑 및 랩탑 컴퓨터, 태블릿 PC, 스마트폰, 영상표시장치(ex. TV), PMP(Portable Multimedia Player) 등 다양한 전자기기를 포함할 수 있다. 설명의 편의상 도시하지는 않았지만, 카메라 제어장치(120)는 복수의 카메라와 통신망(미도시)을 경유하여 통신할 수 있다. 통신망은 유무선 통신망을 포함하며, 와이파이(Wi-Fi), 블루투스와 같은 근거리 통신망을 더 포함할 수 있다. 카메라 제어장치(120)는 액세스포인트(AP)에 접속하여 통신사의 3G 통신망(ex. CDMA, WCDMA, Wibro 등), LTE 및 향후 구현될 클라우드 통신망을 경유하여 복수의 카메라와 통신을 수행할 수 있다. 물론, 본 발명의 실시예에서는 농구 경기장 등에서 별도의 통신망을 경유하지 않고, 다이렉트(P2P) 통신을 통해 직접 통신하는 것도 얼마든지 가능하므로, 위의 내용에 특별히 한정하지는 않을 것이다.
카메라 제어장치(120)는 제1 카메라(100)에서 촬영된 제1 영상의 마커(130)를 기반으로 생성된 보정값에 따라 제2 카메라(110)를 제어한다. 예컨대, 제1 카메라(100)와 동일 객체를 추적하기 위하여 제어 데이터에 따라 제어되는 것은 논외로 한다하더라도, 제2 카메라(110)를 제1 카메라(100)에 동기화하기 위한 캘리브레이션 동작을 수행한다. 이에 본 발명의 실시예에 따른 카메라 제어장치(120)는 캘리브레이션 장치라 명명될 수 있다. 여기서, "캘리브레이션"은 제2 카메라(110)를 수작업으로 특정 장소에 설치한 이후에 제2 카메라(110)를 제1 카메라(100)에 세팅 즉 동기화하는 과정으로 이해해도 좋다. 카메라 제어장치(120)는 제1 영상 내의 마커(130)의 위치를 근거로 설정된 대응 관계로부터 제2 카메라(110)와 지평면 간 호모그래피 즉 변환 관계를 산출해낸다. 그리고, 그 산출한 변환 관계를 적용해 제2 카메라(110)를 제1 카메라(100)에 동기화시킨다.
이를 위하여 카메라 제어장치(120)는 제1 카메라(100)의 제1 영상에서 마커(130)의 위치에 대한 2차원 평면상의 좌표값(x, y)을 검출하고, 또 제2 카메라(110)에서 제공하는 촬영 영상 즉 제2 영상에서 마커(130)가 검출되면 검출된 마커(130)를 화면의 중앙에 위치시킬 때 변동하는 제2 카메라(110)의 변동값, 가령 PTZ 좌표값(θT, θP)을 검출하여 각각 검출된 좌표값과 PTZ 좌표값을 근거로 둘 사이의 대응 관계(ex. 방정식)를 설정하고, 이를 근거로 제2 카메라(110)와 지평면 사이의 호모그래피를 계산한다. 이때, 카메라 제어장치(120)는 적어도 4개 이상의 좌표 대응쌍(ex. 좌표값: 변동값)을 이용하게 되는데, 이는 4개 이상의 마커(130a~130d)를 통해 얻을 수 있다. 즉, 각 대응쌍에 의한 각각의 대응 관계가 설정되고, 각각의 대응 관계들에 의해 최종적으로 원하는 호모그래피가 계산된다. 카메라 제어장치(120)는 이와 같이 계산된 호모그래피를 동기화에 적용하게 된다.
마커(130)는 카메라 캘리브레이션을 수행하기 위한 제1 카메라(100)와 제2 카메라(110) 간의 대응 위치 설정에 대한 기준점이 된다. 각 마커들(130a~130d)은 안쪽, 중간 및 바깥의 세 가지 색상으로 구성될 수 있고, 각각의 마커들(130a~130d)은 서로 다른 색으로 구성될 수 있다. 도 1 및 도 2에서 볼 때 동일 해칭(hatching)은 동일 색상을 나타낸다.
또한, 도 2에서와 같이 내부(200)와 외부(210)에 두 가지 색상으로 구성된 판을 각각 X, Y, Z 축마다 배치하여 어느 각도에서도 마커(130)가 검출되도록 제작될 수도 있다. 이러한 색상 구분은 영상에서 특정 마커(130)를 정확히 판별해 내는 데에 유용할 수 있을 것이다.
마커(130)는 지평면 즉 기준평면(95)상에 배치되며, 제2 카메라(110)의 캘리브레이션을 위해 사용된다. 제2 카메라(110)의 좀 더 정확한 캘리브레이션 동작을 수행하기 위하여, 마커(130)는 도 1에서와 같이 지평면 상에서 적어도 4개소에 배치될 수 있다. 다시 말해, 카메라 제어장치(120)는 각각의 마커들(130a~130d)에 대한 좌표 대응쌍을 생성하고, 이에 의해 설정된 대응 관계들을 근거로 호모그래피를 계산할 수 있게 된다. 여기서, 기준평면(95)은 제2 카메라(110)에서 여러 각도에서 촬영한 평면 중에서 임의로 선택된 평면으로, 제1 카메라(100) 및 제2 카메라(110) 사이에서 객체의 좌표 변환의 편의를 위한 매개 평면으로서의 역할을 수행한다.
도 3은 본 발명의 제1 실시예에 따른 도 1의 카메라 제어장치의 세부 구조를 나타내는 블록다이어그램이다.
도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 카메라 제어장치(120)는 통신 인터페이스부(300) 및 제어부(310)를 포함한다.
통신 인터페이스부(300)는 도 1의 제1 카메라(100) 및 제2 카메라(110)와 통신을 수행한다. 통신 인터페이스부(300)는 제1 카메라(100)로부터 제1 영상을 수신하여 제어부(310)로 전달하고, 제2 카메라(110)로부터 제2 영상을 실시간으로 수신하여 제어부(310)로 전달한다. 또한, 통신 인터페이스부(300)는 제어부(310)의 제어 하에 제2 카메라(110)를 제1 카메라(100)에 동기화하기 위한 캘리브레이션 값을 제공하며, 이후 제1 카메라(100)에 동기화하여 제2 카메라(110)를 제어하기 위한 제어 데이터를 제2 카메라(110)로 전송한다.
제어부(310)는 예컨대 도 3에서와 같이 CPU(311) 및 캘리브레이션 실행부(313)를 포함할 수 있다. 물론 제어부(310)는 영상 처리를 수행하기 위하여 변조 및 복조기, 디먹스, 디코더 및 스케일러 등을 더 포함할 수 있는데, 이는 발명의 요지를 흐릴 수 있어 편의상 생략하도록 한다. CPU(311)는 제어회로, 연산부(ALU) 및 레지스터 등을 포함할 수 있으며, 캘리브레이션 실행부(313)는 캘리브레이션 프로그램이 저장되어 있는 메모리를 포함할 수 있다. 이때, 메모리는 이이피롬(EEPROM) 및 램(RAM)을 포함할 수 있을 것이다.
제어부(310) 즉 CPU(311)는 카메라 제어장치(120)의 전반적인 제어 동작을 수행한다. 예를 들어, CPU(311)는 캘리브레이션 실행부(313)를 가동시켜 보정값 즉 캘리브레이션 값을 생성하고, 이를 제2 카메라(110)에 제공할 수 있다. 또한, CPU(311)는 제1 카메라(100)에 동기화시켜 제2 카메라(110)를 제어하기 위한 제어 데이터를 생성하여 제2 카메라(110)로 제공할 수 있다. 이때 제어 데이터는 2차원 평면상의 좌표값 즉 객체 이동값을 각도값으로 좌표 변환한 PTZ 좌표값을 포함할 수 있다.
캘리브레이션 실행부(313)는 제1 카메라(100)의 제1 영상에서 검출된 마커(130)의 위치를 기반으로 제2 카메라(110)와 지평면 사이의 호모그래피를 계산하고, 계산한 호모그래피를 적용해 제2 카메라(110)가 캘리브레이션 동작을 수행하도록 다양한 연산 동작을 수행한다. 이를 위하여, 캘리브레이션 실행부(313)는 내부에 저장된 프로그램(ex. 알고리즘)을 CPU(311)의 제어 하에 실행시킬 수 있다. 물론 본 발명의 실시예에서는 소프트웨어 형태의 프로그램을 예시하였지만, 이는 하드웨어 모듈로 대체되거나 하드웨어 모듈과 적절히 조합되어 다양한 형태로 구현될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 기타 캘리브레이션을 위한 자세한 동작은 계속해서 도 4를 통해 살펴보기로 한다.
도 4는 본 발명의 제2 실시예에 따른 도 1의 카메라 제어장치의 세부 구조를 나타내는 블록다이어그램이고, 도 5는 캘리브레이션 과정을 설명하기 위한 도면이며, 도 6은 캘리브레이션 과정을 설명하기 위한 UI 화면이다.
도 4에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 도 1의 카메라 제어장치(120')는 제어부(400), 캘리브레이션 실행부(410) 및 관리부(420)의 일부 또는 전부를 포함한다.
제어부(400)는 가령 카메라 보정부(416)에서 제공되는 보정값에 따라 제2 카메라(110)를 보정하여 제1 카메라(100)와 동기화시킬 수 있다. 또한, 제어부(400)는 동기화 이후에 좌표 변환부(414)에서 제공되는 PTZ 제어 데이터를 근거로 제2 카메라(110)의 자세, 가령 렌즈 방향을 제어할 수 있을 것이다.
캘리브레이션 실행부(410)는 영상 획득부(411), 영상 표출부(412), 마커 검출부(413), 좌표 변환부(414), 대응관계 설정부(415) 및 카메라 보정부(416)의 일부 또는 전부를 포함할 수 있으며, 여기서, "일부 또는 전부를 포함한다"는 것은 앞서서의 의미와 동일하다. 예를 들어, 캘리브레이션 실행부(410)는 각 구성요소가 SW 모듈을 구성할 수 있지만, 적어도 하나는 HW 모듈로 구성될 수도 있고, 이들의 결합에 의해 구성될 수도 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않으며, 다만 발명의 충분한 이해를 돕기 위하여 분리되어 있는 것으로 설명하고자 한다.
영상 획득부(411)는 비디오 프레임 큐로부터 독출한 비디오 프레임 데이터 또는 비디오 프레임의 비트맵 데이터를 영상 표출부(412) 및 마커 검출부(413)로 전달한다.
영상 표출부(412)는 제1 카메라(100) 및 제2 카메라(110)의 영상을 실시간으로 화면상의 지정된 영역에 렌더링한다. 가령 영상 표출부(412)는 디스플레이(부)에 연동하는 그래픽 처리부를 포함할 수 있을 것이다. 그래픽 처리부는 디코딩, 스케일링 등의 동작을 수행할 수 있다.
마커 검출부(413)는 도 5에서 볼 수 있는 바와 같이 제1 카메라(100)와 제2 카메라(110)의 촬영 영상에서 마커(130)의 위치를 각각 검출한다. 가령 영상이 매크로블록 단위로 수신되면, 수신된 매크로블록의 화소값을 분석하여 도 1의 마커(130)에 해당하는 색상이 검출되는지를 판단할 수 있다. 만약 동일한 색상이 검출되면, 이를 근거로 마커(130)를 판단하고, 해당 위치의 마커(130)에 대한 좌표값을 산출한다. 좌표값은 가령 하나의 단위 프레임에서 해당 마커(130)가 위치하는 픽셀의 위치를 가령 절대 좌표값으로 산출할 수 있을 것이다.
또는, 마커 검출부(413)는 본 발명의 실시예에 따라 제1 카메라(100) 및/또는 제2 카메라(110)에서 입력된 RGB 영상을 HSV 포맷으로 변환하고, 변환된 영상을 근거로 영상을 이진화하여 모폴로지 연산을 수행하며, 레이블링된 블롭들을 이용하여 영상에서 마커(130)를 검출하는 방법을 사용할 수 있다. 이와 관련해서는 이후에 좀더 자세히 다루기로 한다.
카메라 제어장치(120')는 제2 카메라(110)의 마커 포인트 검출을 위하여 정해진 틸트(Tilt) 각마다 팬(Pan)을 한바퀴 회전하면서 취득한 영상 프레임에서 지속적으로 마커 검출을 시도하고, 마커 검출이 성공하면 마커(130)를 화면의 중심으로 줌 인하여 보다 정확한 마커 포인트의 PTZ 좌표를 검출하게 된다.
또한, 좌표 변환부(414)는 마커 검출부(413)로부터 수신된 제2 카메라(110) 상의 마커 위치 좌표(x, y)를 PTZ 좌표로 변환하여 대응관계 설정부(415)로 제공한다. 이러한 좌표 변환부(414)는 좌표값을 서로 매칭시킨 룩업테이블(LUT)을 포함할 수 있을 것이다.
대응관계 설정부(415)는 마커 검출부(413)에서 입력된 좌표값(x, y) 및 좌표 변환부(414)에서 입력된 PTZ 좌표값을 근거로 대응관계를 설정한다. 여기서, 대응관계는 일종의 함수 관계이다. 대응 관계는 <수학식 1>과 같이 표현될 수 있다.
Figure 112016127729739-pat00003
여기서,
Figure 112016127729739-pat00004
,
Figure 112016127729739-pat00005
,
Figure 112016127729739-pat00006
이므로,
Figure 112016127729739-pat00007
,
Figure 112016127729739-pat00008
와 같다.
카메라 보정부(416)는 대응관계 설정부(415)로부터 수신된 카메라 보정 데이터를 가지고 카메라 보정을 수행한다. 이의 과정에서 가령 카메라 보정부(416)는 좌표값과 PTZ 좌표값에 대한 4개의 대응쌍을 근거로 호모그래피 값을 계산해 내어 이를 제어부(400)로 전달할 수 있다. 그러면, 제어부(400)는 이를 근거로 제2 카메라(110)를 제어할 수 있다. 즉 캘리브레이션 동작을 수행할 수 있는 것이다.
관리부(420)는 가령 사용자 인터페이스로서, 사용자가 카메라 제어장치(120')의 동작을 위하여 필요한 설정값(ex. 기준평면 등)을 입력 혹은 변경할 수 있도록 한다. 예를 들어, 마커 검출에 실패하였다면 사용자는 관리부(420)를 통해 수동으로 제2 카메라(110)의 팬, 틸트를 지정할 수 있을 것이다.
예를 들어, 관리부(420)는 화면에 표시된 도 6에서와 같은 UI 화면을 통해 이러한 동작을 수행할 수도 있을 것이다.
도 6에서 볼 때, 좌측 상단의 제1 영역(500)에는 도 1의 제1 카메라(100)와 같은 주 카메라에서 촬영된 제1 영상이 표시되고, 제1 영상에는 마커(130)가 포함되어 있다. 해당 마커(130)의 좌표값은 제1 영역(500)의 하단 부위(510)에 좌표값 (289, 95)로 표시되어 있다. 도 6의 UI 화면에서 우측 상단 즉 제2 영역(520)에는 도 1의 제2 카메라(110)와 같은 보조 카메라의 목록이 표시되어 있고, 검출된 마커 포인트의 보조 카메라별 PTZ 좌표값이 표시되어 있다. 또한, UI 화면에서 하단 부위 즉 제3 영역(530)에는 카메라별 GPC(Ground Point Correspondence) 목록이 표시되어 있다.
이와 같이 관리부(420)는 4개의 매칭 좌표쌍을 가지고, 보조 카메라와 지평면 사이의 호모그래피를 결정할 수 있을 것이다.
도 7은 본 발명의 제1 실시예에 따른 캘리브레이션 과정을 나타내는 흐름도이다.
설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 카메라 제어장치(120)는 제1 카메라(100)에서 촬영한 제1 영상에서 기설정된 장소(ex. 농구 코트)에 위치하는 마커(130)의 위치에 대한 좌표값(x, y)을 검출한다(S700).
또한, 카메라 제어장치(120)는 제2 카메라(110)로 동일 장소의 촬영 중에 검출된 마커를 화면의 중앙으로 위치시킬 때 변동하는 제2 카메라(110)의 변동값을 검출한다(S710). 카메라 제어장치(120)는 가령 각 틸트마다 팬(Pan)을 한 바퀴 회전하면서 촬영 중에 마커(130)가 검출되면, 검출된 마커(130)를 화면의 중앙에 위치시킬 때의 제2 카메라(110)의 PTZ 좌표값을 검출할 수 있다. 이의 과정에서 카메라 제어장치(120)는 더 정확한 PTZ 좌표값을 검출하기 위하여 줌인 동작을 같이 수행하면 마커(130)를 화면의 중앙에 위치시킬 수 있다.
이어 카메라 제어장치(120)는 검출한 좌표값과 변동값 간 대응 관계를 결정하고, 결정한 대응 관계로부터 제2 카메라(110)와 지평면 사이의 변환 관계를 산출한다(S720). 이의 과정에서 카메라 제어장치(120)는 제2 카메라(110)의 제2 영상에서 검출된 마커(130)의 위치에 대한 좌표값(x, y)을 PTZ 좌표값을 변환하여 변환된 PTZ 좌표값을 이용할 수 있을 것이다.
이후 카메라 제어장치(120)는 산출한 변환 관계를 이용하여 제2 카메라(110)의 상하이동 또는 좌우이동과 같은 자세를 제어할 수 있다. 이를 통해 카메라 제어장치(120)는 제2 카메라(110)를 제1 카메라(100)에 동기화시키게 된다.
도 8은 본 발명의 제2 실시예에 따른 캘리브레이션 과정을 나타내는 흐름도이다.
설명의 편의상, 도 8을 도 1과 함께 참조하되 도 1의 제1 카메라(100)는 고정식 카메라, 제2 카메라(110)는 PTZ 카메라로 예시하여 설명한다.
먼저, 농구 코트와 같은 임의의 장소 내의 각각의 캘리브레이션 포인트에 마커(130a~130d)를 위치시킨다. 여기서, 캘리브레이션 포인트는 도 1에서와 같이 농구 코트의 사각 모서리 부분이 될 수 있다. 호모그래피를 계산하기 위해서는 최소 4개의 포인트가 필요하므로 동일한 평면상에 4개 이상의 캘리브레이션 포인트를 설정하고, 각각의 포인트마다 색상 조합을 다르게 한 마커(130a~130d)를 위치시킨다. 이러한 마커(130a~130d)는 반드시 별도로 제작된 마커일 필요는 없다. 예를 들어, 농구 코트의 사각 꼭지점을 기준으로 캘리브레이션 동작을 수행하는 것도 얼마든지 가능할 수 있기 때문이다. 따라서, 본 발명의 실시예에서는 시연용 마커(130)를 별도로 제작하여 이용하는 것에 특별히 한정하지는 않을 것이다.
도 1의 카메라 제어장치(120)는 고정식 카메라에서 촬영된 영상에서 마커 위치를 검출한다(S801). 이를 위하여, 카메라 제어장치(120)는 가령 입력된 영상을 매크로블록 단위로 분리한 영상을 분석하여 마커(130)가 검출되는지 판단하고, 마커(130)가 검출되면 해당 마커(130)의 위치 즉 좌표값이 어떻게 되는지 계산할 수 있다. 통상 단위 영상 프레임의 좌측 최상단에 위치하는 픽셀의 좌표값이 (0, 0)에 해당하므로, 이를 기점으로 마커(130)의 위치를 계산할 수 있다. 물론, 단위 영상 프레임의 화면 중앙 부위를 (0, 0)으로 계산하는 상대 좌표값을 이용하여 마커(130)의 위치를 검출할 수 있을 것이다. 한편, 이러한 마커(130)의 위치 검출은 카메라 제어장치(120)가 아닌 고정식 카메라에서 이루어지고, 카메라 제어장치(120)는 좌표값만 수신하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 위의 방식에 특별히 한정하지는 않을 것이다.
또한, PTZ 카메라의 팬, 틸트를 자동으로 이동하면서 얻은 제2 영상에서 카메라 제어장치(120)는 마커 검출을 시도하고(S803), 마커 검출이 성공하면 검출된 마커(130)가 PTZ 카메라 영상의 중심에 오도록 자동으로 팬 및 틸트의 레이아웃을 제어한다(S807). 여기서, 줌은 1배율로 고정시킨 상태에서 틸트는 0도로 위치하고, 팬을 0도에서 360도까지 이동하여 얻어진 영상을 통해 마커 검출을 시도한다. 팬이 360도에 다다를 때마다 틸트를 현재 위치에서 (수직 시야는) VFOV/2 만큼 이동시키고 다시 팬을 이동하여 마커 검출 작업을 반복한다. 또한, 영상에서 마커(130)가 검출되면 검출된 마커 위치 좌표(x, y)를 각각의 PTZ 카메라에 해당되는 PTZ 위치로 변환하여 PTZ 카메라 영상의 중심에 마커(130)가 오도록 각각의 PTZ 카메라 레이아웃을 자동으로 제어하게 된다.
이의 과정에서, 카메라 제어장치(120)는 줌인을 하여 마커(130)를 검출 후 마커(130)가 PTZ 카메라 영상의 중심에 오도록 팬, 틸트 레이아웃을 제어할 수 있다(S811). 1배율씩 줌인을 하여 마커 검출을 하고 영상의 중심으로 마커(130)가 오도록 팬, 틸트 레이아웃을 자동으로 제어한다.
줌인 동작을 수행하는 과정에서 마커(130)의 크기가 영상의 일정 비율을 차지하거나 현재 카메라 줌 배율이 최대인지 판단하여(S813), 만약 그렇지 않다면 줌인 동작을 계속 수행하면서 마커(130)를 영상의 중심에 오도록 하고, 가령 줌 배율이 최대이면, 마커(130)가 영상의 중심에 위치할 때의 PTZ 카메라의 팬, 틸트 값을 마커(130)의 위치 즉 좌표값으로 검출할 수 있다.
이어 카메라 제어장치(120)는 고정식 카메라에서 검출된 마커(130)의 위치와 PTZ 카메라에서 검출된 마커(130)의 위치 간 대응 관계를 설정한다(S815). 여기서, "대응 관계를 설정"한다는 것은 앞서 <수학식 1>에서와 같이 둘 사이에 함수 관계를 정립(또는 결정)하는 것으로 이해해도 좋을 것이다. 여기서, 함수(function)는 둘 사이의 변환 관계 즉 호모그래피를 나타낸다.
이러한 대응 관계의 설정은, 모든 캘리브레이션 포인트 즉 모든 마커(130)에 대하여 설정이 이루어지게 되며(S817), 이후 마커 위치의 대응 관계들로부터 호모그래피를 계산하게 된다(S819). 즉 고정식 카메라에서 검출된 마커(130)의 위치와 PTZ 카메라에서 검출된 마커(130)의 위치 간에 생성된 4개의 대응쌍을 이용해 호모그래피를 계산하게 되는 것이다.
이와 같이 계산된 호모그래피를 계산하여, 카메라 제어장치(120)는 PTZ 카메라를 고정식 카메라에 동기화하여 세팅하게 된다. 즉 고정식 카메라의 설치 후에 캘리브레이션 동작을 수행한다고 볼 수 있다.
만약 S805 단계에서 마커 검출에 성공하지 못하면, 사용자가 검출에 실패한 PTZ 카메라의 레이아웃을 제어하여 영상의 중심에 마커(130)가 위치하도록 한다(S809). 가령 사용자는 검출된 마커(130)가 PTZ 카메라 영상의 중심에 오도록 수동으로 팬, 틸트 레이아웃을 제어해 줄 수 있다. 이를 통해 카메라 제어장치(120)는 S811 단계에서 S819 단계의 동작을 수행할 수 있게 된다.
도 9는 본 발명의 실시예에 따른 마커 검출 과정을 나타내는 흐름도이다.
설명의 편의상 도 9를 도 1과 함께 참조하면, 도 1의 카메라 제어장치(120)는 제1 카메라(100) 및 제2 카메라(110)로부터 영상이 각각 입력되면, 수신된 해당 RGB 영상을 HSV 포맷으로 변환한다(S901). HSV 모드에서는 광원 효과를 제거한 색상 축출을 하므로, 정확한 색상 축출이 가능하게 된다.
이어 카메라 제어장치(120)는 변환된 HSV 영상을 이용하여 마커 영역에 대한 후보군 즉 후보 영역을 생성한다(S903~S917). 이의 과정에서 카메라 제어장치(120)는 마커(130)의 안쪽 색상과 바깥쪽 색상에 대한 후보군을 각각 생성하게 되는데, 생성된 후보 영역은 목록의 형태로 저장한다. 각각의 후보군을 생성하기 위하여 카메라 제어장치(120)는 가령 마커(130)의 안쪽 색상에 대한 색상(Hue) 값 범위를 가지고 영상을 이진화하고(S903), 모폴로지 연산(ex. 침식, 팽창 연산)을 통해 노이즈를 제거하며(S905), 전경 영역을 레이블링(labelling)한 후(S907) 레이블링된 블롭(bolb)들을 안쪽 후보 영역의 목록으로 저장한다(S909). 물론 마커(130)의 바깥쪽 후보 영역도 안쪽 후보 영역의 생성 과정과 동일하게 이루어진다(S911~S917).
위의 경우와 같이, 영상을 이진화한 후 레이블링을 수행하면 잡음으로 인해 원래 객체보다 많은 레이블의 개수가 생성되는데, 레이블링 전에 이진 영상에 열기 연산을 수행하면 1, 2 픽셀 짜리 잡음이 제거되어 레이블 개수가 좀 더 정상에 가까워지게 된다. 여기서, "열기 연산"은 객체의 외곽선을 부드럽게 만들어주어 가늘게 돌출한 부위를 제거해 주는 역할 즉 잡음을 제거하는 역할을 의미하며, "레이블링"은 인접한 화소에 모두 같은 번호를 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙이는 과정을 의미한다. 이를 통해 가령 모두 1이 부여된 영역 즉 블롭을 얻을 수 있게 되는 것이다.
또한, 카메라 제어장치(120)는 목록으로 생성된 후보군으로부터 각각의 바깥쪽 후보 영역이 각각의 안쪽 후보 영역을 포함하는지를 검사한다(S919). 가령, 각 후보군의 좌표값을 통해 이를 판단해 볼 수 있을 것이다.
그리고, 카메라 제어장치(120)는 찾아진 후보 영역들 중에서 안쪽 영역의 면적이 가장 큰 것을 선택하고(S921), 그 선택된 안쪽 영역의 중심 위치 좌표를 마커 위치로 결정하게 되는 것이다(S923).
지금까지 도 9를 참조하여 설명한 이러한 마커 검출 동작은, 실제로 도 4에서 볼 때 마커 검출부(413)에서 이루어지는 동작으로 이해해도 좋을 것이다. 따라서, 도 9의 마커 검출 동작은 도 7의 S700 단계 및 S710 단계의 일부가 될 수 있으며, 혹은 도 8의 S801 단계 및 S803 단계의 일부가 될 수 있을 것이다. 그러나, 본 발명의 실시예에서는 어느 하나의 동작으로 특별히 한정하지는 않을 것이다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 제1 카메라 110: 제2 카메라
120: 카메라 제어장치 130: 마커
300: 통신 인터페이스부 310, 400: 제어부
311: CPU 313, 410: 캘리브레이션 실행부
411: 영상 획득부 412: 영상 표출부
413: 마커 검출부 414: 좌표 변환부
415: 대응관계 설정부 416: 카메라 보정부

Claims (12)

  1. 제1 카메라에서 촬영한 제1 영상에서, 기설정된 장소에 위치하는 마커(marker)의 위치에 대한 좌표값(x, y)을 검출하는 단계;
    제2 카메라로 상기 장소를 촬영 중에 검출된 상기 마커를 화면의 중앙으로 위치시킬 때 변동되는 상기 제2 카메라의 변동값(θP, θT)을 검출하는 단계;
    상기 검출한 좌표값과 변동값 간의 대응 관계를 결정하고, 상기 결정한 대응 관계로부터 상기 제2 카메라와 지평면(ground plane) 사이의 변환 관계(homography)를 산출하는 단계; 및
    상기 산출한 변환 관계를 적용해 상기 제2 카메라를 제어하는 단계;를 포함하되,
    상기 제2 카메라의 변동값(θP, θT)을 검출하는 단계는,
    상기 변동값(θP, θT)의 검출시 이용하기 위하여 상기 제2 카메라의 제2 영상에서 상기 마커에 대한 좌표값을 각각 검출하는 단계;를 포함하고,
    상기 마커에 대한 좌표값을 검출하는 단계는,
    입력된 RGB의 상기 제1 영상 및 상기 제2 영상을 HSV(Hue Saturation Value) 포맷으로 변환하는 단계;
    상기 변환한 HSV 포맷의 영상을 근거로 상기 마커의 일측 제1 영역과 타측 제2 영역에 대한 후보군을 각각 생성하는 단계;
    상기 생성한 각각의 제1 영역 및 제2 영역의 후보군을 근거로 상기 제1 영역과 상기 제2 영역의 상관 관계를 판단하는 단계; 및
    판단 결과 상기 제1 영역이 상기 제2 영역에 포함되고 상기 제1 영역의 면적이 가장 클 때 상기 제1 영역의 위치에 대한 좌표를 상기 마커의 좌표값으로 검출하는 단계;를
    포함하는 카메라 제어장치의 구동방법.
  2. 제1항에 있어서,
    상기 변환 관계를 산출하는 단계는,
    적어도 4개의 마커를 사용하여 각각 검출한 상기 좌표값과 상기 변동값의 대응 쌍을 근거로 상기 대응 관계를 설정하는 단계; 및
    상기 대응 쌍에 의해 각각 설정된 대응 관계를 근거로 상기 변환 관계를 산출하는 단계;를
    포함하는 카메라 제어장치의 구동방법.
  3. 제1항에 있어서,
    상기 제2 카메라의 변동값을 검출하는 단계는,
    상기 마커를 화면의 중앙으로 위치시킬 때, 상기 마커를 줌인(zoom in)하면서 화면의 중앙으로 위치시키는 단계;를 포함하는 카메라 제어장치의 구동방법.
  4. 제1항에 있어서,
    상기 변환 관계를 산출하는 단계는,
    관계식
    Figure 112016127729739-pat00009

    (여기서, X=cosθTsinθP,Y=cosθTsinθP,Z=sinθP)에 의해 변환 관계를 산출하는 카메라 제어장치의 구동방법.
  5. 제1항에 있어서,
    상기 제2 카메라의 변동값을 검출하는 단계는,
    상기 제2 카메라의 렌즈부의 방향을 좌우이동(Pan) 및 상하이동(Tilt)시켜 얻은 상기 좌표값을 상기 변동값의 검출시 이용하는 카메라 제어장치의 구동방법.
  6. 삭제
  7. 기설정된 장소의 마커가 촬영된 제1 영상을 제1 카메라로부터 수신하고, 상기 장소가 촬영되는 제2 영상을 제2 카메라로부터 수신하는 통신 인터페이스부; 및
    상기 제1 영상에서 검출된 상기 마커의 위치에 대한 좌표값(x, y)과 상기 촬영 중에 검출된 상기 마커를 화면의 중앙으로 위치시킬 때 상기 제2 카메라가 변동하는 변동값(θP, θT) 간에 대응 관계를 결정하고, 상기 결정한 대응 관계로부터 산출된 상기 제2 카메라와 지평면 사이의 변환 관계를 적용해 상기 제2 카메라를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 변동값(θP, θT)의 검출시 이용하기 위하여 상기 제2 카메라의 제2 영상에서 상기 마커에 대한 좌표값을 더 검출하며, 입력된 RGB의 상기 제1 영상 및 상기 제2 영상을 HSV 포맷으로 변환하고, 상기 변환한 HSV 포맷의 영상을 근거로 상기 마커의 일측 제1 영역과 타측 제2 영역에 대한 후보군을 각각 생성하며, 상기 생성한 각각의 제1 영역 및 제2 영역의 후보군을 근거로 상기 제1 영역과 상기 제2 영역의 상관 관계를 판단하고, 판단 결과 상기 제1 영역이 상기 제2 영역에 포함되고 상기 제1 영역의 면적이 가장 클 때 상기 제1 영역의 위치에 대한 좌표를 상기 마커의 좌표값으로 검출하는 카메라 제어장치.
  8. 제7항에 있어서,
    상기 제어부는, 적어도 4개의 마커를 사용하여 각각 검출한 상기 좌표값과 상기 변동값의 대응 쌍을 근거로 상기 대응 관계를 설정하고, 상기 대응 쌍에 의해 각각 설정된 대응 관계를 근거로 상기 변환 관계를 산출하는 카메라 제어장치.
  9. 제7항에 있어서,
    상기 제어부는, 상기 마커를 화면의 중앙으로 위치시킬 때, 상기 마커를 줌인하면서 화면의 중앙으로 위치시키는 카메라 제어장치.
  10. 제7항에 있어서,
    상기 제어부는,
    관계식
    Figure 112016127729739-pat00010

    (여기서, X=cosθTsinθP,Y=cosθTsinθP,Z=sinθP)에 의해 상기 변환 관계를 산출하는 카메라 제어장치.
  11. 제7항에 있어서,
    상기 제어부는, 상기 제2 카메라의 렌즈부의 방향을 좌우이동 및 상하이동시켜 얻은 상기 좌표값을 상기 변동값의 검출시 이용하는 카메라 제어장치.
  12. 삭제
KR1020160179630A 2016-12-27 2016-12-27 카메라 제어장치 및 그 장치의 구동방법 KR101873257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160179630A KR101873257B1 (ko) 2016-12-27 2016-12-27 카메라 제어장치 및 그 장치의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179630A KR101873257B1 (ko) 2016-12-27 2016-12-27 카메라 제어장치 및 그 장치의 구동방법

Publications (1)

Publication Number Publication Date
KR101873257B1 true KR101873257B1 (ko) 2018-07-04

Family

ID=62912882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179630A KR101873257B1 (ko) 2016-12-27 2016-12-27 카메라 제어장치 및 그 장치의 구동방법

Country Status (1)

Country Link
KR (1) KR101873257B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102380933B1 (ko) * 2020-10-16 2022-04-01 인트플로우 주식회사 축사내에 설치된 카메라 제어 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148221A (ja) * 2004-11-16 2006-06-08 Matsushita Electric Ind Co Ltd カメラ位置合わせ装置及び方法
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148221A (ja) * 2004-11-16 2006-06-08 Matsushita Electric Ind Co Ltd カメラ位置合わせ装置及び方法
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102380933B1 (ko) * 2020-10-16 2022-04-01 인트플로우 주식회사 축사내에 설치된 카메라 제어 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN113365040B (zh) 投影校正方法、装置、存储介质和电子设备
US20170180680A1 (en) Object following view presentation method and system
US8063972B2 (en) Image capture device and control method thereof
US7719568B2 (en) Image processing system for integrating multi-resolution images
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
KR20180109918A (ko) 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들
US8594435B2 (en) Image processing device and method, and program therefor
JP2015210702A (ja) 画像処理装置及び画像処理方法
CN103997598A (zh) 使用相机追踪对象的方法和用于对象追踪的相机系统
CN106709894B (zh) 一种图像实时拼接方法及系统
US9031355B2 (en) Method of system for image stabilization through image processing, and zoom camera including image stabilization function
JP2013183306A (ja) 撮像装置、撮像方法、及びプログラム
CN103248816A (zh) 焦距调整方法与相关图像撷取装置
KR100888935B1 (ko) 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법
KR101873257B1 (ko) 카메라 제어장치 및 그 장치의 구동방법
US8953899B2 (en) Method and system for rendering an image from a light-field camera
KR102216505B1 (ko) 안면 추적 카메라 모듈 및 방법
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
KR20170133666A (ko) 영상 분석을 이용한 카메라 캘리브레이션 방법 및 그 장치
JP2007049266A (ja) 画像撮像装置
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR20150127015A (ko) 파노라마의 생성 방법
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant