KR102619271B1 - 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 - Google Patents

복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 Download PDF

Info

Publication number
KR102619271B1
KR102619271B1 KR1020180132671A KR20180132671A KR102619271B1 KR 102619271 B1 KR102619271 B1 KR 102619271B1 KR 1020180132671 A KR1020180132671 A KR 1020180132671A KR 20180132671 A KR20180132671 A KR 20180132671A KR 102619271 B1 KR102619271 B1 KR 102619271B1
Authority
KR
South Korea
Prior art keywords
image
camera
fixed camera
calibrator
area
Prior art date
Application number
KR1020180132671A
Other languages
English (en)
Other versions
KR20200050110A (ko
Inventor
김선미
김대상
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020180132671A priority Critical patent/KR102619271B1/ko
Priority to US16/670,583 priority patent/US10979645B2/en
Publication of KR20200050110A publication Critical patent/KR20200050110A/ko
Application granted granted Critical
Publication of KR102619271B1 publication Critical patent/KR102619271B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시 예에 따른 영상 촬영 장치는 적어도 하나의 고정 카메라 및 PTZ 카메라와 연결되는 영상 캘리브레이터를 포함한다. 영상 캘리브레이터는, 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 이미지 및 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 2 이미지를 수신하고, 고정 카메라의 지향 방향과 연관되는 디폴트 값에 따라 제 2 이미지에서 결정되는 기준 윈도우 내에서 제 1 이미지와 매치되는 이미지 영역을 검색하고, 검색된 이미지 영역을 나타내는 정보를 출력하도록 구성된다.

Description

복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템{VIDEO CAPTURING DEVICE INCLUDING PLURALITY OF CAMERAS AND VIDEO CAPTURING SYSTEM INCLUDING THE SAME}
본 발명은 전자 기기에 관한 것으로, 좀 더 구체적으로는 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템에 관한 것이다.
지능형 영상 감시 분야에서 듀얼 카메라를 활용한 감시 시스템의 연구는 다양하게 진행되고 있다. 한 대의 고정 카메라만을 이용해서 넓은 영역을 감시하는 경우, 매우 먼 거리에서 감시하게 되어 실제 감시 대상 물체에 대한 변별력이 떨어지는 문제점이 있다. 한 대의 이동형 카메라만을 이용하는 경우, 하나의 물체를 추적하는 동안 다른 영역을 감시할 수 없어 감시 영역이 순간적으로 너무 좁혀지고, 물체 추적에 대한 정확도도 떨어지는 문제점이 있다. 고정 카메라와 이동형 카메라를 동시에 활용할 경우 넓은 영역에 대한 감시와 관심 요소에 대한 정밀 감시가 이뤄질 수 있어, 감시 목적에 있어서 효율적이다. 이러한 이유로, 듀얼 카메라를 이용한 감시 시스템에 대한 연구가 활발히 진행되고 있다.
고정 카메라와 이동형 카메라를 포함하는 듀얼 카메라의 경우, 이동형 카메라 촬영 좌표와 고정 카메라의 촬영 좌표를 정합하는 과정이 요구된다. 두 카메라들 간의 정합이 정확하게 수행될 때 카메라들을 이용한 정확하고 빠른 시각적 정보가 제공될 수 있다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명의 실시 예들은 카메라들의 영상 좌표들을 높은 정확성으로 정합할 수 있는 영상 촬영 장치 및 그것을 포함하는 영상 촬영 시스템을 제공하기 위한 것이다.
본 발명의 실시 예에 따른 영상 촬영 장치는, 적어도 하나의 고정 카메라; PTZ 카메라; 및 상기 적어도 하나의 고정 카메라 및 상기 PTZ 카메라와 연결되는 영상 캘리브레이터를 포함하되, 상기 영상 캘리브레이터는, 상기 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 이미지 및 상기 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 2 이미지를 수신하고; 상기 고정 카메라의 지향 방향과 연관되는 디폴트 값에 따라 상기 제 2 이미지에서 결정되는 기준 윈도우 내에서, 상기 제 1 이미지와 매치되는 이미지 영역을 검색하고; 상기 검색된 이미지 영역을 나타내는 정보를 출력하도록 구성된다.
상기 제 2 이미지는 상기 PTZ 카메라를 움직이면서 촬영된 복수의 이미지들을 스티칭함으로써 획득된 파노라마 이미지를 포함할 수 있다.
상기 영상 촬영 장치는, 지지 부재; 및 상기 적어도 하나의 고정 카메라 및 상기 지지 부재에 결합되며, 상기 적어도 하나의 고정 카메라를 이동하여 상기 지향 방향을 조절하도록 구성되는 이동 부재를 더 포함하되, 상기 디폴트 값은 상기 적어도 하나의 고정 카메라의 상기 이동에 따라 결정될 수 있다.
상기 영상 촬영 장치는 상기 적어도 하나의 고정 카메라에 배치되어 상기 디폴트 값을 감지하도록 구성되는 적어도 하나의 센서를 더 포함할 수 있다.
상기 영상 캘리브레이터는, 상기 디폴트 값에 따라 상기 기준 윈도우를 정의하도록 구성되는 윈도우 설정부; 상기 제 2 이미지의 상기 기준 윈도우에 대응하는 부분 및 상기 제 1 이미지 각각으로부터 특징점들을 추출하도록 구성되는 특징점 감지부; 및 상기 추출된 특징점들을 비교하여 상기 제 1 이미지와 매치되는 상기 이미지 영역을 검출하도록 구성되는 특징점 비교부를 포함할 수 있다.
상기 영상 캘리브레이터는 상기 검색된 이미지 영역에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성될 수 있다.
상기 영상 캘리브레이터는 외부로부터 상기 검색된 이미지 영역의 변경을 나타내는 정보가 수신될 때, 상기 변경을 나타내는 상기 정보에 기반하여 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표와 매핑하도록 구성될 수 있다.
상기 영상 캘리브레이터는, 상기 이미지 영역의 검색이 실패할 때 상기 기준 윈도우를 나타내는 정보를 외부로 출력하고; 상기 외부로부터 상기 기준 윈도우의 일부를 선택하는 정보가 수신될 때, 상기 기준 윈도우의 상기 선택된 일부에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성될 수 있다.
상기 영상 캘리브레이터는, 상기 이미지 영역의 검색이 실패할 때 상기 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 3 이미지를 수신하되, 상기 제 3 이미지는 상기 기준 윈도우에 대응하고; 상기 제 3 이미지 중 상기 제 1 이미지와 매치되는 이미지 영역을 검색하고; 상기 제 3 이미지 중 상기 제 1 이미지와 매치되는 상기 이미지 영역을 나타내는 정보를 출력하도록 구성될 수 있다.
본 발명의 다른 일면은 영상 촬영 시스템에 관한 것이다. 본 발명의 실시 예에 따른 영상 촬영 시스템은, 적어도 하나의 고정 카메라; PTZ 카메라; 상기 적어도 하나의 고정 카메라 및 상기 PTZ 카메라와 연결되는 영상 캘리브레이터; 상기 적어도 하나의 고정 카메라 및 상기 PTZ 카메라에 의해 촬영되는 영상들을 디스플레이 장치에 디스플레이하기 위한 영상 감시기를 포함한다. 상기 영상 캘리브레이터는, 상기 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 이미지 및 상기 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 2 이미지를 수신하고; 상기 고정 카메라의 지향 방향과 연관되는 디폴트 값에 따라 상기 제 2 이미지에서 결정되는 기준 윈도우 내에서, 상기 제 1 이미지와 매치되는 이미지 영역을 검색하도록 구성된다. 상기 영상 감시기는, 상기 이미지 영역의 검색이 성공할 때, 상기 제 1 이미지와 상기 제 2 이미지를 상기 디스플레이 장치에 디스플레이하되 상기 제 2 이미지 상에서 상기 검색된 이미지 영역에 대한 하이라이트를 더 디스플레이하도록 구성된다.
상기 영상 감시기는 상기 제 1 이미지에 대한 하이라이트를 더 디스플레이하되, 상기 제 1 이미지에 대한 상기 하이라이트와 상기 검색된 이미지 영역에 대한 상기 하이라이트는 서로 동일할 수 있다.
상기 영상 촬영 시스템은 사용자 인터페이스를 더 포함하되, 상기 영상 감시기는, 상기 제 1 및 제 2 이미지들을 상기 디스플레이 장치의 분리된 제 1 및 제 2 영역들에 각각 디스플레이하되, 상기 사용자 인터페이스를 통해 제 1 사용자 입력이 수신될 때 상기 제 1 이미지를 상기 검색된 이미지 영역과 중첩하도록 디스플레이하도록 구성될 수 있다.
상기 제 1 사용자 입력은 상기 제 1 이미지를 상기 검색된 이미지 영역의 적어도 일부에 드래그 앤 드롭하는 입력을 포함할 수 있다.
상기 제 1 사용자 입력은 소정의 시간 구간 내에 상기 제 1 이미지를 복수회 선택하는 입력을 포함할 수 있다.
상기 영상 감시기는 상기 제 1 이미지가 상기 검색된 이미지 영역과 중첩된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 2 사용자 입력에 응답하여 커맨드 신호를 상기 영상 캘리브레이터에 전송하도록 구성되고, 상기 영상 캘리브레이터는 상기 커맨드 신호에 응답하여 상기 검색된 이미지 영역에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성될 수 있다.
상기 영상 감시기는 상기 제 1 이미지가 상기 검색된 이미지 영역과 중첩된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 2 사용자 입력에 응답하여, 상기 제 1 이미지에 해당하는 영역을 상기 제 2 이미지 상에서 변경시켜 디스플레이하도록 구성될 수 있다.
상기 영상 감시기는 상기 제 1 이미지에 해당하는 영역이 상기 제 2 이미지 상에서 변경된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 3 사용자 입력에 응답하여, 상기 변경과 연관된 정보를 상기 영상 캘리브레이터에 제공하도록 구성되고, 상기 영상 캘리브레이터는 상기 변경과 연관된 상기 정보에 기반하여 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성될 수 있다.
상기 영상 감시기는, 상기 이미지 영역의 검색이 실패할 때, 상기 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 영상과 상기 PTZ 카메라에 의해 촬영되는 제 2 영상을 상기 디스플레이 장치에 디스플레이하되, 상기 제 2 영상 상에서 상기 기준 윈도우에 대한 하이라이트를 더 디스플레이하도록 구성될 수 있다.
상기 영상 촬영 시스템은 사용자 인터페이스를 더 포함하되, 상기 영상 감시기는, 상기 제 1 및 제 2 영상들을 상기 디스플레이 장치의 구분된 제 1 및 제 2 영역들에 각각 디스플레이하되, 상기 사용자 인터페이스를 통해 제 1 사용자 입력이 수신될 때 상기 제 1 영상을 상기 기준 윈도우와 중첩하도록 디스플레이할 수 있다.
상기 영상 감시기는 상기 제 1 영상이 상기 기준 윈도우와 중첩된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 2 사용자 입력에 응답하여, 제 2 영상의 상기 제 1 영상과 중첩된 부분에 대한 정보를 상기 영상 캘리브레이터에 전송하도록 구성되며, 상기 영상 캘리브레이터는 상기 제 2 영상의 상기 제 1 영상과 중첩된 상기 부분에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성될 수 있다.
본 발명의 실시 예들에 따르면, 카메라들의 영상 좌표들을 높은 정확성으로 정합할 수 있는 영상 촬영 장치 및 그것을 포함하는 영상 촬영 시스템이 제공된다.
도 1은 영상 촬영 장치를 포함하는 영상 촬영 시스템을 보여주는 블록도이다.
도 2는 도 1의 영상 촬영 장치를 개략적으로 보여주는 사시도이다.
도 3은 본 발명의 실시 예에 따른 영상 촬영 장치를 보여주는 블록도이다.
도 4는 도 3의 영상 캘리브레이터의 일 실시 예를 보여주는 블록도이다.
도 5는 파노라마 이미지 및 파노라마 이미지 상에 표시되는 기준 윈도우 및 감지 영역을 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 영상 촬영 장치의 동작 방법을 보여주는 순서도이다.
도 7은 도 6의 S150단계를 좀 더 구체적으로 보여주는 순서도이다.
도 8은 도 7의 S160단계를 좀 더 구체적으로 보여주는 순서도이다.
도 9는 캘리브레이션 커맨드에 응답하여 PTZ 카메라의 영상 좌표를 고정 카메라의 영상 좌표와 관련하여 캘리브레이트하는 방법을 보여주는 순서도이다.
도 10은 본 발명의 다른 실시 예에 따른 영상 촬영 장치의 동작 방법을 보여주는 순서도이다.
도 11은 본 발명의 실시 예에 따른 외부 제어 장치를 보여주는 블록도이다.
도 12는 외부 제어 장치에 디스플레이되는 화면의 일 예를 보여주는 도면이다.
도 13은 도 3의 영상 촬영 장치를 구현하기 위한 예시적인 컴퓨터 장치를 보여주는 블록도이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
도 1은 영상 촬영 장치를 포함하는 영상 촬영 시스템을 보여주는 블록도이다. 도 2는 도 1의 영상 촬영 장치를 개략적으로 보여주는 사시도이다.
도 1을 참조하면, 영상 촬영 시스템(1)은 영상 촬영 장치(10), 네트워크(20), 및 외부 제어 장치(30)를 포함할 수 있다.
영상 촬영 장치(10)는 네트워크(20)를 통해 외부 제어 장치(30)와 연결된다. 영상 촬영 장치(10)는 다수의 카메라들을 포함한다. 도 2를 참조하면, 영상 촬영 장치(10)는 지지 부재(11), 하나 또는 그 이상의 고정 카메라들(12, 13) 및 팬 틸트 줌(pan tilt zoom) 카메라(이하, PTZ 카메라)(14)를 포함한다. 도 2에는 영상 촬영 장치(10)가 2개의 고정 카메라들(12, 13)을 포함하는 것으로 예시되어 있다.
PTZ 카메라(14)는 지지 부재(11)에 고정되며, 팬/틸트/줌을 수행함에 따라 촬영 좌표를 변경할 수 있다. 고정 카메라들(12, 13) 각각은 마찬가지로 지지 부재(11)에 고정된다. 예를 들면, 고정 카메라들(12, 13) 각각은 줌은 수행할 수 있지만 팬 및 틸트는 수행할 수 없다.
영상 촬영 장치(10)는 고정 카메라들(12, 13)을 지지 부재(11)에 고정하도록 구성되는 이동 부재(15)를 더 포함할 수 있다. 이동 부재(15)는 고정 카메라들(12, 13) 각각을 회전 이동하여 고정 카메라들(12, 13) 각각의 지향 방향을 조절하도록 구성될 수 있다. 예를 들면, 이동 부재(15)는 고정 카메라들(12, 13)을 제 1 방향(예를 들면, 팬 방향)으로 회전 운동시킬 수 있다. 영상 촬영 장치(10)는 고정 카메라들(12, 13)을 제 2 방향(예를 들면, 틸트 방향)으로 회전 운동시킬 수 있는 힌지와 같은 추가적인 이동 부재들을 더 포함할 수 있다. 사용자는, 예를 들면 영상 촬영 장치(10)를 건물에 설치할 때 혹은 설치 후에, 이동 부재(15)를 이용하여 고정 카메라들(12, 13) 각각의 지향 방향을 조절함으로써 고정 카메라들(12, 13)이 원하는 촬영 좌표를 갖도록 할 수 있다.
외부 제어 장치(30)는 네트워크(20)를 통해 영상 촬영 장치(10)와 통신할 수 있다. 외부 제어 장치(30)는 영상 촬영 장치(10)로부터 전송된 영상을 디스플레이하도록 구성된다. 예를 들면, 외부 제어 장치(30)는 웹 뷰어(web viewer)와 같이 영상 촬영 장치(10)로부터 전송된 영상을 디스플레이 장치에 디스플레이할 수 있는 모듈을 포함할 수 있다. 외부 제어 장치(30)는 웹 뷰어를 실행할 수 있는 컴퓨터 장치일 수 있다. 도 1에서, 외부 제어 장치(30)는 영상 촬영 장치(10)와 분리되어 있다. 그러나, 본 발명의 실시 예들은 여기에 한정되지 않으며, 외부 제어 장치(30)는 영상 촬영 장치(10)와 통합될 수도 있다.
외부 제어 장치(30) 및/또는 영상 촬영 장치(10)는 PTZ 카메라의 팬/틸트/줌을 제어할 수 있다. 실시 예들에서, 외부 제어 장치(30)는 고정 카메라에 의해 촬영되는 영상의 일부를 선택하는 사용자 입력에 응답하여, PTZ 카메라가 선택된 일부를 촬영하도록 팬/틸트/줌을 제어할 수 있다. 예를 들면, PTZ 카메라의 영상 좌표가 고정 카메라의 영상 좌표와 연관하여 캘리브레이트된 상태에서, 외부 제어 장치(30)는 고정 카메라에 의해 촬영되는 영상의 일부를 선택하는 사용자 입력을 수신하며, 영상 촬영 장치(10)는 선택된 부분에 해당하는 PTZ 카메라의 영상 좌표를 판별하고 PTZ 카메라가 판별된 PTZ 카메라의 영상 좌표를 촬영하도록 팬/틸트/줌을 수행할 수 있다. PTZ 카메라의 영상 좌표가 고정 카메라의 영상 좌표와 연관하여 정확하게 캘리브레이트될 때, 영상 촬영 장치(10)는 PTZ 카메라를 이용하여 높은 신뢰성으로 선택된 부분을 추적 촬영할 수 있다. 실시 예들에서, 고정 카메라에 의해 촬영되는 영상에서 이벤트가 감지될 때, 영상 촬영 장치(10)는 PTZ 카메라가 이벤트가 감지된 영역을 촬영하도록 팬/틸트/줌을 제어할 수 있다. 예를 들면, PTZ 카메라의 영상 좌표가 고정 카메라의 영상 좌표와 연관하여 캘리브레이트된 상태에서, 영상 촬영 장치(10)는 고정 카메라의 영상 중 이벤트가 감지된 영역의 영상 좌표를 검출하고, 검출된 영상 좌표와 매핑되는 PTZ 카메라의 영상 좌표를 판별하고, PTZ 카메라가 판별된 PTZ 카메라의 영상 좌표를 촬영하도록 팬/틸트/줌을 수행할 수 있다. 이 밖에도, 영상 촬영 시스템(1)의 다양한 기능들은 PTZ 카메라의 영상 좌표가 고정 카메라의 영상 좌표에 정확하게 캘리브레이트될 것을 요구한다.
도 3은 본 발명의 실시 예에 따른 영상 촬영 장치를 보여주는 블록도이다.
도 3을 참조하면, 영상 촬영 장치(100)는 적어도 하나의 고정 카메라(110), PTZ 카메라(120), 영상 처리기(130), 입출력 인터페이스(140), 및 메모리(150)를 포함할 수 있다.
고정 카메라(110)는 적어도 하나의 렌즈(111), 이미지 센서(112), 및 방향 감지 센서(113)를 포함할 수 있다. 렌즈(111)는 피사체로부터의 광을 통과시켜 촬상부에 상이 맺히게 한다. 이미지 센서(112)는 촬상부에 도달한 광을 감지하여 고정 카메라 이미지(FIMG)를 생성한다.
방향 감지 센서(113)는 고정 카메라(110)의 지향 방향과 연관되는 디폴트 값(DPV)을 출력하도록 구성된다. 영상 촬영 장치(100)는 도 2를 참조하여 설명된 바와 같이 고정 카메라(110)를 회전 이동하여 그 지향 방향을 조절하도록 구성되는 이동 부재(15)를 포함하며, 디폴트 값(DPV)은 이동 부재(15)의 회전 이동에 따라 결정될 수 있다. 방향 감지 센서(113)는 그러한 회전 이동에 따른 지향 방향을 감지할 수 있는 다양한 종류들의 센서들을 포함할 수 있다. 예를 들면, 방향 감지 센서(113)는 기울기 센서, 가속도 센서, 및 각속도 센서 등을 포함할 수 있다.
도 1에서, 방향 감지 센서(113)가 고정 카메라(110)에 포함되는 것으로 도시되어 있으나, 본 발명의 실시 예들은 여기에 한정되지 않는다. 디폴트 값(DPV)을 제공하기 위한 다양한 방식들이 채용될 수 있다. 예를 들면, 방향 감지 센서(113)는 고정 카메라(110)의 지향 방향을 조절할 수 있는 이동 부재(15)에 포함될 수 있으며, 이동 부재(15)의 움직임에 따른 회전량을 디폴트 값(DPV)으로서 제공할 수 있다.
PTZ 카메라(120)는 적어도 하나의 렌즈(121), 이미지 센서(122), 제 1 모터(123), 제 2 모터(124), 및 모터 구동기(125)를 포함할 수 있다. 렌즈(121)는 피사체로부터의 광을 통과시켜 촬상부에 상이 맺히게 한다. 이미지 센서(122)는 촬상부에 도달한 광을 감지하여 PTZ 카메라 이미지(PTZIMG)를 생성한다. 실시 예들에서, 이미지 센서들(112, 122) 각각은 CCD(charge coupled devices) 방식 및 CMOS(complementary metal oxide semi-conductor) 방식 중 어느 하나일 수 있다.
제 1 및 제 2 모터들(123)은 모터 구동기(125)의 제어에 응답하여 PTZ 카메라(120)를 서로 다른 방향들로 회전시킬 수 있다. 예를 들면, 제 1 모터(123)는 PTZ 카메라(120)를 수평 방향으로 360도 회전시킬 수 있는 팬 모터이고, 제 2 모터(124)는 PTZ 카메라(120)를 수직 방향으로 180도 회전시킬 수 있는 틸트 모터일 수 있다. 제 1 및 제 2 모터들(123)의 구동에 따라, PTZ 카메라(120)의 영상 좌표는 변경된다.
모터 구동기(125)는 영상 처리기(130)의 제어에 의해 제 1 및 제 2 모터들(123)을 구동한다. 모터 구동기(125)는 영상 처리기(130)로부터 출력되는 구동 펄스 및 구동 제어 신호에 따라 제 1 및 제 2 모터들(123)을 구동하여 PTZ 카메라(120)의 팬 및 틸트를 수행할 수 있다.
영상 처리기(130)는 고정 카메라(110) 및 PTZ 카메라(120)에 연결된다. 영상 처리기(130)는 고정 카메라(110)에 의해 촬영된 고정 카메라 이미지(FIMG) 및 PTZ 카메라(120)에 의해 촬영된 PTZ 카메라 이미지(PTZIMG)를 수신하고, 수신된 이미지들(FIMG, PTZIMG)을 처리하도록 구성된다. 예를 들면, 영상 처리기(130)는 수신된 이미지들(FIMG, PTZIMG)의 아날로그 신호들을 디지털 신호들로 변환하고, 수신된 이미지들(FIMG, PTZIMG)의 사이즈들을 조절하고, 수신된 이미지들(FIMG, PTZIMG)의 해상도들을 조절하고, 다른 필요한 처리들을 수행하기 위한 다양한 구성들을 포함할 수 있다. 영상 처리기(130)에 의해 처리된 이미지들은 입출력 인터페이스(140)를 통해 출력될 수 있다.
영상 처리기(130)는 영상 캘리브레이터(131) 및 모터 컨트롤러(132)를 포함할 수 있다. 영상 캘리브레이터(131)는 고정 카메라(110)에 의해 촬영되는 고정 카메라 이미지(FIMG)를 수신할 수 있다. 또한, 영상 캘리브레이터(131)는 모터 컨트롤러(132)에 요청 신호를 전송하여 PTZ 카메라(120)를 움직이면서, PTZ 카메라(120)에 의해 촬영되는 복수의 PTZ 카메라 이미지들(PTZIMG)을 수신할 수 있다. 예를 들면, PTZ 카메라(120)가 팬 및/또는 틸트되면서 복수의 PTZ 카메라 이미지들(PTZIMG)이 얻어질 수 있다. 이후, 영상 캘리브레이터(131)는 PTZ 카메라 이미지들(PTZIMG)을 스티칭(stitching)함으로써 파노라마 이미지를 생성할 수 있다. 고정 카메라 이미지(FIMG) 및 파노라마 이미지는 각각 제 1 이미지(IMG1) 및 제 2 이미지(IMG2)로서 입출력 인터페이스(140)를 통해 출력될 수 있다.
실시 예들에서, 파노라마 이미지는 영상 캘리브레이터(131)가 아닌 영상 처리기(130)의 다른 구성 요소에 의해 생성될 수 있다.
영상 캘리브레이터(131)는 방향 감지 센서(113)로부터 고정 카메라(110)의 지향 방향과 연관된 디폴트 값(DPV)을 수신할 수 있다. 영상 캘리브레이터(131)는 수신된 디폴트 값(DPV)을 메모리(DPV)에 저장할 수 있다. 영상 캘리브레이터(131)는 디폴트 값(DPV)에 따라 제 2 이미지(IMG2)에서 기준 윈도우를 판별하고, 기준 윈도우 내에서 제 1 이미지(IMG1)와 매치되는 이미지 영역을 감지하도록 구성된다. 감지된 이미지 영역(이하, 감지 영역)은 제 1 이미지(IMG1)와 실질적으로 동일한 사이즈일 수 있다. 영상 캘리브레이터(131)는 감지 영역을 나타내는 정보(이하, 감지 영역 정보)(DAI)를 입출력 인터페이스(140)를 통해 출력할 수 있다. 또한, 영상 캘리브레이터(131)는 감지 영역 정보(DAI)를 캘리브레이션 정보(CLBI)로서 메모리(150)에 저장할 수 있다.
외부 제어 장치(30, 도 1 참조)는 제 1 이미지(IMG1), 제 2 이미지(IMG2), 및 감지 영역 정보(DAI)를 수신할 수 있다. 외부 제어 장치(30)는 제 1 이미지(IMG1) 및 제 2 이미지(IMG2)를 그 디스플레이 장치에 디스플레이하되, 감지 영역 정보(DAI)에 따라 제 2 이미지(IMG2) 상에서 감지 영역을 표시하는 하이라이트를 더 디스플레이할 수 있다. 외부 제어 장치(30)의 사용자는 하이라이트된 감지 영역을 변경하고 감지 영역을 캘리브레이션 영역으로 선택하는 등의 사용자 입력들을 수신할 수 있으며, 수신된 사용자 입력들에 응답하여 캘리브레이션 커맨드(CLBCMD)를 제공할 수 있다.
영상 캘리브레이터(131)는 캘리브레이션 커맨드(CLBCMD)에 응답하여 감지 영역 정보(DAI)를 캘리브레이션 정보(CLBI)로서 메모리(150)에 저장할 수 있다. 캘리브레이션 정보(CLBI)는 고정 카메라(110)의 영상 좌표와 PTZ 카메라(120)의 영상 좌표 사이의 매핑 정보를 포함할 수 있다. 캘리브레이션 커맨드(CLBCMD)와 함께 감지 영역의 변경을 나타내는 정보가 수신될 때, 영상 캘리브레이터(131)는 수신된 정보 및 감지 영역 정보(DAI) 중 적어도 하나에 기반하여 캘리브레이션 정보(CLBI)를 메모리(150)에 저장할 수 있다.
모터 컨트롤러(132)는 입출력 인터페이스(140) 혹은 영상 처리기(130)의 다른 구성 요소들로부터 영역 선택 신호(SS)를 수신할 수 있다. 영역 선택 신호(SS)는 고정 카메라 이미지(FIMG)의 일부 이미지 영역를 선택하는 데이터를 포함할 수 있다. 모터 컨트롤러(132)는 영역 선택 신호(SS)에 의해 선택된 이미지 영역에 대응하는 PTZ 카메라(120)의 영상 좌표를 캘리브레이션 정보(CLBI)를 참조하여 판별하고, PTZ 카메라(120)가 판별된 영상 좌표를 향하도록 모터 구동기(125)를 통해 제 1 및 제 2 모터들(123, 124)을 제어할 수 있다. 이에 따라, 영상 촬영 장치(100)는 PTZ 카메라(120)를 이용하여 영역 선택 신호(SS)에 의해 선택된 이미지 영역을 촬영할 수 있다.
본 발명의 실시 예에 따르면, 영상 촬영 장치(100)는 고정 카메라(110)에 의해 촬영되는 제 1 이미지(IMG1) 및 PTZ 카메라(120)를 움직이면서 촬영함으로써 획득되는 제 2 이미지(IMG2)를 제공하되, 고정 카메라(110)의 지향 방향과 연관된 디폴트 값(DPV)에 따라 제 2 이미지(IMG2)에서 결정되는 기준 윈도우 내에서 제 1 이미지(IMG1)와 매치되는 이미지 영역을 감지하고, 감지 결과에 따라 PTZ 카메라(120)를 고정 카메라(110)와 관련하여 캘리브레이트할 수 있다. 제 2 이미지(IMG2)의 전부가 아닌 기준 윈도우에 대응하는 부분과 제 1 이미지(IMG1)를 비교함으로써, 제 2 이미지(IMG2) 중 제 1 이미지(IMG1)와 매치되는 이미지 영역을 감지하는 데에 상대적으로 짧은 시간 및/또는 적은 자원들이 소요되며, 감지 영역은 상대적으로 높은 신뢰성을 가질 수 있다. 이미지 매칭 알고리즘에 불리한 환경, 예를 들면 유사한 구조물들이 반복적으로 위치하는 공간에 영상 촬영 장치(100)가 설치된 경우, 제 2 이미지(IMG2)의 기준 윈도우 내에서 제 1 이미지(IMG1)에 매치되는 이미지 영역을 검색하는 것은 감지 결과에 더 높은 신뢰성을 부여할 수 있다. 또한, 감지 결과는 외부 제어 장치(30)에 전송되어 사용자에 의한 캘리브레이션을 도울 수 있다.
도 4는 도 3의 영상 캘리브레이터의 일 실시 예를 보여주는 블록도이다. 도 5는 파노라마 이미지 및 파노라마 이미지 상에 표시되는 기준 윈도우 및 감지 영역을 보여주는 도면이다.
도 4 및 도 5를 참조하면, 영상 캘리브레이터(131)는 이미지 생성부(210), 윈도우 설정부(220), 특징점 감지부(230), 및 특징점 비교부(240)를 포함할 수 있다.
이미지 생성부(210)는 PTZ 카메라(120)가 움직이면서 촬영하는 복수의 PTZ 카메라 이미지들(PTZIMG)을 수신하고, 수신된 PTZ 카메라 이미지들(PTZIMG)을 스티칭함으로써 파노라마 이미지를 생성하고, 생성된 파노라마 이미지를 제 2 이미지(IMG2)로서 윈도우 설정부(220)에 제공할 수 있다. 도 3을 참조하여 설명된 바와 같이, 제 2 이미지(IMG2)는 입출력 인터페이스(140)를 통해 출력될 수 있다.
이와 같이, 제 2 이미지(IMG2)는 PTZ 카메라(120)가 팬 및 틸트 중 적어도 하나를 수행함으로써 얻어질 수 있다. 예를 들면, PTZ 카메라(120)의 틸트 각도는 30도로 고정되고 0~360도 범위에서 팬을 수행함으로써 얻어진 제 2 이미지(IMG2)는 도 5에 도시된 바와 같이 원 형상을 가질 수 있다. 다른 예로서, PTZ 카메라(120)가 0~60도 범위에서 틸트를 더 수행함으로써 파노라마 이미지가 얻어질 때, 제 2 이미지(IMG2)의 사이즈(예를 들면 원 형상의 이미지의 반지름)는 증가할 수 있다.
윈도우 설정부(220)는 제 1 및 제 2 이미지들(IMG1, IMG2), 그리고 디폴트 값(DPV)을 수신할 수 있다. 윈도우 설정부(220)는 디폴트 값(DPV)에 따라 제 2 이미지(IMG2) 상에서 기준 윈도우(RW)를 정의하도록 구성된다. 한편, 제 2 이미지(IMG2)는 스티칭에 의한 파노라마 이미지이고, 제 1 이미지(IMG1)는 노멀 이미지이다. 이에 따라 제 1 및 제 2 이미지들(IMG1, IMG2)은 서로 다른 스케일들을 가질 수 있다. 이러한 경우, 윈도우 설정부(220)는 제 1 이미지(IMG1)를 제 2 이미지(IMG2)와 동일한 스케일을 갖도록 가공하거나, 제 2 이미지(IMG2)를 제 1 이미지(IMG1)와 동일한 스케일을 갖도록 가공할 수 있다.
특징점 감지부(230)는 제 2 이미지(IMG2)의 기준 윈도우(RW)에 대응하는 부분 및 제 1 이미지(IMG1) 각각으로부터 특징점들을 추출하도록 구성된다. 특징점 비교부(240)는 추출된 특징점들을 비교하여 제 1 이미지(IMG1)와 매치되는 감지 영역(DA)을 판별하도록 구성된다. 감지 영역(DA)은 기준 윈도우(RW) 내에 포함된다. 특징점 비교부(240)는 감지 영역 정보(DAI)를 출력할 수 있다.
도 6은 본 발명의 실시 예에 따른 영상 촬영 장치의 동작 방법을 보여주는 순서도이다.
도 3 및 도 6을 참조하면, S110단계에서, 영상 촬영 장치(100)는 고정 카메라(110)로부터 제 1 이미지(IMG1)를 획득된다. S120단계에서, 영상 촬영 장치(100)는 PTZ 카메라(120)를 움직이면서 촬영함으로써 획득된 이미지들을 스티칭하여 파노라마 이미지인 제 2 이미지(IMG2)를 생성한다.
S130단계에서, 영상 촬영 장치(100)는 고정 카메라(110)의 지향 방향과 연관되는 디폴트 값(DPV)에 따라 제 2 이미지(IMG2)에서 기준 윈도우를 판별하고, 제 2 이미지(IMG2)의 기준 윈도우에서 제 1 이미지(IMG1)와 매치되는 이미지 영역을 검색한다. 기준 윈도우는 미리 판별되어 메모리(150)에 미리 저장될 수 있으며, 제 2 이미지(IMG2) 내 일부 영역을 특정하는 정보를 포함할 수 있다.
S140단계에서, 영상 촬영 장치(100)는 이미지 영역의 감지에 성공했는지 여부에 따라 S150단계 또는 S160단계를 수행한다. S150단계에서, 영상 촬영 장치(100)는 감지 영역 정보(DAI)를 출력한다. 감지 영역 정보(DAI)는 제 2 이미지(IMG2) 혹은 기준 윈도우 내에서 일부 영역을 특정하는 정보를 포함할 수 있다. 영상 촬영 장치(100)는 감지 영역 정보(DAI)에 따라 PTZ 카메라(120)를 고정 카메라(110)에 캘리브레이트할 수 있다. 예를 들면, 영상 촬영 장치(100)는 감지 영역 정보(DAI)에 기반하여, 고정 카메라(110)의 영상 좌표와 PTZ 카메라(120)의 영상 좌표 사이의 매핑 관계를 포함하는 캘리브레이션 정보(CLBI)를 메모리(150)에 저장할 수 있다.
S160단계에서, 영상 촬영 장치(100)는 기준 윈도우 정보를 출력한다.
도 7은 도 6의 S150단계를 좀 더 구체적으로 보여주는 순서도이다.
도 7을 참조하면, S151단계에서, 제 1 이미지(IMG1), 제 2 이미지(IMG2), 및 감지 영역 정보(DAI)가 출력된다. 외부 제어 장치(30)는 영상 촬영 장치(100)로부터 네트워크를 통해 제 1 이미지(IMG1), 제 2 이미지(IMG2), 및 감지 영역 정보(DAI)를 수신하고, 제 1 이미지(IMG1) 및 제 2 이미지(IMG2)를 그 디스플레이 장치에 디스플레이하되, 감지 영역 정보(DAI)에 따라 제 2 이미지(IMG2) 상에서 감지 영역을 표시하는 하이라이트를 더 디스플레이할 수 있다.
도 8은 도 7의 S160단계를 좀 더 구체적으로 보여주는 순서도이다.
도 8을 참조하면, S161단계에서, 고정 카메라(110)에 의해 촬영되는 제 1 영상, PTZ 카메라(120)에 의해 촬영되는 제 2 영상, 및 기준 윈도우 정보가 출력된다. 이때, 제 2 영상은 기준 윈도우에 해당하는 영상 좌표를 지향하도록 PTZ 카메라(120)를 제어하고, PTZ 카메라(120)를 통해 촬영함으로써 획득될 수 있다.
외부 제어 장치(30)는 영상 촬영 장치(100)로부터 네트워크를 통해 제 1 영상, 제 2 영상, 및 기준 윈도우 정보를 수신하고, 제 1 및 제 2 영상들을 디스플레이 장치에 디스플레이하고, 기준 윈도우 정보에 따라 제 2 영상 상에서 기준 윈도우를 표시하는 하이라이트를 더 디스플레이할 수 있다. 감지 영역의 검색이 실패할 때 외부 제어 장치(30)에 카메라들(110, 120)에 의해 촬영되는 영상들 및 기준 윈도우 정보를 제공함으로써, 사용자는 하여금 실시간으로 영상들을 확인하고 제 1 영상에 대응하는 제 2 영상의 이미지 영역을 선택하는 데에 기준 윈도우 정보를 참조하도록 할 수 있다.
도 9는 캘리브레이션 커맨드에 응답하여 PTZ 카메라의 영상 좌표를 고정 카메라의 영상 좌표와 관련하여 캘리브레이트하는 방법을 보여주는 순서도이다.
도 3 및 도 9를 참조하면, S210단계에서, 영상 촬영 장치(100)는 외부 제어 장치(30)로부터 캘리브레이션 커맨드(CLBCMD)와 함께 사용자에 의해 선택된 이미지 영역과 연관된 정보를 수신할 수 있다. 선택된 이미지 영역과 연관된 정보는 제 2 이미지(IMG2) 혹은 도 8을 참조하여 설명된 제 2 영상 상에서 선택된 이미지 영역을 특정하는 정보를 포함할 수 있다. 선택된 이미지 영역과 연관된 정보는 감지 영역 정보(DAI)에 의해 특정된 감지 영역과 선택된 이미지 영역 사이의 변화량을 나타내는 정보를 포함할 수 있다.
S220단계에서, 영상 촬영 장치(100)는 수신된 정보에 따라 PTZ 카메라(120)를 고정 카메라(110)에 캘리브레이트할 수 있다. 캘리브레이션 커맨드(CLBCMD)와 함께 선택된 이미지 영역과 연관된 정보가 수신될 때, 영상 촬영 장치(100)는 선택된 이미지 영역과 연관된 정보 및/또는 감지 영역 정보(DAI)에 기반하여 고정 카메라(110)의 영상 좌표와 PTZ 카메라(120)의 영상 좌표 사이의 매핑 관계를 포함하는 캘리브레이션 정보(CLBI)를 메모리(150)에 저장할 수 있다. 선택된 이미지 영역과 연관된 정보 없이 캘리브레이션 커맨드(CLBCMD)가 수신될 때, 영상 촬영 장치(100)는 감지 영역 정보(DAI)에 기반하여 고정 카메라(110)의 영상 좌표와 PTZ 카메라(120)의 영상 좌표 사이의 매핑 관계를 포함하는 캘리브레이션 정보(CLBI)를 메모리(150)에 저장할 수 있다.
본 발명의 실시 예에 따른 캘리브레이션 방법은 고정 카메라(110)에 의해 촬영되는 제 1 이미지(IMG1) 및 PTZ 카메라(120)를 움직이면서 촬영함으로써 획득되는 제 2 이미지(IMG2)를 제공하되, 고정 카메라(110)의 지향 방향과 연관된 디폴트 값(DPV)에 따라 제 2 이미지(IMG2)에서 결정되는 기준 윈도우 내에서 제 1 이미지(IMG1)와 매치되는 이미지 영역을 감지하고, 감지 결과에 따라 PTZ 카메라(120)를 고정 카메라(110)와 관련하여 캘리브레이트할 수 있다. 제 2 이미지(IMG2)의 전부가 아닌 기준 윈도우에 대응하는 부분과 제 1 이미지(IMG1)를 비교함으로써, 제 2 이미지(IMG2) 중 제 1 이미지(IMG1)와 매치되는 이미지 영역을 감지하는 데에 상대적으로 짧은 시간 및/또는 적은 자원들이 소요되며, 감지 영역은 상대적으로 높은 신뢰성을 가질 수 있다. 또한, 감지 결과는 외부 제어 장치(30)에 전송되어 사용자에 의한 캘리브레이션을 도울 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 영상 촬영 장치의 동작 방법을 보여주는 순서도이다.
도 3 및 도 10을 참조하면, S310단계 내지 S340단계는 도 6을 참조하여 설명된 S110단계 내지 S140단계와 마찬가지로 설명된다. 이하, 중복되는 설명은 생략된다.
S350단계에서, 영상 촬영 장치(100)는 감지 영역 정보(DAI)를 출력한다. S350단계가 S340단계에 이어서 수행될 때, 도 7을 참조하여 설명된 바와 같이 제 1 및 제 2 이미지들(IMG1, IMG2)이 더 출력될 수 있다. 이때, 감지 영역 정보(DAI)는 제 2 이미지(IMG2) 내에서 일부 영역을 특정하는 정보를 포함할 수 있다
S360단계에서, PTZ 카메라(120)를 움직이면서 촬영함으로써 기준 윈도우에 대응하는 제 3 이미지가 생성된다. 디폴트 값(DPV)을 읽고, 디폴트 값(DPV)에 따른 기준 윈도우에 대응하는 영상 좌표를 지향하도록 PTZ 카메라(120)를 제어하고, PTZ 카메라(120)를 통한 촬영을 수행함으로써 제 3 이미지가 얻어질 수 있다. 실시 예들에서, PTZ 카메라(120)는 적절한 줌 배율의 유지와 함께, 팬 및 틸트를 수행하여 기준 윈도우에 대응하는 영상 좌표들을 예를 들면 지그재그로 순차적으로 지향하면서 촬영을 수행함으로써, 복수의 PTZ 카메라 이미지들(PTZIMG)을 제공할 수 있으며, 얻어진 복수의 PTZ 카메라 이미지들(PTZIMG)을 스티칭함으로써 제 3 이미지가 얻어질 수 있다. 이러한 경우, 제 3 이미지는 제 2 이미지(IMG2)보다 높은 해상도를 가질 수 있다.
S370단계에서, 제 3 이미지 내에서 제 1 이미지(IMG1)와 매치되는 이미지 영역이 검색된다. 제 1 이미지(IMG1) 및 제 3 이미지 각각으로부터 특징점들이 추출되고, 추출된 특징점들이 비교되어 제 3 이미지 중 제 1 이미지(IMG1)와 매치되는 감지 영역이 판별될 수 있다. 제 3 이미지는 제 2 이미지(IMG2)보다 높은 해상도를 가지므로, S370단계에서 이미지 영역이 감지될 확률은 S340단계보다 높을 수 있다.
S380단계에서, 영상 촬영 장치(100)는 이미지 영역의 감지에 성공했는지 여부에 따라 S350단계 또는 S390단계를 수행한다. S350단계에서, 영상 촬영 장치(100)는 감지 영역 정보(DAI)를 출력한다. S350단계가 S380단계에 이어서 수행될 때, 제 1 이미지(IMG1) 및 제 3 이미지가 더 출력될 수 있다. 이때, 감지 영역 정보(DAI)는 제 3 이미지 내에서 일부 영역을 특정하는 정보를 포함할 수 있다.
S390단계에서, 영상 촬영 장치(100)는 기준 윈도우 정보를 출력한다. 이때, 도 8을 참조하여 설명된 바와 같이 고정 카메라(110)에 의해 촬영되는 제 1 영상, PTZ 카메라(120)에 의해 촬영되는 제 2 영상이 더 출력될 수 있다.
도 11은 본 발명의 실시 예에 따른 외부 제어 장치를 보여주는 블록도이다.
도 11을 참조하면, 외부 제어 장치(1000)는 통신기(1100), 사용자 인터페이스 장치(1300), 디스플레이 장치(1400), 불휘발성 저장 매체(1500), 프로세서(1600), 및 시스템 메모리(1700)를 포함한다.
통신기(1100)는 네트워크를 통해 외부 제어 장치(1000)와 영상 촬영 장치(100, 도 3 참조) 사이의 신호들을 송수신할 수 있다.
사용자 인터페이스 장치(1300)는 외부 제어 장치(1000) 혹은 프로세서(1600)의 동작들을 제어하기 위한 사용자 입력을 수신한다. 사용자 인터페이스 장치(1300)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등을 포함할 수 있다.
디스플레이 장치(1400)는 프로세서(1600)의 제어에 응답하여 동작한다. 디스플레이 장치(1400)는 외부 제어 장치(1000) 혹은 프로세서(1600)에 의해 처리되는 정보를 표시한다. 예를 들면, 디스플레이 장치(1400)는 프로세서(1600)의 제어에 따라 이미지를 디스플레이할 수 있다.
불휘발성 저장 매체(1500)는 플래시 메모리(flash memory), 하드 디스크 (hard disk), 멀티미디어 카드(multimedia card) 등 중 적어도 하나일 수 있다. 불휘발성 저장 매체(1500)는 프로세서(1600)의 제어에 응답하여 데이터를 기입하고 독출하도록 구성된다.
프로세서(1600)는 범용 혹은 전용 프로세서 중 어느 하나를 포함할 수 있으며, 통신기(1100), 사용자 인터페이스 장치(1300), 디스플레이 장치(1400), 불휘발성 저장 매체(1500), 및 시스템 메모리(1700)의 동작들을 제어한다.
프로세서(1600)는 실행될 때 다양한 기능들을 제공하는 명령어들을 포함하는 프로그램 코드들을 불휘발성 저장 매체(1500)로부터 시스템 메모리(1700)에 로딩하고, 로딩된 프로그램 코드들을 실행하도록 구성된다. 프로세서(1600)는 명령어들 및/또는 프로그램 코드들을 포함하는 영상 감시 모듈(1710)을 불휘발성 저장 매체(1500)로부터 시스템 메모리(1700)에 로드하고, 로드된 영상 감시 모듈(1710)을 실행할 수 있다. 영상 감시 모듈(1710)은 영상 촬영 장치(100)로부터 수신된 이미지 및/또는 영상을 디스플레이 장치(1400)에 디스플레이하고, 관련된 사용자 입력을 감지할 수 있다. 또한, 영상 감시 모듈(1710)은 추가적인 사용자 인터페이스를 디스플레이 장치(1400)에 시각화하고, 그것을 통한 사용자 입력을 감지할 수 있다. 영상 감시 모듈(1710)은 도 12를 참조하여 더 상세히 설명된다.
시스템 메모리(1700)는 프로세서(1600)의 워킹 메모리로서 제공될 수 있다. 도 8에서, 시스템 메모리(1700)는 프로세서(1600)와 분리된 구성 요소로서 도시되어 있으나, 이는 예시적인 것으로 시스템 메모리(1700)의 적어도 일부는 프로세서(1600) 내에 통합될 수 있다.
시스템 메모리(1700)는 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 및 다른 타입들의 컴퓨터에 의해 판독 가능한 저장 매체들 중 적어도 하나를 포함할 수 있다.
도 12는 외부 제어 장치에 디스플레이되는 화면의 일 예를 보여주는 도면이다. 도 12를 참조한 설명에서, 2개 채널들(CH1, CH2)의 고정 카메라들로부터 이미지들 및/또는 영상들이 수신된다고 가정한다.
도 11 및 도 12를 참조하면, 영상 감시 모듈(1710)은 제 1 채널(CH1)의 고정 카메라에 의해 촬영된 이미지(IMG1_1), 제 2 채널(CH2)의 고정 카메라에 의해 촬영된 이미지(IMG1_2), 그리고 PTZ 카메라를 움직이면서 촬영함으로써 얻어진 이미지(IMG2)를 분리된 영역들에 디스플레이한다.
영상 감시 모듈(1710)은 영상 촬영 장치(100, 도 3 참조)로부터의 감지 영역 정보(DAI, 도 3 참조)에 따른 제 1 감지 영역(DA1) 및 제 2 감지 영역(DA2)을 하이라이트할 수 있다. 제 1 감지 영역(DA1)은 제 1 채널(CH1)의 고정 카메라의 이미지(IMG1_1)와 매치되는 영역이고, 제 2 감지 영역(DA2)은 제 2 채널(CH2)의 고정 카메라의 이미지(IMG1_2)와 매치되는 영역이다. 영상 감시 모듈(1710)은 제 1 채널(CH1)의 고정 카메라의 이미지(IMG1_1)를 제 1 감지 영역(DA1)과 동일하게 하이라이트하고, 제 2 채널(CH2)의 고정 카메라의 이미지(IMG1_2)를 제 2 감지 영역(DA2)과 동일하게 하이라이트할 수 있다. 이러한 하이라이트들을 통해, 사용자는 제 1 및 제 2 감지 영역들(DA1, DA2) 및 그것들에 대응하는 고정 카메라들의 이미지들(IMG1_1, IMG1_2)을 용이하게 인식할 수 있다.
영상 감시 모듈(1710)은 제 1 사용자 입력들에 응답하여 제 1 및 제 2 채널들(CH1, CH2)의 이미지들(IMG1_1, IMG1_2)을 각각 제 1 및 제 2 감지 영역들(DA1, DA2)에 중첩하도록 디스플레이할 수 있다. 실시 예들에서, 제 1 사용자 입력들은 포인터(PNT)로 제 1 및 제 2 채널들(CH1, CH2)의 이미지들(IMG1_1, IMG1_2)을 각각 제 1 및 제 2 감지 영역들(DA1, DA2)에 드래그 앤 드롭하는 입력들을 포함할 수 있다. 다른 실시 예들에서, 제 1 사용자 입력들은 포인터(PNT)로 제 1 및 제 2 채널들(CH1, CH2)의 이미지들(IMG1_1, IMG1_2) 혹은 제 1 및 제 2 감지 영역들(DA1, DA2)을 소정의 시간 구간 내에 복수회 선택하는 입력들을 포함할 수 있다.
영상 감시 모듈(1710)은 이미지들(IMG1_1, IMG1_2)이 이미지(IMG2)에 중첩한 상태에서 포인터(PNT)로 화면의 일부에 배치된 버튼(BT)을 선택하는 제 2 사용자 입력에 응답하여, 영상 촬영 장치(100)에 캘리브레이션 커맨드(CLBCMD)를 전송할 수 있다.
영상 감시 모듈(1710)은 이미지들(IMG1_1, IMG1_2)이 이미지(IMG2)에 중첩한 상태에서 제 3 사용자 입력에 응답하여 제 1 및 제 2 감지 영역들(DA1, DA2)을 변경할 수 있다. 예를 들면, 제 3 사용자 입력은 이미지들(IMG1_1, IMG1_2)이 제 1 및 제 2 감지 영역들(DA1, DA2)에 중첩한 상태에서 포인터(PNT)로 이미지들(IMG1_1, IMG1_2)을 이동시키고, 포인터(PNT)로 이미지들(IMG1_1, IMG1_2)의 사이즈들을 변경하는 입력들을 포함할 수 있다. 이미지들(IMG1_1, IMG1_2)과 중첩된 이미지(IMG2)의 영역들은 각각 변경된 제 1 및 제 2 감지 영역들(DA1, DA2)로서 선택될 것이다. 이후, 영상 감시 모듈(1710)은 버튼(BT)을 선택하는 제 2 사용자 입력에 응답하여, 변경된 제 1 및 제 2 감지 영역들(DA1, DA2)을 나타내는 정보를 캘리브레이션 커맨드(CLBCMD)와 함께 영상 촬영 장치(100)에 전송할 수 있다.
앞서 설명된 바와 같이, 영상 촬영 장치(100)에서 감지 영역의 검색이 실패할 때, 영상 감시 모듈(1710)은 제 1 및 제 2 채널들(CH1, CH2)의 고정 카메라들에 의해 촬영되는 영상들, PTZ 카메라(120)에 의해 촬영되는 영상, 그리고 기준 윈도우 정보를 영상 촬영 장치(100)로부터 수신할 수 있다. 이러한 경우, 영상 감시 모듈(1710)은 수신되는 영상들을 이미지들(IMG1_1, IMG1_2, IMG2)과 마찬가지로 디스플레이할 수 있다. 이때, 영상 감시 모듈(1710)는 PTZ 카메라(120)에 의해 촬영되는 영상 상에서 기준 윈도우에 대한 하이라이트를 더 디스플레이할 수 있다. 또한, 영상 감시 모듈(1710)은 위 설명된 제 1 사용자 입력들에 응답하여 고정 카메라들의 영상들을 기준 윈도우와 중첩하도록 디스플레이할 수 있으며, 위 설명된 제 2 사용자 입력들에 응답하여 PTZ 카메라(120)의 영상 중 고정 카메라들의 영상들과 중첩된 부분들을 나타내는 정보를 영상 촬영 장치(100)에 전송할 수 있다. 영상 감시 모듈(1710)은 위 설명된 제 3 사용자 입력에 응답하여 기준 윈도우와 중첩된 고정 카메라들의 영상들의 영역들을 변경할 수 있다.
도 13은 도 3의 영상 촬영 장치를 구현하기 위한 예시적인 컴퓨터 장치를 보여주는 블록도이다.
도 13을 참조하면, 컴퓨터 장치(2000)는 고정 카메라(2001), PTZ 카메라(2002), 메인 프로세서(2003), 내부 메모리(2004), 이미지 프로세서(2005), 스토리지 인터페이스(2006), 네트워크 인터페이스(2007), 버스(2008), 불휘발성 저장 매체(2009), 통신기(2010), 및 외부 메모리(2011)를 포함할 수 있다.
고정 카메라(2001) 및 PTZ 카메라(2002)는 도 3의 고정 카메라(110) 및 PTZ 카메라(120)와 마찬가지로 구성된다. 이하, 중복되는 설명은 생략된다.
메인 프로세서(2003)는 범용 프로세서 혹은 전용 프로세서 중 적어도 하나일 수 있으며, 컴퓨터 장치(2000)의 제반 동작들을 제어할 수 있다.
내부 메모리(2004)는 메인 프로세서(2003)에 의해 실행될 컴퓨터 프로그램들 및/또는 명령어들을 저장할 수 있다. 예를 들면, 내부 메모리(2004)는 메인 프로세서(2003)의 워킹 메모리로서 제공될 수 있다. 또한, 내부 메모리(2004)는 도 3의 메모리(150)로서 제공될 수 있다. 내부 메모리(2004)는 RAM(Random Access Memory), ROM(Read Only Memory), 및 다양한 타입들의 컴퓨터에 의해 판독 가능한 매체들 중 적어도 하나의 조합일 수 있다.
이미지 프로세서(2005)는 도 3을 참조하여 설명된 영상 처리기(130)의 기능들을 수행할 수 있다. 실시 예들에서, 영상 캘리브레이터(131) 및 모터 컨트롤러(132) 각각은 소프트웨어, 하드웨어, 펌웨어, 및 그것들의 조합으로서 구현될 수 있다. 영상 캘리브레이터(131) 및 모터 컨트롤러(132)가 소프트웨어들로 구현되는 경우, 이미지 프로세서(2005)는, 이미지 프로세서(2005)에 의해 실행될 때 영상 캘리브레이터(131)의 기능들을 제공하는 소프트웨어 모듈, 그리고 이미지 프로세서(2005)에 의해 실행될 때 모터 컨트롤러(132)의 기능들을 제공하는 소프트웨어 모듈을 내부 메모리(2004)에 로드하고, 로드된 소프트웨어 모듈들을 실행할 수 있다. 그러한 소프트웨어 모듈들은 불휘발성 저장 매체(2009)로부터 로드될 수 있다. 도 13에서, 내부 메모리(2004)는 이미지 프로세서(2005)와 분리되어 있다. 그러나, 이는 예시적인 것으로서, 내부 메모리(2004)의 적어도 일부는 이미지 프로세서(2005)에 포함된 구성 요소로서 제공될 수 있다.
실시 예들에서, 모터 컨트롤러(132)는 이미지 프로세서(2005)와 구분된 별도의 구성 요소로서 제공될 수도 있다.
스토리지 인터페이스(2006)는 불휘발성 저장 매체(2009)와 컴퓨터 장치(2000)의 구성 요소들 사이를 인터페이싱한다. 스토리지 인터페이스(2006)는 메인 프로세서(2003) 및/또는 이미지 프로세서(2005)의 제어에 응답하여 동작할 수 있다.
네트워크 인터페이스(2007)는 통신기(2010, 혹은 트랜시버)와 컴퓨터 장치(2000)의 구성 요소들 사이를 인터페이싱한다. 네트워크 인터페이스(2007)는 메인 프로세서(2003)의 제어에 응답하여 동작할 수 있다. 메인 프로세서(2003)는 이미지 프로세서(2005)로부터 출력되는 데이터를 통신기(2010)를 통해 외부 제어 장치(1000)로 전송할 수 있다.
버스(2008)는 데이터, 신호들, 및 정보의 통신을 위해 컴퓨터 장치(2000)의 구성 요소들을 연결한다. 버스(2008)는 도 3의 입출력 인터페이스(140)로서 기능할 수 있다.
불휘발성 저장 매체(2009)는 플래시 메모리, 하드 디스크, 멀티미디어 카드 등 전원이 차단되더라도 데이터를 유지하는 다양한 타입들의 저장 매체들 중 하나일 수 있다. 불휘발성 저장 매체(2009)는 메인 프로세서(2009)의 제어에 응답하여 데이터를 기입하고 독출하도록 구성된다. 실시 예들에서, 불휘발성 저장 매체(2009)는 도 3의 메모리(150)로서 제공될 수 있다.
통신기(2010)는 네트워크를 통해 외부 제어 장치(1000)와 컴퓨터 장치(2000) 사이의 신호들을 송수신할 수 있다.
실시 예들에서, 메인 프로세서(2003), 내부 메모리(2004), 및 이미지 프로세서(2005)는 하나의 반도체 칩(CHIP)으로 통합될 수 있다. 또한, 반도체 칩(CHIP)은 스토리지 인터페이스(2006) 및 네트워크 인터페이스(2007)를 더 포함할 수 있다.
컴퓨터 장치(2000)은 외부 메모리(2011)를 더 포함할 수 있다. 외부 메모리(2011)는 메인 프로세서(2003) 및 이미지 프로세서(2005)와 같은 컴퓨터 장치(2000) 내 구성 요소들에 추가적인 저장 공간을 제공할 수 있으며, 컴퓨터 장치(2000)에 탈착 가능한 방식으로 제공될 수 있다.
비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 영상 촬영 장치
110: 고정 카메라
120: PTZ 카메라
130: 영상 처리기
131: 영상 캘리브레이터
140: 입출력 인터페이스
150: 메모리
1000: 외부 제어 장치

Claims (20)

  1. 적어도 하나의 고정 카메라;
    팬(Pan), 틸트(Tilt) 또는 줌(zoom)이 가능한 PTZ(Pan-Tilt-Zoom) 카메라; 및
    상기 적어도 하나의 고정 카메라 및 상기 PTZ 카메라와 연결되는 영상 캘리브레이터; 및
    상기 고정 카메라의 지향 방향을 감지하여 디폴트 값을 생성하기 위해 상기 고정 카메라와 관련하여 배치된 방향 감지 센서를 포함하되,
    상기 영상 캘리브레이터는,
    상기 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 이미지 및 상기 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 2 이미지를 수신하고;
    상기 제 2 이미지에서 결정되는 기준 윈도우 내에서 상기 제 1 이미지와 매치되는 이미지 영역을 검색하고;
    상기 검색된 이미지 영역에 대한 정보를 생성하고; 및
    상기 방향 감지 센서에 의해 검출된 상기 고정 카메라의 지향 방향과 연관된 디폴트 값에 따라 상기 제2 이미지에서 상기 기준 윈도우를 식별하도록 구성되는 영상 촬영 장치.
  2. 제 1 항에 있어서,
    상기 제 2 이미지는 상기 PTZ 카메라를 움직이면서 촬영된 복수의 이미지들을 스티칭(stitching)함으로써 획득된 파노라마 이미지를 포함하는 영상 촬영 장치.
  3. 제 1 항에 있어서,
    지지 부재; 및
    상기 적어도 하나의 고정 카메라, 상기 방향 감지 센서 및 상기 지지 부재에 결합되며, 상기 적어도 하나의 고정 카메라를 이동하여 상기 지향 방향을 조절하도록 구성되는 이동 부재를 더 포함하되,
    상기 디폴트 값은 상기 적어도 하나의 고정 카메라의 상기 이동에 따라 결정되는 영상 촬영 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 영상 캘리브레이터는,
    상기 디폴트 값에 따라 상기 기준 윈도우를 정의하도록 구성되는 윈도우 설정부;
    상기 제 2 이미지의 상기 기준 윈도우에 대응하는 부분 및 상기 제 1 이미지 각각으로부터 특징점들을 추출하도록 구성되는 특징점 감지부; 및
    상기 추출된 특징점들을 비교하여 상기 제 1 이미지와 매치되는 상기 이미지 영역을 검출하도록 구성되는 특징점 비교부를 포함하는 영상 촬영 장치.
  6. 제 1 항에 있어서,
    상기 영상 캘리브레이터는 상기 검색된 이미지 영역에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성되는 영상 촬영 장치.
  7. 제 1 항에 있어서,
    상기 영상 캘리브레이터는 외부로부터 상기 검색된 이미지 영역의 변경을 나타내는 정보가 수신될 때, 상기 변경을 나타내는 상기 정보에 기반하여 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표와 매핑하도록 구성되는 영상 촬영 장치.
  8. 제 1 항에 있어서,
    상기 영상 캘리브레이터는,
    상기 이미지 영역의 검색이 실패할 때 상기 기준 윈도우를 나타내는 정보를 외부로 출력하고;
    상기 외부로부터 상기 기준 윈도우의 일부를 선택하는 정보가 수신될 때, 상기 기준 윈도우의 상기 선택된 일부에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성되는 영상 촬영 장치.
  9. 제 1 항에 있어서,
    상기 영상 캘리브레이터는,
    상기 이미지 영역의 검색이 실패할 때 상기 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 3 이미지를 수신하되, 상기 제 3 이미지는 상기 기준 윈도우에 대응하고;
    상기 제 3 이미지 중 상기 제 1 이미지와 매치되는 이미지 영역을 검색하고;
    상기 제 3 이미지 중 상기 제 1 이미지와 매치되는 상기 이미지 영역을 나타내는 정보를 출력하도록 구성되는 영상 촬영 장치.
  10. 적어도 하나의 고정 카메라;
    팬(Pan), 틸트(Tilt) 또는 줌(zoom)이 가능한 PTZ(Pan-Tilt-Zoom) 카메라;
    상기 적어도 하나의 고정 카메라 및 상기 PTZ 카메라와 연결되는 영상 캘리브레이터;
    상기 고정 카메라의 지향 방향을 감지하여 디폴트 값을 생성하기 위해 상기 고정 카메라와 관련하여 배치된 방향 감지 센서; 및
    상기 적어도 하나의 고정 카메라 및 상기 PTZ 카메라에 의해 촬영되는 영상들을 디스플레이 장치에 디스플레이하기 위한 영상 감시기를 포함하되,
    상기 영상 캘리브레이터는,
    상기 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 이미지 및 상기 PTZ 카메라를 움직이면서 촬영함으로써 획득되는 제 2 이미지를 수신하고;
    상기 제 2 이미지에서 결정되는 기준 윈도우 내에서, 상기 제 1 이미지와 매치되는 이미지 영역을 검색하고;
    상기 검색된 이미지 영역에 대한 정보를 생성하고; 및
    상기 방향 감지 센서에 의해 검출된 상기 고정 카메라의 지향 방향과 연관된 디폴트 값에 따라 상기 제2 이미지에서 상기 기준 윈도우를 식별하도록 구성되고,
    상기 영상 감시기는,
    상기 이미지 영역의 검색이 성공할 때, 상기 제 1 이미지와 상기 제 2 이미지를 상기 디스플레이 장치에 디스플레이하되,
    상기 제 2 이미지 상에서 상기 검색된 이미지 영역에 대한 하이라이트를 더 디스플레이하도록 구성되는 영상 촬영 시스템.
  11. 제 10 항에 있어서,
    상기 영상 감시기는 상기 제 1 이미지에 대한 하이라이트를 더 디스플레이하도록 구성되며, 상기 제 1 이미지에 대한 상기 하이라이트와 상기 검색된 이미지 영역에 대한 상기 하이라이트는 서로 동일한 영상 촬영 시스템.
  12. 제 10 항에 있어서,
    사용자 인터페이스를 더 포함하되,
    상기 영상 감시기는,
    상기 제 1 및 제 2 이미지들을 상기 디스플레이 장치의 분리된 제 1 및 제 2 영역들에 각각 디스플레이하되, 상기 사용자 인터페이스를 통해 제 1 사용자 입력이 수신될 때 상기 제 1 이미지를 상기 검색된 이미지 영역과 중첩하도록 디스플레이하도록 구성되는 영상 촬영 시스템.
  13. 제 12 항에 있어서,
    상기 제 1 사용자 입력은 상기 제 1 이미지를 상기 검색된 이미지 영역의 적어도 일부에 드래그 앤 드롭하는 입력을 포함하는 영상 촬영 시스템.
  14. 제 12 항에 있어서,
    상기 제 1 사용자 입력은 소정의 시간 구간 내에 상기 제 1 이미지를 복수회 선택하는 입력을 포함하는 영상 촬영 시스템.
  15. 제 12 항에 있어서,
    상기 영상 감시기는 상기 제 1 이미지가 상기 검색된 이미지 영역과 중첩된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 2 사용자 입력에 응답하여 커맨드 신호를 상기 영상 캘리브레이터에 전송하도록 구성되며,
    상기 영상 캘리브레이터는 상기 커맨드 신호에 응답하여 상기 검색된 이미지 영역에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성되는 영상 촬영 시스템.
  16. 제 12 항에 있어서,
    상기 영상 감시기는 상기 제 1 이미지가 상기 검색된 이미지 영역과 중첩된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 2 사용자 입력에 응답하여, 상기 제 1 이미지에 해당하는 영역을 상기 제 2 이미지 상에서 변경시켜 디스플레이하도록 구성되는 영상 촬영 시스템.
  17. 제 16 항에 있어서,
    상기 영상 감시기는 상기 제 1 이미지에 해당하는 영역이 상기 제 2 이미지 상에서 변경된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 3 사용자 입력에 응답하여, 상기 변경과 연관된 정보를 상기 영상 캘리브레이터에 제공하도록 구성되고,
    상기 영상 캘리브레이터는 상기 변경과 연관된 상기 정보에 기반하여 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성되는 영상 촬영 시스템.
  18. 제 10 항에 있어서,
    상기 영상 감시기는,
    상기 이미지 영역의 검색이 실패할 때, 상기 적어도 하나의 고정 카메라에 의해 촬영되는 제 1 영상과 상기 PTZ 카메라에 의해 촬영되는 제 2 영상을 상기 디스플레이 장치에 디스플레이하되, 상기 제 2 영상 상에서 상기 기준 윈도우에 대한 하이라이트를 더 디스플레이하도록 구성되는 영상 촬영 시스템.
  19. 제 18 항에 있어서,
    사용자 인터페이스를 더 포함하되,
    상기 영상 감시기는,
    상기 제 1 및 제 2 영상들을 상기 디스플레이 장치의 구분된 제 1 및 제 2 영역들에 각각 디스플레이하되, 상기 사용자 인터페이스를 통해 제 1 사용자 입력이 수신될 때 상기 제 1 영상을 상기 기준 윈도우와 중첩하도록 디스플레이하는 영상 촬영 시스템.
  20. 제 19 항에 있어서,
    상기 영상 감시기는 상기 제 1 영상이 상기 기준 윈도우와 중첩된 상태에서 상기 사용자 인터페이스를 통해 수신되는 제 2 사용자 입력에 응답하여, 제 2 영상의 상기 제 1 영상과 중첩된 부분에 대한 정보를 상기 영상 캘리브레이터에 전송하도록 구성되며,
    상기 영상 캘리브레이터는 상기 제 2 영상의 상기 제 1 영상과 중첩된 상기 부분에 대응하는 상기 PTZ 카메라의 영상 좌표를 상기 적어도 하나의 고정 카메라의 영상 좌표에 매핑하도록 구성되는 영상 촬영 시스템.
KR1020180132671A 2018-11-01 2018-11-01 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 KR102619271B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180132671A KR102619271B1 (ko) 2018-11-01 2018-11-01 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US16/670,583 US10979645B2 (en) 2018-11-01 2019-10-31 Video capturing device including cameras and video capturing system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132671A KR102619271B1 (ko) 2018-11-01 2018-11-01 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템

Publications (2)

Publication Number Publication Date
KR20200050110A KR20200050110A (ko) 2020-05-11
KR102619271B1 true KR102619271B1 (ko) 2023-12-28

Family

ID=70460213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132671A KR102619271B1 (ko) 2018-11-01 2018-11-01 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템

Country Status (2)

Country Link
US (1) US10979645B2 (ko)
KR (1) KR102619271B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3311562A4 (en) * 2015-06-17 2018-06-20 Zhejiang Dahua Technology Co., Ltd Methods and systems for video surveillance
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
JP2020202503A (ja) * 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
KR102610488B1 (ko) * 2023-10-10 2023-12-07 주식회사 원우이엔지 다중 카메라를 이용한 감시 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130258064A1 (en) * 2012-04-03 2013-10-03 Samsung Techwin Co., Ltd. Apparatus and method for reconstructing high density three-dimensional image
US20190066335A1 (en) * 2017-08-29 2019-02-28 Axis Ab Method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out
US20190313030A1 (en) * 2018-04-04 2019-10-10 Canon Kabushiki Kaisha Image-capturing system, information processing apparatus, control method of information processing apparatus, and storage medium

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US7787013B2 (en) * 2004-02-03 2010-08-31 Panasonic Corporation Monitor system and camera
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
US8279283B2 (en) * 2005-11-18 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
US7636105B2 (en) 2006-04-05 2009-12-22 Etreppid Technologies Llc Method and apparatus for providing motion control signals between a fixed camera and a PTZ camera
US7839431B2 (en) * 2006-10-19 2010-11-23 Robert Bosch Gmbh Image processing system and method for improving repeatability
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method
US20090160936A1 (en) * 2007-12-21 2009-06-25 Mccormack Kenneth Methods and apparatus for operating a video camera assembly
US8405720B2 (en) * 2008-08-08 2013-03-26 Objectvideo, Inc. Automatic calibration of PTZ camera system
US9030555B2 (en) * 2009-11-25 2015-05-12 Lg Electronics Inc. Surveillance system
KR100969576B1 (ko) 2009-12-17 2010-07-12 (주)유디피 카메라 파라미터 캘리브레이션 장치 및 방법
TWI400940B (zh) * 2010-03-24 2013-07-01 Hon Hai Prec Ind Co Ltd 遠端控制軌道式攝影裝置的手持式裝置及方法
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
KR101299237B1 (ko) * 2011-11-23 2013-08-22 서울대학교산학협력단 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
WO2013134623A1 (en) * 2012-03-08 2013-09-12 Neutar, Llc Patient and procedure customized fixation and targeting devices for stereotactic frames
US10235747B2 (en) * 2012-03-09 2019-03-19 Disney Enterprises, Inc. System and method for determining the current parameters of a zoomable camera
EP3122034B1 (en) * 2012-03-29 2020-03-18 Axis AB Method for calibrating a camera
KR101347450B1 (ko) 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 듀얼 카메라를 이용한 화상 감지 방법 및 장치
KR101726692B1 (ko) * 2012-08-24 2017-04-14 한화테크윈 주식회사 객체 추출 장치 및 방법
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR102003776B1 (ko) * 2013-08-13 2019-07-26 한화테크윈 주식회사 감시용 카메라의 자세 검출 방법 및 장치
KR102144394B1 (ko) * 2013-08-20 2020-08-13 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
KR101990367B1 (ko) * 2014-05-08 2019-06-18 한화테크윈 주식회사 영상 융합 방법
US10334150B2 (en) * 2014-05-14 2019-06-25 Hanwha Aerospace Co., Ltd. Camera system and method of tracking object using the same
US9984466B1 (en) * 2014-09-02 2018-05-29 Jemez Technology LLC Autonomous camera-to-camera change detection system
KR102319689B1 (ko) * 2015-05-07 2021-11-01 한화테크윈 주식회사 돔 카메라 시스템
EP3311562A4 (en) * 2015-06-17 2018-06-20 Zhejiang Dahua Technology Co., Ltd Methods and systems for video surveillance
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
JP6724919B2 (ja) * 2015-08-11 2020-07-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
KR102535859B1 (ko) * 2016-06-17 2023-05-24 한화비전 주식회사 감시 카메라 시스템
KR102489238B1 (ko) * 2016-09-26 2023-01-16 한화테크윈 주식회사 인도어-아웃도어 겸용 카메라 어셈블리
WO2018181248A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
US10477200B2 (en) * 2017-04-13 2019-11-12 Facebook, Inc. Panoramic camera systems
EP3419283B1 (en) * 2017-06-21 2022-02-16 Axis AB System and method for tracking moving objects in a scene
JP6907079B2 (ja) * 2017-09-14 2021-07-21 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP7130385B2 (ja) * 2018-02-19 2022-09-05 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10950003B2 (en) * 2018-03-29 2021-03-16 Pelco, Inc. Method of aligning two separated cameras matching points in the view
EP3550823A1 (en) * 2018-04-05 2019-10-09 EVS Broadcast Equipment SA Automatic control of robotic camera for capturing a portion of a playing field

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130258064A1 (en) * 2012-04-03 2013-10-03 Samsung Techwin Co., Ltd. Apparatus and method for reconstructing high density three-dimensional image
US20190066335A1 (en) * 2017-08-29 2019-02-28 Axis Ab Method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out
US20190313030A1 (en) * 2018-04-04 2019-10-10 Canon Kabushiki Kaisha Image-capturing system, information processing apparatus, control method of information processing apparatus, and storage medium

Also Published As

Publication number Publication date
KR20200050110A (ko) 2020-05-11
US10979645B2 (en) 2021-04-13
US20200145585A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102619271B1 (ko) 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US7385626B2 (en) Method and system for performing surveillance
US10075651B2 (en) Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US10404947B2 (en) Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium
US20100013917A1 (en) Method and system for performing surveillance
US8537228B2 (en) Electronic device and method for controlling cameras
CN110072078B (zh) 监控摄像机、监控摄像机的控制方法和存储介质
US9091904B2 (en) Camera device with rotary base
US10735659B2 (en) Rotation-adaptive video analytics camera and method
US20150002698A1 (en) Inclination angle compensation system and method for picture
US20180343435A1 (en) Display control apparatus, display control method, and storage medium
US9906710B2 (en) Camera pan-tilt-zoom (PTZ) control apparatus
US20170034403A1 (en) Method of imaging moving object and imaging device
EP3422287B1 (en) Information processing apparatus, information processing method, and program
JP5631065B2 (ja) 映像配信システム、制御端末、ネットワークカメラ、制御方法およびプログラム
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
KR20230017127A (ko) 복수의 영상 센서들을 이용한 무인기 검출 방법 및 시스템
US11184547B2 (en) Imaging device, method for controlling imaging device, and recording medium
KR20130116623A (ko) 이벤트 영상 출력 장치 및 방법
US20220385833A1 (en) Information processing apparatus, image capturing apparatus, information processing method, and non-transitory computer readable storage medium
WO2005120070A2 (en) Method and system for performing surveillance
US11637958B2 (en) Control apparatus, control method, and storage medium
KR102497939B1 (ko) 영상 처리를 이용한 물체 인식 시스템 그 동작 방법
US20210233285A1 (en) Mobile surveillance apparatus and operation method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant