KR101208427B1 - 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법 - Google Patents

동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법 Download PDF

Info

Publication number
KR101208427B1
KR101208427B1 KR1020080131664A KR20080131664A KR101208427B1 KR 101208427 B1 KR101208427 B1 KR 101208427B1 KR 1020080131664 A KR1020080131664 A KR 1020080131664A KR 20080131664 A KR20080131664 A KR 20080131664A KR 101208427 B1 KR101208427 B1 KR 101208427B1
Authority
KR
South Korea
Prior art keywords
image
camera
control
setting information
operation setting
Prior art date
Application number
KR1020080131664A
Other languages
English (en)
Other versions
KR20100073079A (ko
Inventor
최윤석
박정철
추창우
이지형
김진서
이승욱
김호원
황본우
구본기
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131664A priority Critical patent/KR101208427B1/ko
Priority to US12/571,854 priority patent/US20100157020A1/en
Publication of KR20100073079A publication Critical patent/KR20100073079A/ko
Application granted granted Critical
Publication of KR101208427B1 publication Critical patent/KR101208427B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 여러 대의 HD 카메라를 제어하여 동기화된 영상을 얻고 그것을 실시간 무손실로 저장하며 각 카메라의 팬(pan), 틸트(tilt), 줌(zoom) 등의 동작을 제어하기 위한 동기화된 실시간 다시점 영상 관리 장치 및 방법에 관한 것이다. 본 발명은, 다중 카메라로부터 동기화된 영상을 무손실로 취득하는 영상 취득부와, 상기 취득한 영상을 저장하고 상기 취득한 영상을 기반으로 상기 카메라의 팬, 틸트, 줌 동작을 제어하는 하나 이상의 인제스트 에이전트, 및 상기 인제스트 에이전트에 제어 명령을 전송하고 상기 저장된 영상을 수신하여 통합 저장하는 중앙 서버를 포함하는 카메라 제어 및 영상 저장 장치를 제공한다. 본 발명에 의하면, 카메라 제어, 영상 취득, 동기화 등의 다양한 기능을 소프트웨어적으로 수행함으로써 시스템이 단순해지고 업그레이드가 간편해지며, 다중 영상을 실시간 무손실로 저장할 수 있게 되며 각종 영상 처리를 쉽게 구현하고 영상 전송 효율성을 높일 수 있게 되는 효과가 있다.
동기화, 다중 영상, HD 카메라, 카메라 제어

Description

동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상 저장 장치 및 방법{Multiple Camera control and image storing apparatus and method for synchronized multiple image acquisition}
본 발명은 동기화된 다중 영상 취득을 위한 카메라 제어 및 영상 저장 장치 및 방법에 관한 것이다. 구체적으로 본 발명은 여러 대의 HD 카메라를 제어하여 동기화된 영상을 얻고 그것을 실시간 무손실로 저장하며 각 카메라의 팬(pan), 틸트(tilt), 줌(zoom) 등의 동작을 제어하기 위한 동기화된 실시간 다시점 영상 관리 장치 및 방법에 관한 것이다.
본 발명은 지식 경제부 및 정보통신진흥원의 IT 원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2008-F-030-01, 과제명: 방통융합형 Full 3D 복원 기술 개발(표준화연계].
영상 처리 기술의 발전에 따라 종래의 2D 멀티미디어 서비스는 실사 기반의 3D 실감 서비스로 진화하고 있다. 특히 방송 기술 분야에서는 현장의 사실감을 생생하게 전할 수 있도록 하기 위하여 다양한 카메라 기술을 바탕으로 많은 발전이 이루어지고 있다. 최근에는 방송과 통신의 융합에 따라 방통 융합형 풀(full) 3D 복원 기술 개발에 관한 연구도 진행되고 있다.
종래의 카메라 기술로는, 대상의 세세한 움직임을 담기 위한 슬로모션 카메라(slow motion camera), 레일을 이용하여 공간을 빠르게 움직이는 물체를 따라가는 레일 카메라(rail camera), 크레인의 암(arm) 끝에 카메라를 장착하여 대상의 움직임을 여러 각도에서 효과적으로 담는 크레인 카메라(crane camera) 등이 있다. 방송국의 영상 엔지니어들은 이러한 기술을 사용하여 박진감 있고 생동감 있는 영상을 담아 내고 있다. 그러나 초고속 카메라, 슬로모션 카메라, 레일 카메라, 크레인 카메라 등의 하드웨어 카메라만으로는, 나날이 높아가는 시청자들의 다양한 요구를 충족시키기가 점점 어려워지고 있다.
방송 컨텐츠 중에서도 스포츠 방송 중계 분야에서는, 경기장에서 뛰는 선수들의 움직임을 시청자에게 생생하게 전달하기 위하여 더 다양한 기술이 요구된다. 복수의 카메라를 다양한 각도에 설치하여 촬영함으로써 동기화된 다중 영상을 얻어 선택적으로 조합하면, 시청자들이 마치 경기장에서 관람석을 이리저리 옮겨 다니면서 순간의 하이라이트 장면을 가장 좋은 좌석에서 관람하는 것과 같은 영상을 제공할 수 있다.
종래 기술에서는, 피사체에 대한 360도 회전 영상이나 정지 회전 영상 등을 구현하기 위하여 모션 카메라 또는 여러 대의 카메라를 사용하는 영상 수집 장치를 이용하여 영상을 취득한 후 그 영상을 스위치 등의 장비 제어를 통하여 원하는 효과를 생성하였다. 이러한 작업에는 DCU(Digital Control Unit), MSU(Master Setup Unit), DME(Digital Multiplex Equipment), Digital Video Switcher, DVTR(Digital Video Tape Recorder) 등의 많은 장비가 구축하여야 한다. 그러나 이러한 장비들은 가격이 높고 설치 및 이동에 제약이 있으며, 카메라 및 제어 장비에 하드웨어적으로 구현할 수 있는 기능도 색상 변환, 자막 삽입 등으로 제한되어 있다는 문제가 있다.
그러므로 이러한 동기화된 다중 영상 취득 기술과 컴퓨터 기반의 영상 처리 기술을 접목하여, 보다 쉽게 카메라를 제어하고 다양한 효과가 부여될 수 있는 영상을 제공하려는 시도가 꾸준히 이어지고 있다.
상기 문제점을 해결하기 위하여 본 발명은, 방송 영상에 관한 시청자들의 다양한 요구에 대하여 소프트웨어적 접근을 택함으로써 장비 비용을 절감하는 것을 목적으로 한다.
또한, 여러 대의 HD 카메라에 동기화된 제어 명령을 지원함으로써 피사체에 대하여 실시간으로 카메라를 제어하고 영상을 저장하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 측면은, 다중 카메라로부터 동기화된 영상을 무손실로 취득하는 영상 취득부와, 상기 취득한 영상을 저장하고 상기 취득한 영상을 기반으로 상기 카메라의 팬, 틸트, 줌 동작을 제어하는 하나 이상의 인제스트 에이전트, 및 상기 인제스트 에이전트에 제어 명령을 전송하고 상기 저장된 영상을 수신하여 통합 저장하는 중앙 서버를 포함하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 인제스트 에이전트는, 상기 제어 명령에 응답하여 상기 취득한 영상을 기반으로 상기 카메라의 위치에 관한 정보를 분석하여 카메라 동작 설정 정보를 산출하는 영상 처리부와, 상기 취득한 영상을 동기화하여 무손실로 저장하는 영상 저장부, 및 상기 카메라 동작 설정 정보에 기반하여 상기 카메라의 팬, 틸트, 줌 동작을 제어하는 동작 제어부를 포함하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 영상 처리부는, 상기 제어 명령에 응답하여 상기 취득한 영상을 기반으로 상기 카메라의 위치에 관한 정보를 분석하여 카메라 동작 설정 정보를 산출하는 카메라 동작 설정 정보 산출부와, 상기 영상으로부터 상기 카메라의 위치 정보를 분석하는 기하 보정부와, 상기 영상의 색상을 보정하는 색상 보정부와, 상기 영상에서 전경과 배경을 분리하는 전배경 분리부, 및 상기 영상을 출력하는 영상 전송부를 포함하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 영상 처리부는, 상기 각 인제스트 에이전트에서 독립적으로 객체 트래킹(object tracking)을 수행하는 방식, 또는 피사체가 화면 중앙의 특정 크기를 유지하도록 공간 검색(space search)을 수행하는 방식 중 어느 하나 이상의 방식을 사용하여 상기 카메라 동작 설정 정보를 산출하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 영상 저장부는, 상기 다중 카메라에 1:1로 할당되어 상기 실시간 무손실 저장을 수행하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 인제스트 에이전트와 상기 중앙 서버 간의 동기화 및 제어 명령 전송을 위한 제어 네트워크와 상기 저장된 영상의 전송을 위한 데이터 네트워크로 구성된 듀얼 네트워크부를 포함하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 제어 네트워크는 RS-422 기반 네트워크이고, 상기 데이터 네트워크는 이더넷 기반 네트워크인 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 영상 취득부는 각각 2개의 상기 다중 카메라와 연결되어 HD 급 영상을 실시간 무손실로 취득하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 인제스트 에이전트는, 상기 제어 명령에 타임 코드를 추가한 지연 동기 명령을 이용하여, 상기 제어 명령 도착 시 상기 타임 코드에서 지정된 시간만큼의 지연 후 상기 제어 명령을 실행하는 카메라 제어 및 영상 저장 장치를 제공한다.
또한, 상기 인제스트 에이전트는, 상기 인제스트 에이전트 내 전체 영상을 캡슐화하고, 동시 전송을 수행할 인제스트 에이전트를 선택하고, 상기 선택된 인제스트 에이전트는 다중 허브를 이용하여 상기 캡슐화된 영상을 상기 중앙 서버에 블록 단위로 병렬 전송하는 카메라 제어 및 영상 저장 장치를 제공한다.
상기 목적을 달성하기 위하여 본 발명의 다른 측면은, 다중 카메라로부터 동기화된 영상을 무손실로 취득하고, 상기 취득한 영상을 기반으로 상기 카메라의 위치에 관한 정보를 분석하여 카메라 동작 설정 정보를 산출하고, 상기 카메라 동작 설정 정보를 바탕으로 상기 카메라의 팬, 틸트, 줌 동작을 제어하며 상기 취득한 영상을 동기화하여 실시간 무손실로 저장하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 제어 명령을 수신하고, 상기 제어 명령에 응답하여 상기 카메라 동작 설정 정보를 산출하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 상기 제어 명령은 중앙 서버에서 상기 카메라 동작 설정 정보를 지정하는 수동 제어 명령 또는 상기 카메라 각각에서 상기 카메라 동작 설정 정보를 산출하여 적용하는 능동적 제어 명령 중 어느 하나를 포함하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 상기 영상의 색상을 보정하고, 상기 영상에서 전경과 배경을 분리하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 상기 카메라 동작 설정 정보의 산출은, 독립적으로 객체 트래킹(object tracking)을 수행하는 방식, 또는 피사체가 화면 중앙의 특정 크기를 유지하도록 공간 검색(space search)을 수행하는 방식 중 어느 하나 이상의 방식을 사용하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 상기 제어 명령 전송 및 상기 저장된 영상의 전송은 각각 다른 통신망을 사용하여 이루어지는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 상기 제어 명령에 타임 코드를 추가한 지연 동기 명령을 이용하여, 도착한 명령을 상기 타임 코드에서 지정된 시간만큼의 지연 후 실행하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 상기 취득한 영상은 각각 2개의 다중 카메라로부터 입력 받은 실시간 무손실 HD 급 영상인 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 전체 영상을 캡슐화하고, 동시 전송을 수행할 하나 이상의 카메라 제어부를 선택하며, 상기 선택된 카메라 제어부는 다중 허브를 이용하여 상기 캡슐화된 영상을 블록 단위로 병렬 전송하는 카메라 제어 및 영상 저장 방법을 제공한다.
또한, 영상 프레임을 추출하고, 상기 영상 프레임을 가공 처리하며, 상기 가공 처리된 영상 프레임을 프레임 단위로 캡슐화하여 전송하는 카메라 제어 및 영상 저장 방법을 제공한다.
본 발명에 의하면, 카메라 제어, 영상 취득, 동기화 등의 다양한 기능을 소프트웨어적으로 수행함으로써 시스템이 단순해지고 업그레이드가 간편해지며 전배경 분리, 색상 보정, 기하 보정 등의 영상 처리를 쉽게 구현할 수 있게 되는 효과가 있다.
또한, 본 발명에 의하여 획득한 동기화된 다중 영상은 입체 TV 또는 3차원 모델 정보 추출에 사용되는 등 차세대 TV 환경의 컨텐츠 활용도를 높일 수 있게 되는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그 러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 카메라 제어 및 영상 저장 장치의 구조를 도시한 블록도이다.
본 실시예에서 카메라1a(111) 내지 카메라 1k(112)는 제 1 인제스트 에이전트(110)와 연결되고, 카메라na(131) 내지 카메라 nk(132)는 제 n 인제스트 에이전트(130)와 연결되어 각각 HD 영상을 취득한다. 인제스트 에이전트(110, 130)는 카메라의 자동 보정을 수행하고 카메라로부터 전달받은 영상을 실시간 무손실로 동기화하여 저장하고 처리한다. 인제스트 에이전트(110)는 동기화된 실시간 다중 영상을 취득하는 영상 취득부(115), 취득한 영상으로부터 카메라 동작 설정 정보를 산출하고 기타 영상 처리를 수행하는 영상 처리부(115), 취득 또는 처리된 영상 데이터를 저장하는 영상 저장부(117, 118), 인제스트 에이전트(110)에서 산출된 카메라 동작 설정 정보 또는 중앙 서버(160)로부터 전달된 제어 명령에 의하여 다중 카메라(111, 112)의 팬, 틸트, 줌 등의 동작을 제어하는 동작 제어부(114)로 구성될 수 있다.
중앙 서버(160)는 카메라(111, 112, 131, 132) 및 인제스트 에이전트(110, 130)의 동작을 능동적 또는 수동적으로 제어하고 다양한 카메라 효과 영상을 생성한다. 능동적 제어란 각 인제스트 에이전트(110, 130)에서 취득한 영상을 기반으로 자체적으로 연결된 다중 카메라(111, 112, 131, 132)의 팬, 틸트, 줌 등의 동작 제어를 실행하는 것이고, 수동적 제어란 중앙 서버(160)가 각 다중 카메라(111, 112, 131, 132)의 팬, 틸트, 줌 값을 지정하여 전송하는 것이다. 중앙 서버(160) 는 인제스트 에이전트(110, 130)과의 제어 명령 및 영상 데이터 송수신, 동기화 등을 처리하는 중앙 서버 제어부(165) 및 각 인제스트 에이전트(110, 130)로부터 전송된 영상 데이터를 통합하여 저장하는 처리 영상 저장부(170)로 구성될 수 있다.
본 실시예에서는 1개의 인제스트 에이전트(110)에 2대의 HD 카메라(111, 112)가 연결되도록 구성되어 있다. 실시예에 따라 영상 저장 장치가 실시간 무손실의 동기화 영상을 저장할 수 있는 성능 한도 내에서 1개의 인제스트 에이전트(110)에 k 대의 HD 카메라를 연결할 수 있다. 인제스트 에이전트와 카메라를 1:1로 연결할 경우 시스템이 방대해져 관리가 어렵게 되므로, k대의 HD 카메라와 k/2대의 인제스트 에이전트를 중앙 서버(160)에서 원격으로 통제하여, 영상 취득 및 재생, 데이터 관리 및 카메라 동작 제어 등을 통합적으로 관리하는 것이다. 이로써 방송 스튜디오 카메라, DCU, DMU, MSU, Digital Video Switcher, DVTR 등 고가의 장비를 컴퓨터 및 네트워크로 대체하여, 보다 저렴하면서도 기능 확장성이 있는 시스템을 제공할 수 있게 된다.
본 실시예에서 각 카메라(111, 112)로부터 입력된 HD 영상은 영상 취득부(116)를 통하여 각각 카메라와 저장부가 1:1로 대응이 되도록 하여 영상 저장부(117, 118)에 실시간 무손실로 저장된다. 영상 저장부(117, 118)는 물리적으로 구분된 영상 저장 장치로 구현될 수 있다. 다중 카메라로부터의 HD 영상 취득에는 영상 보드(board)를 활용할 수 있다. 하나의 저장 매체에 여러 영상이 동시에 저장되게 되면 물리적으로 단편화가 발생되어 영상 저장 장치의 성능을 저하시킬 수 있기 때문에 카메라의 영상과 저장 매체를 1:1로 대응시킬 수 있다. 본 실시예에 서 저장 매체인 영상 저장부(117, 118)는 초당 1.48Gbps HD 영상을 손실 없이 처리하도록 초당 250MB/s 이상의 저장성능을 지원할 수 있다.
실시예에 따라, 중앙 서버에서 카메라(111, 112, 131, 132) 및 인제스트 에이전트(110, 130)에 제어 명령을 전달하는 제어 네트워크(180)와, 인제스트 에이전트(110, 130)에서 중앙 서버(160)로 대용량 영상 데이터를 전송하는 데이터 네트워크(185)가 별도의 망으로 구성된 듀얼 네트워크(dual network)가 적용될 수 있다. 물리적으로 분리된 듀얼 네트워크를 사용하는 이유는, 단일 네트워크 사용시 대용량 데이터 전송에 따른 네트워크 과점유로 인한 명령 전달 지연 현상을 막거나 줄이기 위해서이다. 더 구체적으로, 제어 네트워크(180)로는 RS-422 기반의 시리얼 통신망이, 데이터 네트워크(185)로는 이더넷(Ethernet) 기반의 망이 사용될 수 있다. RS-422 기반의 시리얼 통신망은 12ms 내에서 명령어 전달을 보장하기 때문에, 빨리 움직이는 객체를 추적하기 위해 카메라(111, 112, 131, 132)의 팬(pan), 틸트(tilt), 줌(zoom) 등을 제어할 때, 초당 60프레임의 영상 취득을 가능하게 한다.
실시예에 따라, 시스템 전반에 동기 신호를 발생시키는 동기화 제어부(150)가 더 포함될 수 있다.
중앙 서버(160)는 동기화 제어부(150) 또는 지연 동기 명령 등에 의해 전체 시스템을 동기화 시킨 후, 제어 네트워크(180)를 통해 카메라(111, 112, 131, 132) 의 영상 취득 또는 팬, 틸트, 줌 등의 카메라 동작 설정 정보에 관한 제어 명령을 전송한다. 인제스트 에이전트(110, 130)는 전달 받은 제어 명령을 해석하고 실행하여 카메라(111, 112, 131, 132) 로부터 취득한 영상을 각각 실시간으로 영상 저 장부(117, 118, 137, 138)에 저장한다. 저장된 영상들은 인제스트 에이전트(110, 130) 내의 영상 처리부(116, 136) 내에서 카메라(111, 112, 131, 132) 별로 기하/색상 보정, 전/배경 분리 등의 영상 처리 작업을 거친 후 데이터 네트워크(185)를 통하여 중앙 서버(160)로 전달되어 처리 영상 저장부(170)에 저장된다. 인제스트 에이전트(110, 130) 내의 영상 처리부(116, 136)의 동작은 아래에서 더 자세히 기술한다.
도 2는 영상 처리부의 내부 구조를 도시한 블록도이다.
본 실시예에서 영상 처리부(116)는 카메라(111, 112)에 연결된 영상 취득부(115)서 전달 받은 영상으로부터 카메라 동작 설정 정보를 산출하는 카메라 동작 설정 정보 산출부(212), 취득한 영상으로부터 카메라 위치 정보를 분석하는 기하 보정부(214), 다중 카메라 영상의 색상을 보정하는 색상 보정부(216), 취득한 영상 또는 보정된 영상으로부터 전경과 배경을 분리하는 전배경 분리부(218), 처리된 영상을 영상 저장부(117,118)에 저장하거나 혹은 중앙 서버(160)에 출력하는 영상 전송부(220)를 포함한다.
도 3은 각 인제스트 에이전트에서 독립적으로 객체 트래킹을 하는 과정을 도시한 것이다.
이것은 앞에서 설명한 인제스트 에이전트에 의한 다중 카메라의 능동적 제어에 해당하는 것이다. 본 실시예에서는 각 인제스트 에이전트(110, 320, 330, 130)에서 능동적인 다중 카메라 제어 방식을 사용하여 각 카메라가 독립적으로 객체(350)를 추적한다. 각 인제스트 에이전트(110, 320, 330, 130)는 객체 트래 킹(object tracking) 기법으로 팬, 틸트, 줌 등의 카메라 동작 설정 정보의 값을 자동으로 설정하는 자동 보정을 수행한다.
다중 카메라의 동작 설정 정보의 값은 능동적 제어가 아닌 수동적 제어에 의하여도 설정될 수 있으며, 이 경우 중앙 서버(160)로부터 직접 입력되는 값에 의하여 각 다중 카메라의 팬, 틸트, 줌 등의 동작이 제어된다(미도시).
도 4는 인제스트 에이전트에서 공간 검색 기법을 사용하는 과정을 도시한 것이다.
도 4a는 카메라의 움직임에 제한이 있는 경우로, 예컨대 스튜디오나 무대 등 작은 공간에서 빨간 공(410) 등의 객체를 특정 위치에 놓고 이를 각 카메라가 촬영하도록 한다. 각 인제스트 에이전트는 공간 검색(space search) 기법을 적용하여 빨간 공(410)이 화면 중앙에서 예컨대 지름 10픽셀의 크기를 유지하도록 팬, 틸트, 줌 등의 값을 자동으로 설정하게 된다.
도 4b는 축구 경기장(425)의 경우로, 운동 경기장과 같은 공간에서는 중앙선, 페널티 에어리어(penalty area), 센터 서클(center circle)(420) 등 미리 그려져 있는 공간 객체나 축구 공 등의 추적 가능한 객체를 이용하여 팬, 틸트, 줌 등의 값을 자동으로 설정하도록 한다. 이 경우에도 각 인제스트 에이전트는 공간 검색(space search) 기법을 적용하여 예컨대 센터 서클(420)이 화면에 나타는 결과인 타원의 상하 방향 지름이 10픽셀의 크기를 유지하도록 팬, 틸트, 줌 등의 값을 자동으로 설정하게 된다. 여기서 마스터 움직임에 따라 제어되는 종래의 마스터/슬레이브(master/slave) 방식의 추적 기법 대신 인제스트 에이전트의 실시간 추적 기 능을 활용하여 각 카메라를 능동적으로 제어하는 방식을 택할 경우, 명령 전달에 따른 지연을 줄일 수 있다.
도 5는 본 발명의 능동적인 카메라 제어 및 영상 저장 방법의 과정을 도시한 흐름도이다.
먼저 카메라에서 영상을 취득하고 저장하는 과정에 대하여 살펴 본다. 사용자가 카메라에서 전송되는 아날로그 영상을 관찰하면서 중앙 서버에 인코딩을 요청하면, 인코딩 명령을 수신한 카메라는 영상을 촬영한다. 인제스트 에이전트 내 영상 처리부는 취득한 영상을 인제스트 에이전트 내 영상 저장부에 저장한다. 중앙 서버에서 인코딩 종료 요청이 수신되면 카메라는 인코딩을 종료하고 영상 처리부도 저장을 종료한다. 영상 저장부에 저장된 영상은 데이터 네트워크를 통하여 중앙 서버에 전달되고, 이는 대용량 저장 매체인 처리 영상 저장부에 저장된다.
자동 보정을 위하여 인제스트 에이전트가 수행하는 과정은 아래와 같다. 중앙 서버에서 입력된 카메라 보정 명령을 수신한다(S510). 이에 응답하여 카메라로부터 촬영된 영상을 취득하고(S520), 인제스트 에이전트 내 영상 처리부는 취득한 영상으로부터 카메라 동작 설정 정보를 산출하며(S530), 인제스트 에이전트 내 동작 설정부는 산출된 정보를 바탕으로 팬, 틸트, 줌 등 카메라 동작을 설정하는 것이다(S540).
도 6은 지연 동기 명령 기법의 과정을 도시한 흐름도이다.
본 실시예는 스포츠 중계 등의 방송 환경에 따라 초당 60fps로 빠르고 많은 영상을 수집해야 하므로, 카메라의 팬, 틸트, 줌 등의 동작 제어와 영상 취득에 있 어서의 동기화가 중요하다. 만약 중앙 서버에서 인제스트 에이전트로 카메라 작동 제어 명령 또는 영상 취득 명령을 전달할 때, 시스템 상의 지연으로 각 인제스트 에이전트에 명령이 도달하는 시간에 차이가 나게 되면 카메라의 동작이 동기화 되지 않게 된다. 본 실시예에서는 이를 해결하기 위하여 지연 동기 명령 기법을 사용하였으며, 그 과정은 아래와 같다.
먼저, 중앙 서버와 인제스트 에이전트는 상호 간의 타임코드 전송을 통하여 시간 동기화를 수행한다(S610). 중앙 서버는 HD 인코딩 명령 또는 카메라 보정 명령을 전송하게 되는데(S620), 이때 지연 동기 명령을 지정한다. 지연 동기 명령은 제어 명령에 타임 코드(time code)가 추가된 명령으로, 인제스트 에이전트에 도착한 명령은 바로 실행 되지 않고 지정된 지연 시간, 예컨대 수 ms 만큼의 지연을 거쳐 수행된다. 지연 시간 값은 각 인제스트 에이전트와 중앙 서버와의 타임 동기에 대한 차이 값으로, 중앙 서버와 인제스트 에이전트간의 타임코드 동기화를 통해 결정된다. 인제스트 에이전트는 중앙 서버가 전송한 지연 동기 명령을 수신하고(S630), 이를 해석하여 지연 시간 동안 대기한다(S640). 지연 시간이 경과하면, 각 인제스트 에이전트는 동시에 명령을 실행하게 된다(S650).
한편, 지연 동기 명령과 별도로 동기화 제어부를 추가하여 동기화를 실현할 수 있다. 동기화 제어부는 트리거(trigger) 내지 시간 발생기(time generator) 등의 형태로 구현될 수 있다. 동기화 제어부는 동기 신호를 발생하고 이를 카메라 및 인제스트 에이전트에 지속적으로 전송하여 각 카메라 간의 동기화를 설정한다. 중앙 서버에서 인제스트 에이전트에 인코딩 명령을 전송하면, 인제스트 에이전트는 이를 수신하여 카메라에 인코딩 시작 명령을 내린다. 영상 보드 등으로 구현된 영상 처리부는 카메라의 동기 신호와 영상 처리부의 동기 신호를 비교하여 카메라로부터의 입력된 영상을 동기화하여 저장한다. 중앙 서버에서 인코딩 종료를 요청하면 인제스트 에이전트는 카메라의 인코딩을 종료하고 저장된 영상 정보를 중앙 서버로 전달한다.
인제스트 에이전트에서 중앙 서버로 이루어지는 영상 정보 전송은 크게 전체 영상 전송과 프레임별 영상 전송의 2가지로 구분된다.
도 7은 전체 영상 전송의 과정을 도시한 흐름도이다.
전체 영상 전송은 영상 전체를 전달하기 때문에 네트워크 부하가 많이 걸리게 된다. 이 경우 모든 인제스트 에이전트에서 전송을 실행할 경우 부하로 인한 전송 지연이 발생되므로, m 개의 허브(hub)를 이용한 분산 전송 방식을 사용한다. 공통의 허브를 사용하도록 선택된 k개의 인제스트 에이전트들은 각각 할당된 허브에 연결되어, 중앙 서버에 한번에 허브의 개수와 동일한 m개의 영상을 전송함으로써 전송 지연을 최소화할 수 있다.
먼저 각 인제스트 에이전트는 저장한 전체 영상을 캡슐화하고(S710), 동시 전송을 수행할 k개의 인제스트 에이전트를 선택하며(S720), 선택된 k개의 인제스트 에이전트는 캡슐화된 영상 데이터를 공통의 허브를 통하여 대용량 블록 단위로 전송한다(S730). 중앙 서버는 이를 다시 영상 정보로 변환하여(S740), 처리 영상 저장부에 전송하여 저장한다(S750). 이 경우 처리 영상 저장부는, 하드웨어 공용으로 인한 기록 지연과 파일 저장 단편화를 방지하기 위하여, 허브의 개수와 동일한 m개의 물리적으로 독립적인 대용량 저장 매체로 구성될 수 있다.
도 8은 프레임별 영상 전송의 과정을 도시한 흐름도이다.
프레임별 영상 전송은 인제스트 에이전트에서 프레임에 대한 영상 처리 작업을 수행해야 하는 경우에 수행될 수 있다. 중앙 서버에서 원하는 프레임을 인제스트 에이전트에 요청하면, 각 인제스트 에이전트는 카메라 별로 해당 영상 프레임을 추출한다(S810). 그 후, 추출된 각 프레임에 기하 보정, 색상 보정 및 전배경 분리 등의 영상 가공 처리를 수행하고(S820), 원 프레임 영상과 가공 처리된 영상을 캡슐화하여(S830) 중앙 서버에 프레임 단위로 전송한다(S840). 중앙 서버는 이를 프레임별로 누적하여 처리 영상 저장부에 저장한다(S850).
도 9는 다중 허브를 이용하여 인제스트 에이전트에 저장된 다중 HD 영상 데이터를 중앙 서버의 처리 영상 저장부에 병렬 전송하는 과정을 도시한 것이다.
본 실시예는 다중 HD 카메라에서 비디오 영상을 취득하여 이를 중앙 서버(160)의 대용량 저장 매체인 처리 영상 저장부(170)에 저장하는 과정을 나타낸다. 제 1 및 제 2 인제스트 에이전트(110, 320)는 제 1 허브(910)에 연결되고, 제 3 및 제 n 인제스트 에이전트(330, 130)는 제 2 허브(920)에 연결된다. 각 인제스트 에이전트(110, 320, 330, 130)는 허브(910, 920)에 영상 데이터를 캡슐화하여 전송하고, 각 허브(910, 920)는 이를 중앙 서버(160)에 병렬적으로 전송하여 전송 효율성을 높일 수 있다.
본 실시형태의 모듈, 기능 블록들 또는 수단들은 전자 회로, 집적 회로, ASIC (Application Specific Integrated Circuit) 등 공지된 다양한 소자들로 구현 될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수 있다.
이상과 같이 본 발명의 이해를 위하여 그 실시예를 기술하였으나, 당업자라면 알 수 있듯이, 본 발명은 본 명세서에서 기술된 특정 실시예에 한정되는 것이 아니라, 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 변경 및 대체될 수 있다. 예를 들어, 문자 대신 기타 LCD 등 디스플레이에 의해 표시될 수 있는 그림, 영상 등에도 본 발명의 기술이 적용될 수 있다. 따라서, 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 특허청구범위에 의하여 모두 포괄하고자 한다.
도 1은 본 발명의 카메라 제어 및 영상 저장 장치의 구조를 도시한 블록도이다.
도 2는 영상 처리부의 내부 구조를 도시한 블록도이다.
도 3은 각 인제스트 에이전트에서 독립적으로 객체 트래킹을 하는 과정을 도시한 것이다.
도 4는 인제스트 에이전트에서 공간 검색 기법을 사용하는 과정을 도시한 것이다.
도 5는 본 발명의 카메라 제어 및 영상 저장 방법의 과정을 도시한 흐름도이다.
도 6은 지연 동기 명령 기법의 과정을 도시한 흐름도이다.
도 7은 전체 영상 전송의 과정을 도시한 흐름도이다.
도 8은 프레임별 영상 전송의 과정을 도시한 흐름도이다.
도 9는 다중 허브를 이용하여 인제스트 에이전트에 저장된 다중 HD 영상 데이터를 중앙 서버의 처리 영상 저장부에 병렬 전송하는 과정을 도시한 것이다.

Claims (20)

  1. 다중 카메라로부터 동기화된 영상을 무손실로 취득하는 영상 취득부와,
    상기 취득한 영상을 저장하고 상기 취득한 영상을 기반으로 상기 카메라의 팬, 틸트, 줌 동작을 제어하는 하나 이상의 인제스트 에이전트, 및
    상기 인제스트 에이전트에 제어 명령을 전송하고 상기 저장된 영상을 수신하여 통합 저장하는 중앙 서버를 포함하고,
    상기 인제스트 에이전트는,
    상기 제어 명령에 응답하여 상기 취득한 영상을 기반으로 상기 카메라의 위치에 관한 정보를 분석하여 카메라 동작 설정 정보를 산출하는 영상 처리부와,
    상기 취득한 영상을 동기화하여 무손실로 저장하는 영상 저장부, 및
    상기 카메라 동작 설정 정보에 기반하여 상기 카메라의 팬, 틸트, 줌 동작을 제어하는 동작 제어부를 포함하며,
    상기 영상 처리부는,
    상기 각 인제스트 에이전트에서 독립적으로 객체 트래킹(object tracking)을 수행하는 방식, 또는 피사체가 화면 중앙의 특정 크기를 유지하도록 공간 검색(space search)을 수행하는 방식중 어느 하나 이상의 방식을 사용하여 상기 카메라 동작 설정 정보를 산출하는 카메라 제어 및 영상 저장 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 영상 처리부는,
    상기 제어 명령에 응답하여 상기 취득한 영상을 기반으로 상기 카메라의 위치에 관한 정보를 분석하여 카메라 동작 설정 정보를 산출하는 카메라 동작 설정 정보 산출부와,
    상기 영상으로부터 상기 카메라의 위치 정보를 분석하는 기하 보정부와,
    상기 영상의 색상을 보정하는 색상 보정부와,
    상기 영상에서 전경과 배경을 분리하는 전배경 분리부, 및
    상기 영상을 출력하는 영상 전송부를 포함하는
    카메라 제어 및 영상 저장 장치.
  4. 삭제
  5. 제 1항에 있어서,
    상기 영상 저장부는, 상기 다중 카메라에 1:1로 할당되어 실시간 무손실 저장을 수행하는
    카메라 제어 및 영상 저장 장치.
  6. 제 1항에 있어서,
    상기 인제스트 에이전트와 상기 중앙 서버 간의 동기화 및 제어 명령 전송을 위한 제어 네트워크와 상기 저장된 영상의 전송을 위한 데이터 네트워크로 구성된 듀얼 네트워크부
    를 포함하는 카메라 제어 및 영상 저장 장치.
  7. 제 6항에 있어서,
    상기 제어 네트워크는 RS-422 기반 네트워크이고,
    상기 데이터 네트워크는 이더넷 기반 네트워크인
    카메라 제어 및 영상 저장 장치.
  8. 제 1항에 있어서,
    상기 영상 취득부는 각각 2개의 상기 다중 카메라와 연결되어 HD 급 영상을 실시간 무손실로 취득하는
    카메라 제어 및 영상 저장 장치.
  9. 제 1항에 있어서,
    상기 인제스트 에이전트는, 상기 제어 명령에 타임 코드를 추가한 지연 동기 명령을 이용하여, 상기 제어 명령 도착 시 상기 타임 코드에서 지정된 시간만큼의 지연 후 상기 제어 명령을 실행하는
    카메라 제어 및 영상 저장 장치.
  10. 제 1항에 있어서,
    상기 인제스트 에이전트는, 상기 인제스트 에이전트 내 전체 영상을 캡슐화하고, 동시 전송을 수행할 인제스트 에이전트를 선택하고, 상기 선택된 인제스트 에이전트는 다중 허브를 이용하여 상기 캡슐화된 영상을 상기 중앙 서버에 블록 단위로 병렬 전송하는
    카메라 제어 및 영상 저장 장치.
  11. 다중 카메라로부터 동기화된 영상을 무손실로 취득하고,
    상기 취득한 영상을 기반으로 상기 카메라의 위치에 관한 정보를 분석하여 카메라 동작 설정 정보를 산출하고,
    상기 카메라 동작 설정 정보를 바탕으로 상기 카메라의 팬, 틸트, 줌 동작을 제어하며,
    상기 취득한 영상을 동기화하여 실시간 무손실로 저장하고,
    상기 카메라 동작 설정 정보의 산출은,
    독립적으로 객체 트래킹(object tracking)을 수행하는 방식, 또는
    피사체가 화면 중앙의 특정 크기를 유지하도록 공간 검색(space search)을 수행하는 방식 중 어느 하나 이상의 방식을 사용하는
    카메라 제어 및 영상 저장 방법.
  12. 제 11항에 있어서,
    상기 실시간 무손실로 저장하는 단계 이후에,
    제어 명령을 수신하고,
    상기 제어 명령에 응답하여 상기 카메라 동작 설정 정보를 산출하는
    카메라 제어 및 영상 저장 방법.
  13. 제 12항에 있어서,
    상기 제어 명령은 중앙 서버에서 상기 카메라 동작 설정 정보를 지정하는 수동 제어 명령 또는 상기 카메라 각각에서 상기 카메라 동작 설정 정보를 산출하여 적용하는 능동적 제어 명령 중 어느 하나를 포함하는
    카메라 제어 및 영상 저장 방법.
  14. 제 11항에 있어서,
    상기 영상의 색상을 보정하고,
    상기 영상에서 전경과 배경을 분리하는
    카메라 제어 및 영상 저장 방법.
  15. 삭제
  16. 제 12항에 있어서,
    상기 제어 명령 전송 및 상기 저장된 영상의 전송은 각각 다른 통신망을 사용하여 이루어지는
    카메라 제어 및 영상 저장 방법.
  17. 제 12항에 있어서,
    상기 제어 명령에 타임 코드를 추가한 지연 동기 명령을 이용하여, 도착한 명령을 상기 타임 코드에서 지정된 시간만큼의 지연 후 실행하는
    카메라 제어 및 영상 저장 방법.
  18. 제 11항에 있어서,
    상기 취득한 영상은 각각 2개의 다중 카메라로부터 입력 받은 실시간 무손실 HD 급 영상인
    카메라 제어 및 영상 저장 방법.
  19. 제 11항에 있어서,
    상기 실시간 무손실로 저장하는 단계 이후에,
    전체 영상을 캡슐화하고,
    동시 전송을 수행할 하나 이상의 카메라 제어부를 선택하며,
    상기 선택된 카메라 제어부는 다중 허브를 이용하여 상기 캡슐화된 영상을 블록 단위로 병렬 전송하는
    카메라 제어 및 영상 저장 방법.
  20. 제 11항에 있어서,
    상기 실시간 무손실로 저장하는 단계 이후에,
    영상 프레임을 추출하고,
    상기 영상 프레임을 가공 처리하며,
    상기 가공 처리된 영상 프레임을 프레임 단위로 캡슐화하여 전송하는
    카메라 제어 및 영상 저장 방법.
KR1020080131664A 2008-12-22 2008-12-22 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법 KR101208427B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131664A KR101208427B1 (ko) 2008-12-22 2008-12-22 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법
US12/571,854 US20100157020A1 (en) 2008-12-22 2009-10-01 Multiple camera controlling and image storing apparatus for synchronized multiple image acquisition and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131664A KR101208427B1 (ko) 2008-12-22 2008-12-22 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100073079A KR20100073079A (ko) 2010-07-01
KR101208427B1 true KR101208427B1 (ko) 2012-12-05

Family

ID=42265435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131664A KR101208427B1 (ko) 2008-12-22 2008-12-22 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법

Country Status (2)

Country Link
US (1) US20100157020A1 (ko)
KR (1) KR101208427B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567485B1 (ko) 2014-06-17 2015-11-11 한국항공우주연구원 복수의 카메라를 포함하는 촬영 시스템 및 방법
KR20160040983A (ko) * 2014-10-06 2016-04-15 한국전자통신연구원 다시점 영상 촬영용 카메라 리그장치 및 이를 적용한 영상처리방법
KR20180077865A (ko) 2016-12-29 2018-07-09 단국대학교 산학협력단 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법
US11039069B2 (en) 2016-09-29 2021-06-15 Hanwha Techwin Co., Ltd. Wide-angle image processing method and apparatus therefor

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110149086A1 (en) * 2009-12-23 2011-06-23 Winbush Iii Amos Camera user content synchronization with central web-based records and information sharing system
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
JP5517668B2 (ja) * 2010-02-19 2014-06-11 キヤノン株式会社 通信装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
JP5735227B2 (ja) 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
EP3432150B1 (en) 2010-12-13 2021-01-20 Nokia Technologies Oy Method and apparatus for 3d capture synchronisation
US9590922B2 (en) * 2011-05-12 2017-03-07 Microsoft Technology Licensing, Llc Programmable and high performance switch for data center networks
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US8805158B2 (en) 2012-02-08 2014-08-12 Nokia Corporation Video viewing angle selection
JP6033032B2 (ja) * 2012-10-09 2016-11-30 オリンパス株式会社 撮像表示システム
JP6103948B2 (ja) * 2013-01-17 2017-03-29 キヤノン株式会社 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
US20150113576A1 (en) * 2013-10-23 2015-04-23 Sony Corporation Method and apparatus for ip video signal synchronization
KR101649754B1 (ko) 2014-04-30 2016-08-19 주식회사 이에스엠연구소 다시점 카메라를 위한 분산 시스템에서 제어 신호 전달 방법 및 다시점 카메라를 위한 분산 시스템
JP6299492B2 (ja) * 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101804364B1 (ko) * 2014-12-30 2017-12-04 한국전자통신연구원 초다시점 영상 시스템 및 이의 구동방법
KR102101438B1 (ko) 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
KR20170012979A (ko) * 2015-07-27 2017-02-06 삼성전자주식회사 영상 공유 서비스를 위한 전자 장치 및 방법
KR102348927B1 (ko) 2015-11-13 2022-01-11 한국전자통신연구원 절단면 촬영 제어 장치 및 방법
CN105554491A (zh) * 2015-12-31 2016-05-04 上海玮舟微电子科技有限公司 立体图像拍摄设备及方法
WO2018142705A1 (ja) * 2017-02-02 2018-08-09 ソニー株式会社 情報処理装置、および情報処理方法
US20180352135A1 (en) * 2017-06-06 2018-12-06 Jacob Mark Fields Beacon based system to automatically activate a remote camera based on the proximity of a smartphone
JP2019008429A (ja) * 2017-06-21 2019-01-17 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR102038149B1 (ko) * 2017-07-19 2019-10-30 (주) 시스템뱅크 이차원 영상기반 전방위 삼차원 모델링 제어시스템
US10863057B2 (en) * 2017-08-30 2020-12-08 Samsung Electronics Co., Ltd. Synchronizing image captures in multiple sensor devices
US10621406B2 (en) 2017-09-15 2020-04-14 Key Technology, Inc. Method of sorting
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11212431B2 (en) * 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency
US11048518B2 (en) * 2019-09-26 2021-06-29 The Boeing Company Synchronous operation of peripheral devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157605A (ja) * 2004-11-30 2006-06-15 Furoobell:Kk 映像処理システムおよび方法、撮像装置および方法、映像処理装置、映像データ出力方法、記録媒体、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US20020097418A1 (en) * 2001-01-19 2002-07-25 Chang William Ho Raster image processor and processing method for universal data output
US7027083B2 (en) * 2001-02-12 2006-04-11 Carnegie Mellon University System and method for servoing on a moving fixation point within a dynamic scene
JP2004266458A (ja) * 2003-02-28 2004-09-24 Shimadzu Corp 撮影装置、および、同期撮影タイミング制御器
JP4501758B2 (ja) * 2005-04-15 2010-07-14 ソニー株式会社 マルチカメラシステムおよび撮像装置、並びに、撮像制御方法および撮像方法
WO2008103929A2 (en) * 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
US20090195655A1 (en) * 2007-05-16 2009-08-06 Suprabhat Pandey Remote control video surveillance apparatus with wireless communication

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157605A (ja) * 2004-11-30 2006-06-15 Furoobell:Kk 映像処理システムおよび方法、撮像装置および方法、映像処理装置、映像データ出力方法、記録媒体、並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567485B1 (ko) 2014-06-17 2015-11-11 한국항공우주연구원 복수의 카메라를 포함하는 촬영 시스템 및 방법
KR20160040983A (ko) * 2014-10-06 2016-04-15 한국전자통신연구원 다시점 영상 촬영용 카메라 리그장치 및 이를 적용한 영상처리방법
KR102067436B1 (ko) * 2014-10-06 2020-01-17 한국전자통신연구원 다시점 영상 촬영용 카메라 리그장치 및 이를 적용한 영상처리방법
US11039069B2 (en) 2016-09-29 2021-06-15 Hanwha Techwin Co., Ltd. Wide-angle image processing method and apparatus therefor
KR20180077865A (ko) 2016-12-29 2018-07-09 단국대학교 산학협력단 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법

Also Published As

Publication number Publication date
KR20100073079A (ko) 2010-07-01
US20100157020A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
KR101208427B1 (ko) 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법
RU2745414C2 (ru) Устройство обработки информации, способ генерации изображения, способ управления и носитель данных
CN109275358B (zh) 根据用户所选择的视点从具有菊花链连接的照相机阵列生成虚拟图像的方法和设备
JP6878014B2 (ja) 画像処理装置及びその方法、プログラム、画像処理システム
KR102121931B1 (ko) 제어 디바이스, 제어 방법 및 저장 매체
US9602859B2 (en) Apparatus, systems and methods for shared viewing experience using head mounted displays
KR102129792B1 (ko) 정보 처리 장치, 화상 생성 방법, 제어 방법 및 프로그램
US10911694B2 (en) System and method for creating metadata model to improve multi-camera production
CN109565582B (zh) 控制装置及其控制方法和计算机可读存储介质
JP6894687B2 (ja) 画像処理システム、画像処理装置、制御方法、及び、プログラム
US10341672B2 (en) Method and system for media synchronization
KR101934200B1 (ko) 미디어 동기화 방법 및 시스템
WO2007061068A1 (ja) 受信装置及び本線映像配信装置
CN103051830A (zh) 一种对所拍目标多角度实时转播的系统和方法
KR101446995B1 (ko) 멀티앵글영상촬영헬멧 및 촬영방법
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
US20190394375A1 (en) Video Production Apparatus and Method for Video Production
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
EP3687180B1 (en) A method, device and computer program
JP2019050593A (ja) 画像処理システム、画像処理装置、制御方法、及び、プログラム
US11699462B2 (en) Method, apparatus and computer program
KR20190032670A (ko) 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템
CN112738609A (zh) 一种多路视频流传输方法、装置及多路视频流播放系统
CN107835433B (zh) 一种赛事宽视角直播系统、相关联的设备和直播方法
JP7297969B2 (ja) 情報処理装置、プログラム、生成方法、及び、システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171113

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 8

R401 Registration of restoration