KR101269900B1 - 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치 - Google Patents

다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치 Download PDF

Info

Publication number
KR101269900B1
KR101269900B1 KR1020080131665A KR20080131665A KR101269900B1 KR 101269900 B1 KR101269900 B1 KR 101269900B1 KR 1020080131665 A KR1020080131665 A KR 1020080131665A KR 20080131665 A KR20080131665 A KR 20080131665A KR 101269900 B1 KR101269900 B1 KR 101269900B1
Authority
KR
South Korea
Prior art keywords
image
frame
motion
motion control
camera effect
Prior art date
Application number
KR1020080131665A
Other languages
English (en)
Other versions
KR20100073080A (ko
Inventor
최윤석
박정철
추창우
이지형
구본기
김진서
이승욱
김호원
황본우
이영직
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131665A priority Critical patent/KR101269900B1/ko
Priority to US12/495,169 priority patent/US20100157022A1/en
Publication of KR20100073080A publication Critical patent/KR20100073080A/ko
Application granted granted Critical
Publication of KR101269900B1 publication Critical patent/KR101269900B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 여러 대의 HD 영상을 기반으로 모션 제어 카메라(Motion Control Camera, MCC)의 360도 영상을 재현하기 위한 실시간 다시점 영상 관리 장치 및 방법에 관한 것이다. 본 발명은 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력 받고, 적용할 모션 제어 카메라 효과 및 상기 효과의 목표 시간 및 재현 속도를 포함하는 제어 변수를 입력 받고, 상기 입력된 영상으로부터 상기 목표 시간의 프레임을 추출하고, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하며, 상기 재현 속도에 따라 상기 처리된 프레임을 선택하여 출력하는 모션 제어 카메라 효과 구현 방법을 제공한다. 본 발명에 의하면, 실제 모션 제어 카메라를 이용하여 영상을 생성하는 것과 같이 피사체의 360도의 입체적 영상을 구현하고, 고정 시점 정지 객체, 고정 시점 동작 객체, 자유 시점 정지 객체, 및 자유 시점 동작 객체에 대한 모션 제어 카메라 효과 처리 등 다양한 기능을 소프트웨어적으로 수행함으로써 시스템이 단순해지고 업그레이드가 간편해지는 효과가 있다.
모션 제어 카메라, MCC, 다중 영상, HD 영상, 카메라 효과

Description

다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치{Method and apparatus for representing motion control camera effect based on synchronized multiple image}
본 발명은 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치에 관한 것이다. 구체적으로 본 발명은, 여러 대의 HD 영상을 기반으로 모션 제어 카메라(Motion Control Camera, MCC)의 360도 영상을 재현하기 위한 실시간 다시점 영상 관리 장치 및 방법에 관한 것이다.
본 발명은 지식 경제부 및 정보통신진흥원의 IT 원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2008-F-030-01, 과제명: 방통융합형 Full 3D 복원 기술 개발].
영상 처리 기술의 발전에 따라 종래의 2D 멀티미디어 서비스는 실사 기반의 3D 실감 서비스로 진화하고 있다. 특히 방송 기술 분야에서는 현장의 사실감을 생생하게 전할 수 있도록 하기 위하여 다양한 카메라 기술을 바탕으로 많은 발전이 이루어지고 있다. 최근에는 방송과 통신의 융합에 따라 방통 융합형 풀(full) 3D 복원 기술 개발에 관한 연구도 진행되고 있다.
종래의 카메라 기술로는, 대상의 세세한 움직임을 담기 위한 슬로모션 카메라(slow motion camera), 레일을 이용하여 공간을 빠르게 움직이는 물체를 따라가는 레일 카메라(rail camera), 크레인의 암(arm) 끝에 카메라를 장착하여 대상의 움직임을 여러 각도에서 효과적으로 담는 크레인 카메라(crane camera) 등이 있다. 방송국의 영상 엔지니어들은 이러한 기술을 사용하여 박진감 있고 생동감 있는 영상을 담아 내고 있다. 그러나 초고속 카메라, 슬로모션 카메라, 레일 카메라, 크레인 카메라 등의 하드웨어 카메라만으로는, 나날이 높아가는 시청자들의 다양한 요구를 충족시키기가 점점 어려워지고 있다.
방송 컨텐츠 중에서도 스포츠 방송 중계 분야에서는, 경기장에서 뛰는 선수들의 움직임을 시청자에게 생생하게 전달하기 위하여 더 다양한 기술이 요구된다. 복수의 카메라를 다양한 각도에 설치하여 촬영함으로써 동기화된 다중 영상을 얻어 선택적으로 조합하면, 시청자들이 마치 경기장에서 관람석을 이리저리 옮겨 다니면서 순간의 하이라이트 장면을 가장 좋은 좌석에서 관람하는 것과 같은 영상을 제공할 수 있다.
종래 기술에서는, 피사체에 대한 360도 회전 영상이나 정지 회전 영상 등을 구현하기 위하여 모션 카메라 또는 여러 대의 카메라를 사용하는 영상 수집 장치를 이용하여 영상을 취득한 후 그 영상을 스위치 등의 장비 제어를 통하여 원하는 효과를 생성하였다. 이러한 작업에는 DCU(Digital Control Unit), MSU(Master Setup Unit), DME(Digital Multiplex Equipment), Digital Video Switcher, DVTR(Digital Video Tape Recorder) 등의 많은 장비가 구축하여야 한다. 그러나 이러한 장비들 은 가격이 높고 설치 및 이동에 제약이 있으며, 카메라 및 제어 장비에 하드웨어적으로 구현할 수 있는 기능도 색상 변환, 자막 삽입 등으로 제한되어 있다는 문제가 있다.
그러므로 이러한 동기화된 다중 영상 취득 기술과 컴퓨터 기반의 영상 처리 기술을 접목하여, 보다 쉽게 카메라를 제어하고 다양한 효과가 부여될 수 있는 영상을 제공하려는 시도가 꾸준히 이어지고 있다.
상기 문제점을 해결하기 위하여 본 발명은, 모션 제어 카메라를 이용하여 영상을 생성하는 것과 같이 피사체의 360도의 입체적 영상을 제작하는 다중 HD 영상 기반의 모션 제어 카메라 효과를 구현하는 것을 목적으로 한다.
또한, 고정 시점 정지 객체, 고정 시점 동작 객체, 자유 시점 정지 객체, 및 자유 시점 동작 객체 등 다양한 경우에 대하여 통합적인 모션 제어 카메라 효과를 구현하는 것을 목적으로 한다.
또한, 방송 영상에 관한 시청자들의 다양한 요구에 대하여 소프트웨어적 접근을 택함으로써 장비 비용을 절감하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 측면은, 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력 받고, 적용할 모션 제어 카메라 효과 및 상기 효과의 목표 시간 및 재현 속도를 포함하는 제어 변수를 입력 받고, 상기 입력된 영상으로 부터 상기 목표 시간의 프레임을 추출하고, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하며, 상기 재현 속도에 따라 상기 처리된 프레임을 선택하여 출력하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 모션 제어 카메라 효과는, 시점의 고정 또는 자유 여부 및 객체의 정지 또는 동작 여부에 따라, 고정 시점 정지 객체 모션 제어 카메라 효과, 고정 시점 동작 객체 모션 제어 카메라 효과, 자유 시점 정지 객체 모션 제어 카메라 효과, 자유 시점 동작 객체 모션 제어 카메라 효과, 또는 듀얼 모션 제어 카메라 효과 중 어느 하나 이상을 포함하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 모션 제어 카메라 효과가 상기 고정 시점 정지 객체에 대한 모션 제어 카메라 효과인 경우, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하는 단계는, 상기 추출된 프레임을 상기 제어 변수에 따라 나열하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 모션 제어 카메라 효과가 상기 고정 시점 동작 객체에 대한 모션 제어 카메라 효과인 경우, 상기 목표 시간은 상기 객체의 동작의 시작 시간 및 종료 시간을 포함하고, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하는 단계는, 상기 추출된 프레임을 상기 제어 변수에 따라 나열하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 모션 제어 카메라 효과가 상기 자유 시점 정지 객체에 대한 모션 제어 카메라 효과인 경우, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하는 단계는, 인접 프레임 간 대응점을 추출하고, 상기 대응점에 기 반하여 카메라 기하 정보를 산출하며, 상기 인접 프레임 간 보간 영상을 생성하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 대응점에 기반하여 카메라 기하 정보를 산출하는 단계는, 상기 대응점을 기반으로 기본 행렬을 구하고, 상기 인접 프레임 간 보간 영상을 생성하는 단계는, 상기 기본 행렬을 이용하여 상기 영상을 교정하고, 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 보간 영상을 생성하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 모션 제어 카메라 효과가 상기 자유 시점 동작 객체에 대한 모션 제어 카메라 효과인 경우, 상기 입력된 영상으로부터 상기 목표 시간의 프레임을 추출하는 단계는, 상기 입력된 영상에 상기 객체의 동작의 시작 시간부터 종료 시간까지 프레임 건너뜀을 적용하여 기본 프레임을 생성하고, 상기 입력된 영상에 상기 시작 시간부터 상기 종료 시간까지 같은 시간의 프레임 쌍을 묶고 프레임 건너뜀을 적용하여 보간 기준 프레임을 생성하고, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하는 단계는, 상기 보간 기준 프레임을 기반으로 상기 영상을 교정하며, 상기 인접 프레임 간 보간 영상을 생성하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하는 단계는, 상기 기준 프레임 및 상기 보간 기준 프레임의 프레임 집합을 이용하여 상기 보간 영상을 생성하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 인접 프레임 간 보간 영상을 생성하는 단계는, 상기 같은 시간 의 프레임 쌍을 이용하여 상기 영상을 교정하고, 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 보간 영상을 생성하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 보간 영상을 생성하는 단계는, 고속 영상 처리 장치 기반의 하드웨어 가속을 사용하여 실시간 처리를 지원하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 모션 제어 카메라 효과가 상기 듀얼 모션 제어 카메라 효과인 경우, 상기 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력 받는 단계는, 각각 하나 이상의 시점에서 촬영한 2개의 피사체의 영상을 입력 받고, 상기 2개의 피사체의 영상 중 전경을 추출할 제 1 영상 및 전경 및 배경을 추출할 제 2 영상을 결정하고, 상기 입력된 영상으로부터 상기 목표 시간의 프레임을 추출하는 단계는, 상기 제 1 영상 및 상기 제 2 영상에 대하여 각각 동시간에 수행되고, 상기 제어 변수에 기반하여 상기 프레임을 소프트웨어적으로 처리하는 단계는, 상기 제 1 영상의 프레임에서 전경을 추출하고, 상기 제 2 영상의 프레임에서 전경 및 배경을 추출하고, 상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경을 합성하고, 상기 합성된 프레임들을 상기 제어 변수에 따라 나열하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 2개의 피사체의 영상 중 전경을 추출할 제 1 영상 및 전경 및 배경을 추출할 제 2 영상을 결정하는 단계는, 상기 2개의 피사체의 영상 중 어느 영상을 각각 상기 제 1 영상 및 상기 제 2 영상으로 사용할지 사용자의 입력에 의 하여 결정하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경을 합성하는 단계는, 상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경 간의 밝기, 색상 및 광원을 비교하여 보정하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경을 합성하는 단계는, 상기 제 1영상의 전경 및 상기 제 2영상의 전경의 프레임 나열 속도를 달리함으로써 상기 제 1 영상의 전경, 상기 제 2 영상의 전경의 모션 속도를 독립적으로 제어하는 모션 제어 카메라 효과 구현 방법을 제공한다.
또한, 상기 제어 변수는 재현 방향을 포함하는 모션 제어 카메라 효과 구현 방법을 제공한다.
상기 목적을 달성하기 위하여 본 발명의 다른 측면은, 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력 받는 영상 취득부와, 적용할 모션 제어 카메라 효과를 입력 받는 모션 제어 카메라 효과 입력부와, 상기 효과의 목표 시간 및 재현 속도를 포함하는 제어 변수를 입력 받고는 제어 변수 입력부, 및 고정 시점 또는 자유 시점에서의 정지 객체 또는 동작 객체에 대한 모션 제어 카메라 효과 처리, 또는 하나 이상의 영상을 입력 받아 그 중 하나 이상의 영상의 전경을 다른 영상의 전경 및 배경과 합성하는 듀얼 모션 제어 카메라 효과 처리 중 어느 하나 이상을 수행하는 모션 제어 카메라 효과 처리부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 모션 제어 카메라 효과 처리부는, 상기 고정 시점에서의 정지 객체에 대한 모션 제어 카메라 효과를 구현하는 고정 시점 정지 객체 모션 제어 카메라 효과 처리부, 상기 고정 시점에서의 동작 객체에 대한 모션 제어 카메라 효과를 구현하는 고정 시점 동작 객체 모션 제어 카메라 효과 처리부, 상기 자유 시점에서의 정지 객체에 대한 모션 제어 카메라 효과를 구현하는 자유 시점 정지 객체 모션 제어 카메라 효과 처리부, 상기 자유 시점에서의 동작 객체에 대한 모션 제어 카메라 효과를 구현하는 자유 시점 동작 객체 모션 제어 카메라 효과 처리부, 또는 하나 이상의 영상을 입력 받아 그 중 하나 이상의 영상의 전경을 다른 영상의 전경 및 배경과 합성하는 듀얼 모션 제어 카메라 효과 처리부 중 어느 하나 이상과, 상기 입력된 영상으로부터 상기 목표 시간의 프레임을 추출하는 프레임 추출부와, 상기 제어 변수에 기반하여 상기 프레임을 처리하는 프레임 처리부, 및 상기 재현 속도에 따라 상기 처리된 프레임을 선택하여 출력하는 프레임 출력부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 자유 시점 정지 객체 모션 제어 카메라 효과 처리부 내 프레임 처리부는, 인접 프레임 간 대응점을 추출하는 대응점 추출부와, 상기 대응점에 기반하여 카메라 기하 정보를 산출하는 카메라 기하 정보 산출부, 및 상기 인접 프레임 간 보간 영상을 생성하는 보간 영상 생성부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 카메라 기하 정보 산출부는, 상기 대응점을 기반으로 기본 행렬을 구하는 기본 행렬 연산부를 포함하고, 상기 보간 영상 생성부는, 상기 기본 행 렬을 이용하여 상기 영상을 교정하는 교정부, 및 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 보간 영상을 생성하는 몰핑부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 자유 시점 동작 객체 모션 제어 카메라 효과 처리부 내 프레임 추출부는, 상기 입력된 영상에 상기 객체의 동작의 시작 시간부터 종료 시간까지 프레임 건너뜀을 적용하여 기본 프레임을 생성하는 기본 프레임 생성부, 및 상기 입력된 영상에 상기 시작 시간부터 상기 종료 시간까지 같은 시간의 프레임 쌍을 묶고 프레임 건너뜀을 적용하여 보간 기준 프레임을 생성하는 보간 기준 프레임 생성부를 포함하고, 상기 자유 시점 동작 객체 모션 제어 카메라 효과 처리부 내 프레임 처리부는, 상기 보간 기준 프레임을 기반으로 상기 영상을 교정하는 보간 기준 프레임 기반 교정부, 및 상기 인접 프레임 간 보간 영상을 생성하는 보간 영상 생성부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 자유 시점 동작 객체 모션 제어 카메라 효과 처리부 내 프레임 처리부는, 상기 기준 프레임 및 상기 보간 기준 프레임의 프레임 집합을 이용하여 상기 보간 영상을 생성하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 보간 영상 생성부는, 상기 같은 시간의 프레임 쌍을 이용하여 상기 영상을 교정하는 프레임 쌍 이용 교정부, 및 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 보간 영상을 생성하는 몰핑부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 하드웨어 가속을 통하여 상기 몰핑부의 실시간 처리를 지원하는 고속 영상 처리 장치를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
또한, 상기 영상 취득부는 각각 하나 이상의 시점에서 촬영한 2개의 피사체의 영상을 입력 받고, 사용자의 입력에 기반하여 상기 2개의 피사체의 영상 중 전경을 추출할 제 1 영상 및 전경 및 배경을 추출할 제 2 영상을 결정하는 영상 결정부를 포함하며, 상기 듀얼 모션 제어 카메라 효과 처리부 내 프레임 추출부는, 상기 제 1 영상 및 상기 제 2 영상의 추출을 각각 동시간에 수행하고, 상기 듀얼 모션 제어 카메라 효과 처리부 내 프레임 처리부는, 상기 제 1 영상의 프레임에서 전경을 추출하는 제 1 영상 전경 추출부와, 상기 제 2 영상의 프레임에서 전경 및 배경을 추출하는 제 2 영상 전배경 추출부와, 상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경을 합성하는 전배경 합성부, 및 상기 합성된 프레임들을 상기 제어 변수에 따라 나열하는 프레임 나열부를 포함하는 모션 제어 카메라 효과 구현 장치를 제공한다.
본 발명에 의하면, 실제 모션 제어 카메라를 이용하여 영상을 생성하는 것과 같이 피사체의 360도의 입체적 영상을 구현할 수 있게 되는 효과가 있다.
또한, 고정 시점 정지 객체, 고정 시점 동작 객체, 자유 시점 정지 객체, 및 자유 시점 동작 객체에 대한 모션 제어 카메라 효과 처리 등 다양한 기능을 소프트웨어적으로 수행함으로써 시스템이 단순해지고 업그레이드가 간편해지는 효과가 있다.
또한, 고가의 장비 및 작업 공간의 제한을 극복하여, 시설 작업이 용이해지 고 육상 트랙, 축구장 등의 거대한 촬영 공간에도 적용할 수 있게 되는 효과가 있다.
또한, 본 발명의 모션 카메라 재현 효과 기능을 컴퓨터 소프트웨어 방법으로 지원함으로써 다양한 모션 효과를 생성할 수 있으며, 입체 TV 영상을 위한 스테레오 영상 등으로 확장할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 모션 제어 카메라 효과 구현 방법의 대략적인 단계를 도시한 흐름도이다.
먼저 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력 받는다(S110). 피사체의 영상은 다중 HD 카메라 및 그 제어 장비, 저장 매체 등으로 구성된 시스템에 의하여 취득될 수 있다. 그 후 적용할 모션 제어 카메라 효과를 입력 받고(S120), 모션 제어 카메라 효과의 목표 시간 및 재현 속도를 포함하는 제어 변수를 입력 받는다(S130). 제어 변수에는 모션 제어 카메라 효과의 재현 방향에 관한 정보 등 모션 카메라 효과를 위한 카메라의 시점 내지 동작 등과 관련된 다른 정보가 더 포함될 수 있다.
사용자가 입력한 모션 제어 카메라 효과에 따라(S140), 고정 시점 정지 객체 모션 제어 카메라 효과 처리(S150), 고정 시점 동작 객체 모션 제어 카메라 효과 처리(S152), 자유 시점 정지 객체 모션 제어 카메라 효과 처리(S154), 자유 시점 동작 객체 모션 제어 카메라 효과 처리(S156), 듀얼 모션 제어 카메라 효과 처리(S158) 중 어느 하나 이상의 과정이 수행된다.
고정 시점 모션 제어 카메라 효과란 실제 카메라에서 취득한 영상만을 순차적으로 재생하여 모션 제어 카메라 효과를 재현하는 것을 말하고, 자유 시점 모션 제어 카메라 효과란 실제로 설치된 카메라에서 취득한 영상뿐만 아니라 임의의 시점에서의 영상을 보간(interpolation)하여 생성하는 방식으로 모션 제어 카메라 효과를 재현하는 것을 말한다. 정지 객체 모션 제어 카메라 효과란 피사체는 정지해 있고 시점만이 이동하는 경우의 모션 제어 카메라 효과를 말하며, 동작 객체 모션 제어 카메라 효과란 피사체 및 시점이 모두 이동하는 경우의 모션 제어 카메라 효과를 말한다.
모션 제어 카메라 효과 처리(S150, S152, S154, S156, S158)는 입력된 영상으로부터 목표 시간의 프레임을 추출하고, 제어 변수에 기반하여 프레임을 소프트웨어적으로 처리하며, 재현 속도에 따라 처리된 프레임을 선택하여 출력하는 과정을 포함한다. 여기서 제어 변수에 기반하여 프레임을 소프트웨어적으로 처리하는 과정은 시점의 고정 여부 및 객체의 정지 여부 등에 따라 각각 다르다. 이하 이에 대하여 자세히 검토한다.
도 2는 고정 시점 정지 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
고정 시점 정지 객체 모션 제어 카메라 효과 기법은 촬영 카메라의 대수가 많아질수록 보다 자연스러운 모션 제어 카메라 효과를 표현할 수 있으나, 방대한 데이터가 필요하고 카메라 제어가 어려우며 시스템이 복잡해진다는 단점이 있다.
먼저 입력된 영상으로부터 목표 시간의 프레임을 추출한다(S210). 프레임(
Figure 112008088099613-pat00001
)은 n개의 카메라에서 취득된 영상에서 지정된 목표 시간에 추출된다. 여기서 i는 프레임이 추출된 영상을 취득한 카메라를 나타내며(
Figure 112008088099613-pat00002
), t는 목표 시간을 나타낸다. 고정 시점 정지 객체 모션 제어 카메라 효과의 경우 t는 특정 시간에 해당하는 값을 가지게 된다.
그 후 추출된 프레임을 제어 변수에 따라 소프트웨어적으로 나열하고(S220), 입력된 재현 속도에 따라 처리된 프레임을 선택하여 출력한다(S230). 이때 영상 내의 피사체는 특정 시간(t)의 영상만을 활용하기 때문에 정지한 상태가 된다. 아래의
Figure 112008088099613-pat00003
는 정지 객체 모션 제어 카메라 효과를 위해 필요한 프레임 집합을 정의한다. 프레임 집합에서 서로 이웃하는 프레임이 인접 프레임이 된다.
Figure 112008088099613-pat00004
도 3은 고정 시점 동작 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
동작 객체의 경우 객체의 동작의 시작 시간(s) 및 종료 시간(s+k)에 대한 정보가 필요하므로, 입력된 영상으로부터 시작 시간부터 종료 시간까지의 프레임을 추출한다(S310). 프레임(
Figure 112008088099613-pat00005
)은 n개의 카메라에서 취득된 영상에서 시작 시간(s)부터 시간의 진행(j)에 따라 추출된다. 여기서 i는 프레임이 추출된 영상을 취득한 카메라를 나타내며(
Figure 112008088099613-pat00006
), j는 시간의 진행을 나타낸다(
Figure 112008088099613-pat00007
).
그 후, 추출된 프레임을 제어 변수에 따라 소프트웨어적으로 나열하며(S220), 입력된 재현 속도에 따라 처리된 프레임을 선택하여 출력한다(S230). 이 경우에는 피사체가 시간의 진행(j)에 따라 움직이게 된다. 아래의
Figure 112008088099613-pat00008
는 동작 객체 모션 제어 카메라 효과에 사용되는 프레임 집합을 의미한다. 여기서도 프레임 집합에서 서로 이웃하는 프레임이 인접 프레임이 된다.
Figure 112008088099613-pat00009
도 4는 자유 시점 정지 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
먼저 입력된 영상으로부터 목표 시간의 프레임을 추출한다(S210). 여기서 각 카메라의 영상에서 추출한 기준이 되는 목표 시간의 프레임을 기본 프레임으로 설정할 수 있다.
그 후 인접 프레임 간 대응점을 추출하고(S415), 대응점에 기반하여 카메라 기하 정보를 산출하고(S420), 인접 프레임 간 보간 영상을 생성한다(S425). 이 과정을 위하여 고정 시점의 영상 사이에 생성할 자유 시점 영상 프레임 수(degree), 자유 시점 영상 생성을 위한 대응점 추출 기법, 기저 함수 생성 방법 등이 설정되어야 한다. 추출된 기본 프레임들에서 인접 프레임들을 기준으로 영상 보간이 이 루어질 수 있다. 영상을 분석하여 다중 카메라들의 기하학적 위치를 분석하고, 인접 영상간의 대응점을 추출하여 이를 기반으로 선형 혹은 비선형 보간 함수를 기반으로 보간 영상을 설정한다. 실시예에 따라, 대응점을 기반으로 기본 행렬(fundamental matrix)을 구하고, 기본 행렬을 이용하여 영상을 교정(rectification)하고, 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 보간 영상을 생성하는 기법을 적용할 수 있다.
그리고 입력된 재현 속도에 따라 처리된 프레임을 선택하여 출력한다(S230).
도 5는 자유 시점 동작 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
자유 시점 동작 객체 모션 제어 카메라 효과에서는, 정지 객체와는 달리 영상의 대응하는 특징점이 카메라 기하뿐만 아니라 객체의 동작에 의해서도 변하기 때문에 대응점 추출을 통한 기본 행렬 계산을 할 수 없다. 따라서 본 실시예에서는 프레임 건너뜀(frame skip)을 사용하였다. 프레임 건너뜀은 각 프레임 집합을 구성할 때 특정 시간(s+1)의 프레임 다음에 바로 다음 시간(s+2)의 프레임을 선택하지 않고, 한 프레임씩 건너뛰면서 다다음 시간(s+3, s+5, …) 프레임을 선택하게 하는 기법이다.
동작 객체의 경우 객체의 동작의 시작 시간 및 종료 시간에 대한 정보가 필요하므로, 입력된 영상에 객체의 동작의 시작 시간부터 종료 시간까지 프레임 건너뜀을 적용하여 기본 프레임을 생성한다(S510). 기본 프레임은 최종 영상 재생지에 사용되는 프레임 집합으로, 기본 프레임(
Figure 112008088099613-pat00010
)은 n개의 카메라에서 취득된 영상에서 시작 시간(s)부터 시간의 진행(j)에 따라 추출된다. 여기서 i는 프레임이 추출된 영상을 취득한 카메라를 나타내며(
Figure 112008088099613-pat00011
), j는 시간의 진행을 나타낸다(
Figure 112008088099613-pat00012
). 기본 프레임 집합은 아래와 같다.
Figure 112008088099613-pat00013
입력된 영상에 시작 시간부터 종료 시간까지 같은 시간의 프레임 쌍을 묶고 프레임 건너뜀을 적용하여 보간 기준 프레임을 생성한다(S515). 보간 기준 프레임(
Figure 112008088099613-pat00014
)은 영상 보간 작업에 사용되는 별도의 프레임이다. 보간 기준 프레임 집합은 아래와 같다.
Figure 112008088099613-pat00015
본 실시예에서는
Figure 112008088099613-pat00016
집합 내의 프레임에서 2씩 건너뛰는 인접 프레임 구성을 택하였다. 보간 기준 프레임인
Figure 112008088099613-pat00017
또한 같은 수의 프레임 집합으로 구성이 되는데, 두 프레임씩 쌍이 되어 보간을 위한 기준 프레임으로 사용이 된다.
Figure 112008088099613-pat00018
에서 두 프레임씩 쌍으로 묶을 경우, 영상은 다르지만, 프레임 추출 시각이 같기 때문에 같은 시간대의 정지 영상을 의미하므로 동작에 의한 카메라 왜곡이 없기 때문에 기본 행렬(fundamental matrix)를 추출할 수 있게 된다.
보간 기준 프레임을 기반으로 영상을 교정하고(S520), 인접 프레임 간 보간 영상을 생성한다(S425). 추출된 기본 행렬을 이용하여 영상을 교 정(rectification)한 다음 몰핑(morphing) 기반의 방법을 이용하여 보간 영상(
Figure 112008088099613-pat00019
)을 생성한다. 이 때 GPU 등의 고속 영상 처리 장치 기반의 하드웨어 가속을 사용하여 그 실시간 처리를 지원할 수 있다. 최종적으로 나열되는 영상
Figure 112008088099613-pat00020
은 아래와 같이 구성된다.
Figure 112008088099613-pat00021
이후 입력된 재현 속도에 따라 처리된 프레임을 선택하여 출력한다(S230).
도 6은 듀얼 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
듀얼 모션 제어 카메라 효과란, 다른 장소에서 촬영된 각각의 다중 영상들을 합성하여 새로운 영상을 만들어 내는 기능이다. 예를 들어, 야구장에서 투수가 공을 던지는 장면을 촬영한 제 1 영상과 그 공을 치는 타자를 담은 제 2 영상에서, 제 1 영상의 전경(투수)과 배경(야구장)을 분리한 후 전경(투수)만을 제 2 영상에 합성하는 것이다. 합성 결과 제 2 영상의 배경(야구장)에서 제 1 영상의 전경(투수)과 제 2 영상의 전경(타자)에 대한 하나의 듀얼 모션 제어 카메라 효과 영상을 재현할 수 있게 된다.
먼저 하나 이상의 시점에서 촬영한 제 1 피사체의 제 1 영상 및 하나 이상의 시점에서 촬영한 제 2 피사체의 제 2 영상을 입력 받는다(S610). 전경만을 추출할 영상과 전경 및 배경을 모두 추출할 영상을 미리 구분하여 입력을 받을 수도 있고, 구분 없이 2개의 피사체의 영상을 입력 받은 후 사용자의 입력에 의하여 전경만을 추출할 영상과 전경 및 배경을 모두 추출할 영상을 나중에 결정할 수도 있 다. 이 때 사용자의 입력을 받기 위하여 입력되는 2개의 영상을 화면에 출력하여 사용자가 판단할 수 있도록 구현할 수 있다.
제 1 영상 및 제 2 영상 각각에 대하여 목표 시간의 프레임을 추출한다(S620). 제 1 영상의 프레임에서 전경을 추출하고(S630), 제 2 영상의 프레임에서 전경 및 배경을 추출하고(S635), 제 1 영상의 전경, 제 2 영상의 전경 및 제 2 영상의 배경을 합성한다(S640). 이 때 제 1 영상의 전경, 제 2 영상의 전경 및 제 2 영상의 배경 간의 밝기, 색상 및 광원을 비교하여 보정하는 영상 처리를 추가하여 구현할 수 있다.
그리고 상기 합성된 프레임들을 상기 제어 변수에 따라 나열하며(S650), 이후 입력된 재현 속도에 따라 처리된 프레임을 선택하여 출력한다(S230). 이 때 제 1 영상의 전경 및 제 2 영상의 전경을 독립적으로 제어하여 각각 다른 속도로 재생되도록 구현할 수도 있다.
실시예에 따라서 피사체가 정지 객체 또는 동작 객체 중 어느 하나를 선택하도록 구현할 수 있다. 이 경우 정지 객체에 대해서는 상술한 정지 객체 모션 제어 카메라 효과 또는 동작 객체 모션 제어 카메라 효과를 적용할 수 있다.
도 7은 본 발명의 모션 제어 카메라 효과 구현 장치의 대략적인 구조를 도시한 블록도이다.
본 실시예에서 영상 처리부(720)는 카메라(711, 712)에서 전달 받은 영상을 취득하는 영상 취득부(722), 취득한 영상으로부터 카메라 위치 정보를 분석하는 기하 보정부(724), 다중 카메라 영상의 색상을 보정하는 색상 보정부(726), 취득한 영상 또는 보정된 영상으로부터 전경과 배경을 분리하는 전배경 분리부(728), 처리된 영상을 출력하는 영상 전송부(750)를 포함한다.
또한, 고정 시점 정지 객체 모션 제어 카메라 효과 처리부(732), 고정 시점 동작 객체 모션 제어 카메라 효과 처리부(734), 자유 시점 정지 객체 모션 제어 카메라 효과 처리부(736), 자유 시점 동작 객체 모션 제어 카메라 효과 처리부(738), 듀얼 모션 제어 카메라 효과 처리부(740) 중 하나 이상을 포함할 수 있다. 이러한 다양한 모션 제어 카메라 효과 처리부(732, 734, 736, 738, 740)는 각각의 모션 제어 카메라 효과에 대응하는 방법의 각 단계를 수행하는 수단을 포함하여 구현될 수 있다.
본 실시형태의 모듈, 기능 블록들 또는 수단들은 전자 회로, 집적 회로, ASIC (Application Specific Integrated Circuit) 등 공지된 다양한 소자들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수 있다.
이상과 같이 본 발명의 이해를 위하여 그 실시예를 기술하였으나, 당업자라면 알 수 있듯이, 본 발명은 본 명세서에서 기술된 특정 실시예에 한정되는 것이 아니라, 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 변경 및 대체될 수 있다. 예를 들어, 문자 대신 기타 LCD 등 디스플레이에 의해 표시될 수 있는 그림, 영상 등에도 본 발명의 기술이 적용될 수 있다. 따라서, 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 특허청구범위에 의하여 모두 포괄하고자 한다.
도 1은 본 발명의 모션 제어 카메라 효과 구현 방법의 대략적인 단계를 도시한 흐름도이다.
도 2는 고정 시점 정지 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
도 3은 고정 시점 동작 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
도 4는 자유 시점 정지 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
도 5는 자유 시점 동작 객체 모션 제어 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
도 6은 듀얼 모션 카메라 효과 구현 방법의 단계를 도시한 흐름도이다.
도 7은 본 발명의 모션 제어 카메라 효과 구현 장치의 대략적인 구조를 도시한 블록도이다.

Claims (24)

  1. 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력받는 단계와,
    적용할 모션 제어 카메라 효과 및 효과의 목표 시간 및 재현 속도를 포함하는 제어 변수를 입력받는 단계와,
    상기 모션 제어 카메라 효과를 구성하는 고정 시점 정지 객체의 모션 제어 카메라 효과, 고정 시점 동작 객체의 모션 제어 카메라 효과, 자유 시점 정지 객체의 모션 제어 카메라 효과, 자유 시점 동작 객체의 모션 제어 카메라 효과, 하나 이상의 영상을 입력받아 그 중 하나 이상의 영상의 전경을 다른 영상의 전경 및 배경과 합성하는 듀얼 모션 제어 카메라 효과 중 어느 하나 이상을 처리하기 위하여, 상기 입력된 영상으로부터 상기 목표 시간의 프레임을 추출하는 단계와,
    상기 제어 변수에 기반하여 상기 추출된 프레임을 소프트웨어적으로 처리하는 단계와,
    상기 재현 속도에 따라 상기 처리된 프레임을 선택하여 출력하는 단계
    를 포함하는 모션 제어 카메라 효과 구현 방법.
  2. 제 1 항에 있어서,
    상기 추출된 프레임의 처리는,
    시점의 고정 또는 자유 여부 및 객체의 정지 또는 동작 여부에 따라 수행되는
    모션 제어 카메라 효과 구현 방법.
  3. 제 1 항에 있어서,
    상기 모션 제어 카메라 효과가 상기 고정 시점 정지 객체에 대한 모션 제어 카메라 효과인 경우,
    상기 처리하는 단계는, 상기 추출된 프레임을 상기 제어 변수에 따라 나열하는
    모션 제어 카메라 효과 구현 방법.
  4. 제 1 항에 있어서,
    상기 모션 제어 카메라 효과가 상기 고정 시점 동작 객체에 대한 모션 제어 카메라 효과인 경우,
    상기 목표 시간은 상기 객체의 동작의 시작 시간 및 종료 시간을 포함하고,
    상기 처리하는 단계는, 상기 추출된 프레임을 상기 제어 변수에 따라 나열하는
    모션 제어 카메라 효과 구현 방법.
  5. 제 1 항에 있어서,
    상기 모션 제어 카메라 효과가 상기 자유 시점 정지 객체에 대한 모션 제어 카메라 효과인 경우,
    상기 처리하는 단계는,
    인접 프레임 간의 대응점을 추출하는 단계와,
    상기 대응점에 기반하여 카메라 기하 정보를 산출하는 단계와,
    상기 인접 프레임 간의 보간 영상을 생성하는 단계
    를 포함하는 모션 제어 카메라 효과 구현 방법.
  6. 제 5 항에 있어서,
    상기 카메라 기하 정보를 산출하는 단계는, 상기 대응점을 기반으로 기본 행렬을 구하고,
    상기 보간 영상을 생성하는 단계는, 상기 기본 행렬을 이용하여 상기 영상을 교정하고, 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 상기 보간 영상을 생성하는
    모션 제어 카메라 효과 구현 방법.
  7. 제 1 항에 있어서,
    상기 모션 제어 카메라 효과가 상기 자유 시점 동작 객체에 대한 모션 제어 카메라 효과인 경우,
    상기 추출하는 단계는, 상기 입력된 영상에 상기 객체의 동작의 시작 시간부터 종료 시간까지 프레임 건너뜀을 적용하여 기본 프레임을 생성하고, 상기 입력된 영상에 상기 시작 시간부터 상기 종료 시간까지 같은 시간의 프레임 쌍을 묶고 프레임 건너뜀을 적용하여 보간 기준 프레임을 생성하고,
    상기 처리하는 단계는, 상기 보간 기준 프레임을 기반으로 상기 영상을 교정하며, 인접 프레임 간의 보간 영상을 생성하는
    모션 제어 카메라 효과 구현 방법.
  8. 제 7 항에 있어서,
    상기 처리하는 단계는,
    상기 기준 프레임 및 상기 보간 기준 프레임의 프레임 집합을 이용하여 상기 보간 영상을 생성하는
    모션 제어 카메라 효과 구현 방법.
  9. 제 7 항에 있어서,
    상기 보간 영상은,
    상기 같은 시간의 프레임 쌍을 이용하여 상기 영상을 교정하고, 상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 생성되는
    모션 제어 카메라 효과 구현 방법.
  10. 제 9 항에 있어서,
    상기 몰핑(morphing) 기반의 방법은,
    고속 영상 처리 장치 기반의 하드웨어 가속을 사용하여 실시간 처리를 지원하는
    모션 제어 카메라 효과 구현 방법.
  11. 제 1 항에 있어서,
    상기 모션 제어 카메라 효과가 상기 듀얼 모션 제어 카메라 효과인 경우,
    상기 입력받는 단계는,
    각각 하나 이상의 시점에서 촬영한 2개의 피사체의 영상을 입력받는 단계와,
    상기 2개의 피사체의 영상 중 전경을 추출할 제 1 영상 및 전경 및 배경을 추출할 제 2 영상을 결정하는 단계
    를 포함하고,
    상기 추출하는 단계는, 상기 제 1 영상 및 상기 제 2 영상에 대하여 각각 동시간에 수행되고,
    상기 처리하는 단계는,
    상기 제 1 영상의 프레임에서 전경을 추출하는 단계와,
    상기 제 2 영상의 프레임에서 전경 및 배경을 추출하는 단계와,
    상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경을 합성하는 단계와,
    상기 합성된 프레임들을 상기 제어 변수에 따라 나열하는 단계
    를 포함하는 모션 제어 카메라 효과 구현 방법.
  12. 제 11 항에 있어서,
    상기 제 2 영상을 결정하는 단계는, 상기 2개의 피사체의 영상 중 어느 영상을 각각 상기 제 1 영상 및 상기 제 2 영상으로 사용할지 사용자의 입력에 의하여 정하는
    모션 제어 카메라 효과 구현 방법.
  13. 제 11 항에 있어서,
    상기 합성하는 단계는, 상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경 간의 밝기, 색상 및 광원을 비교하여 보정하는
    모션 제어 카메라 효과 구현 방법.
  14. 제 11 항에 있어서,
    상기 합성하는 단계는, 상기 제 1영상의 전경 및 상기 제 2영상의 전경의 프레임 나열 속도를 달리함으로써 상기 제 1 영상의 전경, 상기 제 2 영상의 전경의 모션 속도를 독립적으로 제어하는
    모션 제어 카메라 효과 구현 방법.
  15. 제 1 항에 있어서,
    상기 제어 변수는 재현 방향을 포함하는
    모션 제어 카메라 효과 구현 방법.
  16. 하나 이상의 시점에서 촬영한 동일 피사체의 영상을 입력 받는 영상 취득부와,
    적용할 모션 제어 카메라 효과를 입력받는 모션 제어 카메라 효과 입력부와,
    상기 모션 제어 카메라 효과의 목표 시간 및 재현 속도를 포함하는 제어 변수를 입력 받는 제어 변수 입력부와,
    상기 모션 제어 카메라 효과를 구성하는 고정 시점 정지 객체의 모션 제어 카메라 효과, 고정 시점 동작 객체의 모션 제어 카메라 효과, 자유 시점 정지 객체의 모션 제어 카메라 효과, 자유 시점 동작 객체의 모션 제어 카메라 효과, 하나 이상의 영상을 입력받아 그 중 하나 이상의 영상의 전경을 다른 영상의 전경 및 배경과 합성하는 듀얼 모션 제어 카메라 효과 중 어느 하나 이상을 수행하는 모션 제어 카메라 효과 처리부
    를 포함하는 모션 제어 카메라 효과 구현 장치.
  17. 제 16 항에 있어서,
    상기 모션 제어 카메라 효과 처리부는,
    상기 고정 시점 정지 객체에 대한 모션 제어 카메라 효과를 구현하는 고정 시점 정지 객체 모션 제어 카메라 효과 처리부, 상기 고정 시점 동작 객체에 대한 모션 제어 카메라 효과를 구현하는 고정 시점 동작 객체 모션 제어 카메라 효과 처리부, 상기 자유 시점 정지 객체에 대한 모션 제어 카메라 효과를 구현하는 자유 시점 정지 객체 모션 제어 카메라 효과 처리부, 상기 자유 시점 동작 객체에 대한 모션 제어 카메라 효과를 구현하는 자유 시점 동작 객체 모션 제어 카메라 효과 처리부, 또는 상기 듀얼 모션 제어 카메라 효과를 구현하는 듀얼 모션 제어 카메라 효과 처리부 중 어느 하나 이상과,
    상기 입력된 영상으로부터 상기 목표 시간의 프레임을 추출하는 프레임 추출부와,
    상기 제어 변수에 기반하여 상기 프레임을 처리하는 프레임 처리부, 및
    상기 재현 속도에 따라 상기 처리된 프레임을 선택하여 출력하는 프레임 출력부
    를 포함하는 모션 제어 카메라 효과 구현 장치.
  18. 제 17 항에 있어서,
    상기 자유 시점 정지 객체의 모션 제어 카메라 효과 처리부 내 프레임 처리부는,
    인접 프레임 간의 대응점을 추출하는 대응점 추출부와,
    상기 대응점에 기반하여 카메라 기하 정보를 산출하는 카메라 기하 정보 산출부와,
    상기 인접 프레임 간의 보간 영상을 생성하는 보간 영상 생성부
    를 포함하는 모션 제어 카메라 효과 구현 장치.
  19. 제 18 항에 있어서,
    상기 카메라 기하 정보 산출부는, 상기 대응점을 기반으로 기본 행렬을 구하는 기본 행렬 연산부를 포함하고,
    상기 보간 영상 생성부는,
    상기 기본 행렬을 이용하여 상기 영상을 교정하는 교정부와,
    상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 상기 보간 영상을 생성하는 몰핑부를 포함하는
    모션 제어 카메라 효과 구현 장치.
  20. 제 17 항에 있어서,
    상기 자유 시점 동작 객체의 모션 제어 카메라 효과 처리부 내 프레임 추출부는,
    상기 입력된 영상에 상기 객체의 동작의 시작 시간부터 종료 시간까지 프레임 건너뜀을 적용하여 기본 프레임을 생성하는 기본 프레임 생성부와,
    상기 입력된 영상에 상기 시작 시간부터 상기 종료 시간까지 같은 시간의 프레임 쌍을 묶고 프레임 건너뜀을 적용하여 보간 기준 프레임을 생성하는 보간 기준 프레임 생성부
    를 포함하고,
    상기 자유 시점 동작 객체의 모션 제어 카메라 효과 처리부 내 프레임 처리부는,
    상기 보간 기준 프레임을 기반으로 상기 영상을 교정하는 보간 기준 프레임 기반 교정부와,
    인접 프레임 간의 보간 영상을 생성하는 보간 영상 생성부
    를 포함하는
    모션 제어 카메라 효과 구현 장치.
  21. 제 20 항에 있어서,
    상기 자유 시점 동작 객체의 모션 제어 카메라 효과 처리부 내 프레임 처리부는,
    상기 기준 프레임 및 상기 보간 기준 프레임의 프레임 집합을 이용하여 상기 보간 영상을 생성하는
    모션 제어 카메라 효과 구현 장치.
  22. 제 20 항에 있어서,
    상기 보간 영상 생성부는,
    상기 같은 시간의 프레임 쌍을 이용하여 상기 영상을 교정하는 프레임 쌍 이용 교정부와,
    상기 교정한 영상에 몰핑(morphing) 기반의 방법을 이용하여 상기 보간 영상을 생성하는 몰핑부
    를 포함하는 모션 제어 카메라 효과 구현 장치.
  23. 제 22 항에 있어서,
    하드웨어 가속을 통하여 상기 몰핑부의 실시간 처리를 지원하는 고속 영상 처리 장치
    를 포함하는 모션 제어 카메라 효과 구현 장치.
  24. 제 17 항에 있어서,
    상기 영상 취득부는,
    각각 하나 이상의 시점에서 촬영한 2개의 피사체의 영상을 입력받고, 사용자의 입력에 기반하여 상기 2개의 피사체의 영상 중 전경을 추출할 제 1 영상 및 전경 및 배경을 추출할 제 2 영상을 결정하는 영상 결정부
    를 포함하며,
    상기 듀얼 모션 제어 카메라 효과 처리부 내 프레임 추출부는, 상기 제 1 영상 및 상기 제 2 영상의 추출을 각각 동시간에 수행하고,
    상기 듀얼 모션 제어 카메라 효과 처리부 내 프레임 처리부는,
    상기 제 1 영상의 프레임에서 전경을 추출하는 제 1 영상 전경 추출부와,
    상기 제 2 영상의 프레임에서 전경 및 배경을 추출하는 제 2 영상 전배경 추출부와,
    상기 제 1 영상의 전경, 상기 제 2 영상의 전경 및 상기 제 2 영상의 배경을 합성하는 전배경 합성부와,
    상기 합성된 프레임들을 상기 제어 변수에 따라 나열하는 프레임 나열부
    를 포함하는
    모션 제어 카메라 효과 구현 장치.
KR1020080131665A 2008-12-22 2008-12-22 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치 KR101269900B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131665A KR101269900B1 (ko) 2008-12-22 2008-12-22 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치
US12/495,169 US20100157022A1 (en) 2008-12-22 2009-06-30 Method and apparatus for implementing motion control camera effect based on synchronized multi-images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131665A KR101269900B1 (ko) 2008-12-22 2008-12-22 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100073080A KR20100073080A (ko) 2010-07-01
KR101269900B1 true KR101269900B1 (ko) 2013-05-31

Family

ID=42265437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131665A KR101269900B1 (ko) 2008-12-22 2008-12-22 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치

Country Status (2)

Country Link
US (1) US20100157022A1 (ko)
KR (1) KR101269900B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
US10405065B2 (en) 2013-04-05 2019-09-03 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Video processing system and method
EP2787741A1 (en) * 2013-04-05 2014-10-08 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video processing system and method
CN106021803B (zh) * 2016-06-06 2019-04-16 中国科学院长春光学精密机械与物理研究所 一种确定图像采集设备最优排布的方法及系统
CN106851104B (zh) * 2017-02-28 2019-11-22 努比亚技术有限公司 一种根据用户视角进行拍摄的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927734B1 (ko) 2006-12-05 2009-11-18 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027083B2 (en) * 2001-02-12 2006-04-11 Carnegie Mellon University System and method for servoing on a moving fixation point within a dynamic scene
EP1845724A1 (en) * 2005-02-03 2007-10-17 Matsushita Electric Industrial Co., Ltd. Recording/reproduction device, recording/reproduction method, recording/reproduction apparatus and recording/reproduction method, and recording medium storing recording/reproduction program, and integrated circuit for use in recording/reproduction apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927734B1 (ko) 2006-12-05 2009-11-18 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법

Also Published As

Publication number Publication date
US20100157022A1 (en) 2010-06-24
KR20100073080A (ko) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101269900B1 (ko) 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치
WO2021083176A1 (zh) 数据交互方法及系统、交互终端、可读存储介质
KR101946019B1 (ko) 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US6704042B2 (en) Video processing apparatus, control method therefor, and storage medium
US20130063549A1 (en) Systems and methods for converting video
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
CN103051830B (zh) 一种对所拍目标多角度实时转播的系统和方法
EP2643972A1 (en) Improved method and system for creating three-dimensional viewable video from a single video stream
AU2017219030A1 (en) Selective Capture and Presentation of Native Image Portions
GB2473282A (en) Depth value for positioning a caption in 3D video
WO2011025210A2 (en) An apparatus and a method for reconstructing a hologram
DE112019000271T5 (de) Verfahren und vorrichtung zur verarbeitung und verteilung von live-virtual-reality-inhalten
JPH06350937A (ja) 画像合成再生装置
CN113382177A (zh) 一种多视角环绕拍摄方法及系统
JP2016163311A (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
CN113259764A (zh) 视频的播放方法、播放装置、电子设备及系统
WO2001013645A2 (en) Narrow bandwidth broadcasting system
JP4854156B2 (ja) リンクマークの位置情報の伝送方法と、その表示方法及びシステム
JP2013518458A (ja) デジタルビデオストリーム内の情報及び／又はアプリケーションデータを転送する方法、及び、ビデオストリームを生成及び再生するための関連装置
JPH0965374A (ja) ３次元映像記録装置および３次元映像再生装置
JP4423416B2 (ja) 映像合成処理システム
JP2001148806A (ja) 映像合成演算処理装置、その方法及びシステム
JP4166463B2 (ja) 映像生成装置
WO2021083177A1 (zh) 深度图生成方法、计算节点及计算节点集群、存储介质
JPH08102970A (ja) ３次元画像撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 7