KR101769660B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR101769660B1
KR101769660B1 KR1020140193390A KR20140193390A KR101769660B1 KR 101769660 B1 KR101769660 B1 KR 101769660B1 KR 1020140193390 A KR1020140193390 A KR 1020140193390A KR 20140193390 A KR20140193390 A KR 20140193390A KR 101769660 B1 KR101769660 B1 KR 101769660B1
Authority
KR
South Korea
Prior art keywords
image
quality
low
image processing
quality image
Prior art date
Application number
KR1020140193390A
Other languages
English (en)
Other versions
KR20160080681A (ko
Inventor
채수한
Original Assignee
채수한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 채수한 filed Critical 채수한
Priority to KR1020140193390A priority Critical patent/KR101769660B1/ko
Publication of KR20160080681A publication Critical patent/KR20160080681A/ko
Application granted granted Critical
Publication of KR101769660B1 publication Critical patent/KR101769660B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 처리 장치는 특정 피사체에 대응하는 고화질 영상을 수신하는 영상 수신부와; 상기 고화질 영상에 대응하는 저화질 영상을 시간적 또는 공간적으로 편집하고, 상기 편집된 상기 저화질 영상을 상기 고화질 영상에 적용하여 상기 고화질 영상을 편집하는 영상 처리부와; 상기 편집된 고화질 영상을 외부로 전송하는 영상 송신부를 포함할 수 있다. 이에 의해 고화질의 광고 영상을 쉽고 빠르게 편집할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD THEREOF}
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것으로서, 보다 상세하게는 카메라를 통하여 촬영된 영상에 대하여 시간적 및 공간적으로 편집하는 영상 처리 장치 및 그 영상 처리 방법에 관한 것이다.
영상에 포함되어 있는 객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡쳐, 보안 감시 시스템, 휴먼 컴퓨터 인터랙션 등의 많은 분야에 널리 적용되고 있다.
최근 동영상 강의와 같은 교육 콘텐츠의 확산 및 보급으로 인하여 동영상을 촬영 및 이를 편집에 대한 다양한 요구가 증가되고 있다. 이런 경우 카메라와 같은 촬영기기, 촬영된 영상을 편집하여 배급하는 시스템 등에 대한 개발이 필요하고, 적은 비용으로 고 사향 동영상 강의를 제공할 수 있는 서비스 역시 많은 관심의 대상이 되고 있다. 촬영 및 편집된 동영상을 관리하고 이를 이용하여 이윤을 창출할 수 있는 방법 역시 중요한 논점이 된다.
동영상을 제작하는 유저는 저비용으로 원하는 고화질의 영상을 얻어 관리하고, 동영상을 사용하는 유저는 필요한 콘텐츠를 쉽고 간편하게 얻는 것을 원하게 된다.
이에 영상의 촬영부터 이를 편집하고 보급하는 개별적인 장치 및 이를 위한 전체적인 시스템 구축이 이슈가 되고 있다.
본 발명의 일 실시예는 쉽고 빠르게 원하는 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.
본 발명의 일 실시예는 고화질의 광고 영상을 쉽고 빠르게 편집할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.
본 발명의 일 실시예는 저화질 영상을 편집하고, 이에 대응되는 고화질 영상에 편집 내용을 적용할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.
본 발명의 다른 실시예는 고화질 영상으로부터 저화질 영상을 획득 한 후, 저화질 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.
본 발명의 일 실시예에 따른 영상 처리 장치는 특정 피사체에 대응하는 고화질 영상을 수신하는 영상 수신부와; 상기 고화질 영상에 대응하는 저화질 영상을 시간적 또는 공간적으로 편집하고, 상기 편집된 상기 저화질 영상을 상기 고화질 영상에 적용하여 상기 고화질 영상을 편집하는 영상 처리부와; 상기 편집된 고화질 영상을 외부로 전송하는 영상 송신부를 포함할 수 있다.
상기 영상 처리부는 상기 저화질 영상의 시간적 편집을 위하여 기설정된 시간대의 영상을 커팅할 수 있다.
상기 저화질 영상이 음향을 포함하는 경우, 상기 영상 처리부는 상기 음향의 크기가 소정 범위 이상인 경우, 해당 부분의 영상을 커팅할 수 있다.
상기 영상 처리부는 상기 저화질 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 저화질 영상 프레임 중 일부를 커팅할 수 있다.
상기 특정 객체가 소정의 인물인 경우, 상기 영상 처리부는 상기 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 상기 커팅 영역만큼 상기 저화질 영상 프레임을 커팅할 수 있다.
상기 영상 수신부는 상기 고화질 영상에 대응하는 상기 저화질 영상을 더 수신할 수 있다.
상기 영상 처리부는 상기 고화질 영상을 다운 샘플링 하여 상기 저화질 영상을 생성할 수 있다.
본 발명의 다른 실시 형태에 따른 영상 처리 방법은 특정 피사체에 대응하는 고화질 영상을 수신하는 단계와; 상기 고화질 영상에 대응하는 저화질 영상을 시간적 또는 공간적으로 편집하는 저화질 영상 편집 단계와; 상기 편집된 상기 저화질 영상을 상기 고화질 영상에 적용하여 상기 고화질 영상을 편집하는 고화질 영상 편집 단계와; 상기 편집된 고화질 영상을 외부로 전송하는 단계를 포함할 수 있다.
이상 설명한 바와 같이, 본 발명의 일 실시예에 따르면 쉽고 빠르게 원하는 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.
본 발명의 일 실시예에 따르면 고화질의 광고 영상을 쉽고 빠르게 편집할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.
본 발명의 또 다른 실시예에 따르면 실시예는 저화질 영상을 편집하고, 이에 대응되는 고화질 영상에 편집 내용을 적용할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.
또 본 발명의 다른 실시예에 따르면 고화질 영상으로부터 저화질 영상을 획득 한 후, 저화질 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 영상 처리를 위한 개략도이고,
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 제어 블럭도이고,
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 제어 흐름도이고,
도 4는 본 발명의 일 실시예에 따른 영상의 시간적 편집을 설명하기 위한 도면이고,
도 5는 본 발명의 일 실시예에 따른 영사의 공간적 편집을 설명하기 위한 도면이고,
도 6은 본 발명의 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 제어 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리를 위한 개략도이다.
도시된 바와 같이, 본 발명에 따른 영상 처리는 강의실에서 촬영된 동영상 즉, 강의 내용을 콘텐츠를 대상으로 할 수 있다. 이러한 동영상에는 강의실 또는 강당과 같은 강의 또는 수업이 발생할 수 있는 공간을 배경으로 강의를 돕고자 하는 칠판 또는 보드판과 같이 글을 쓸 수 있는 물건이 고정된 객체가 포함될 수 있고, 강의실의 칠판 앞에서 움직이는 강사를 움직이는 객체가 포함될 수 있다.
카메라, 캠코더 같은 촬영 장치(A)는 강사와 칠판의 노트를 촬영하고, 촬영된 콘텐츠 즉, 동영상은 영상 처리 장치(B)로 전송된다. 촬영 장치(A)는 강의실과 같은 촬영 공간 뒤쪽에 위치하여, 칠판 전체와 움직임이 있는 강의자가 하나의 화면 내에 촬영할 수 있도록 그 위치가 조정될 수 있다.
본 발명의 일 실시예에 따른 영상 처리의 경우, 촬영 장치(A)는 이동하는 객체(이하, 인물)에 따라 좌우로 움직이거나 상하로 각도가 조절될 필요는 없으며, 줌인 또는 줌 아웃의 기능을 포함하지 않아도 무관하다.
물론, 다른 실시예에 따라 우수한 기능을 갖는 촬영 장치(A)는 인물의 이동 및 움직임에 따라 촬영되는 영상을 조절할 수도 있다. 촬영 장치(A)는 인물의 이동에 따라 좌우로 촬영 렌즈를 이동시키거나, 칠판의 메모에 대응하여 상하로 각도를 조절하거나, 인물 또는 특정 노트를 강조하기 위하여 줌인 또는 줌 아웃을 실행할 수도 있다.
촬영 장치(A)는 복수의 촬영 렌즈를 포함하여 하나의 촬영 대상, 즉 하나의 피사체에 대하여 두 개의 영상을 생성할 수 있다. 이 경우, 두 영상은 동일한 대상에 대한 것이지만 서로 상이한 화질을 가질 수 있다. 고화질 영상의 경우 기설정된 해상도 이상인 것이 바람직하며, 예를 들어 HD급(high definition level) 이상인 것이 바람직하다.
저화질의 영상의 경우, 고화질 영상보다 프레임 레이트가 작거나, 해상도가 낮을 수 있다. 저화질 영상은 객체의 윤곽을 확인할 수 있는 정도의 화질을 가질 수 있으며, 고화질 영상과 비교하여 상대적으로 적은 데이터 양을 가진다. 저화질 영상의 경우, 고화질 영상보다 전송 시 시간 지연(time delay)이 적으므로, 영상의 실시간 송수신 및 처리에 용이하다.
또는 촬영 장치(A)는 두 개가 마련될 수 있고, 두 개의 촬영 장치(A)는 하나의 피사체에 대하여 저화질 영상 및 고화질 영상을 개별적으로 생성할 수 있다. 상이한 화질을 갖는 두 개의 영상은 영상 처리 장치(B)로 전송되었을 때 시간적인 매칭이 가능하도록 클럭 동기화 될 수 있다.
촬영 장치(A)가 하나의 촬영 렌즈를 통하여 하나의 영상만을 촬영하고, 이를 영상 처리 장치(B)에 전송하는 경우, 전송되는 영상의 화질은 고화질일 수 있다.
또는 촬영 장치(A)는 하나의 촬영 렌즈를 통하여 고화질의 영상만을 촬영하고, 고화질의 영상을 저화질의 영상으로 다운 그레이드 할 수 있다. 고화질 영상과 고화질 영상으로부터 생성된 저화질 영상 모두가 영상 처리 장치(B)로 전송될 수 있다.
촬영 장치(A)에서 촬영된 영상은 실시간 또는 저장되었다가 한번에 또는 일정한 시간 지연을 두고 영상 처리 장치(B)로 전송될 수 있다.
영상 처리 장치(B)는 촬영 장치(A)로부터 수신한 영상을 편집하여 편집된 고화질 영상을 생성한다. 촬영 장치(A)로부터 수신한 영상은 고화질 영상만일 수도 있고, 고화질 영상과 저화질 영상일 수도 있다.
영상 처리 장치(B)는 입력 영상에 포함되어 있는 객체를 파악하고, 객체의 움직임을 파악할 수 있는 이미지 프로세서, 또는 이미지 프로세서를 포함하고 있는 칩셋, 모듈 또는 전자 디바이스, 이들의 구성을 포함하는 서버 등으로 구현될 수 있다.
물론 영상 처리 장치(B)는 영상의 화질을 업그레이드 하거나 다운 그레이드 할 수 있는 이미지 처리를 수행할 수 있으며, 프레임 영상을 커팅하는 편집이나 프레임 전체를 추가 또는 삭제하는 프레임 레이트 조절에 대한 이미지 처리 역시 수행할 수 있다.
영상 처리 장치(B)에서 생성된 편집된 고화질 영상은 이를 필요로 하는 유저, 예를 들어 강의를 한 강사 또는 교육생에게 제공될 수 있다.
본 발명의 다른 실시예에 따르면 영상을 촬영하는 촬영 장치(A)와, 영상을 처리하는 영상 처리 장치(B)는 서로 하나의 구성으로 머지될 수 있다. 즉, 영상 처리 장치(B)는 영상을 촬영하고, 촬영된 영상을 처리하는 컴퓨터 시스템, 카메라 시스템(closed-circuit television), 텔레비전 등으로 구현될 수 있으며, 영상을 수신하여 처리하는 것이라면 그 종류 및 특정 장치에 한정되지 않는다.
이하, 영상 처리 장치(B) 및 영상 처리 장치(B)에서 수행되는 영상의 커팅 편집에 대하여 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 제어 블럭도이며, 도시된 바와 같이, 본 실시예에 따른 영상 처리 장치(1)는 영상 수신부(10), 영상 처리부(20), 영상 송신부(30)를 포함할 수 있다.
영상 수신부(10)는 촬영된 영상을 수신한다. 영상 수신부(10)는 웹 상의 통신이 가능하도록 구현된 네트워크 통신부일 수도 있고, 촬영된 영상을 저장하고 있는 저장매체가 연결될 수 있는 커넥터와 같은 인터페이스를 포함할 수도 있다. 영상 수신부(10)는 촬영 장치(A)로부터 고화질 영상만을 수신할 수도 있고, 고화질 및 저화질 영상 모두를 수신할 수도 있다.
상술한 바와 같이, 촬영된 영상은 촬영과 동시에 실시간으로 수신될 수 있고, 영상 처리부(20)는 수신된 영상을 실시간으로 처리할 수 있다. 이 경우, 영상 수신부(10)는 영상의 처리 과정 및 속도와 관련하여 촬영 장치(A)와 데이터를 주고 받는 통신을 수행할 수도 있다.
영상 송신부(30) 역시 네트워크 통신부 또는 다양한 커넥트 인터페이스로 구현될 수 있다. 영상 처리부(20)에서 펀집된 고화질 영상은 특정 웹 사이트로 업로드 될 수 있다. 이러한 웹 사이트는 영상 처리 장치(1)에 의하여 접근이 허용되는 웹 상의 공간을 의미하는 것으로, 예를 들어 다수의 교육생이 강의를 들을 수 있도록 업로드 되거나 강의자의 개인 홈페이지 또는 개인 저장 공간에 업로드 될 수 있다.
영상 처리부(20)는 저화질 영상을 시간적 또는 공간적으로 편집하고, 편집된 저화질 영상을 고화질 영상에 적용하여 고화질 영상을 편집한다. 저화질 영상은 촬영 장치(A)로부터 수신될 수도 있고, 영상 처리부(20)에 의하여 생성될 수도 있다.
저화질 영상이 수신되는 경우, 영상 처리부(20)는 수신된 저화질 영상을 편집하고, 이를 고화질 영상에 적용한다. 반면, 저화질 영상이 촬영 장치(A)로부터 수신되지 않을 때, 영상 처리부(20)는 고화질 영상을 저화질 영상으로 다운 그레이드 시킬 수 있다. 다운 그레이드란, 고화질 영상의 프레임 레이트를 감소시키거나 해상도는 낮추는 것을 포함할 수 있다. 영상 처리부(20)는 고화질 영상의 해상도를 낮추기 위하여 고화질 영상을 다운 샘플링할 수 있다.
이렇게 저화질 영상이 마련되면, 영상 처리부(20)는 저화질 영상을 시간적 또는 공간적으로 편집할 수 있다. 이하 도 3 내지 도 7을 참조하여 본 발명에 따른 영상 처리를 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 제어 흐름도이다.
본 실시예에 따를 경우 영상 처리 장치(1)는 촬영 장치로부터 저화질 영상 및 고화질 영상을 수신한다(S310).
저화질 영상은 고화질 영상과 클럭 동기화되어 있으며, 저화질 영상의 특정 픽쳐는 고화질 영상의 특정 픽쳐에 대응되도록 매칭될 수 있다.
영상 처리부(20)는 수신된 저화질 영상을 시간적 또는 공간적으로 편집한다(S320). 영상 처리부(20)는 최종적으로 고화질 영상의 편집하기 위하여 그 전에 저화질 영상을 편집할 수 있다.
저화질 영상은 고화질 영상에 비하여 데이터 양이 크지 않아 영상 전송에 따른 시간 지연이 적다. 따라서, 영상 처리 장치(1)는 저화질 영상을 고화질 영상보다 먼저 수신하고, 고화질 영상에 비하여 데이터 처리량이 적은 저화질 영상을 신속하게 편집할 수 있다.
영상의 시간적 편집이란, 전송된 전체 저화질 영상 중 일부 시간에 해당하는 프레임 영상만을 새로운 영상으로 생성하기 위하여 나머지 영상을 커팅하는 것을 의미한다. 즉, 전송되는 영상 자체의 해상도 변경 없이 프레임 수만을 감소시키는 것을 의미할 수 있다.
영상의 공간적 편집이란 프레임 수의 변경 없이 하나의 프레임에 해당하는 픽쳐의 해상도를 낮추거나, 전체 픽쳐 중 일부분을 캡쳐 하듯이 픽쳐를 커팅하는 것을 의미한다.
도 4 및 도 5는 각각 저화질 영상에 대한 시간적 및 공간적 편집을 설명하기 위한 도면으로, 도 4는 본 발명의 일 실시예에 따른 영상의 시간적 편집을 설명하기 위한 도면이다.
영상 처리부(20)는 저화질 영상의 시간적 편집을 위하여 불연속적인 기설정된 시간대의 영상을 커팅할 수 있다. 도 4의 (a)와 같이, 영상 처리부(20)는 전체 1시간짜리 영상에서 앞의 5분, 중간의 5분, 마지막 5분에 해당하는 영상을 커팅할 수 있다. 이러한 커팅을 통하여 전체 1시간의 저화질 영상은 15분짜리 영상으로 새롭게 편집된다.
또는 영상 처리부(20)는 저화질 영상에서 (a)와 달리 연속적인 일부분을 커팅할 수도 있다. 도 4의 (b)와 같이 저화질 영상은 전제 영상 중 약 20분 내지 40분 사이가 커팅될 수 있다.
이와 같이 강의의 일부분에 대한 시간적 커팅은 강의의 광고 또는 강의를 홍보하기 위한 영상, 미리 보기에 대한 영상을 생성하기 위하여 전체 영상 중 일부를 발췌하는 것을 의미한다. 강사는 전체 영상 중에서 시간적으로 편집되기 원하는 부분을 선택하거나 특정 시간 대로 커팅 부분을 재조정할 수도 있다.
본 발명의 다른 실시예에 따르면 영상 처리부(20)는 저화질 영상이 음향을 포함하는 경우, 이를 이용하여 저화질 영상을 커팅할 수 있다.
예를 들어, 영상 처리부(20)는 음향의 크기가 소정 범위 이상인 경우, 해당 부분의 영상을 커팅할 수 있다. 강의 중 음향 크기가 증가하는 경우, 예컨대 강사의 음성이 증가하거나 교육생의 반응이 큰 경우 이는 강의에서 특별히 중요한 부분이나 재미있는 부분으로 파악될 수 있다. 광고 또는 홍보용으로 영상에 대한 시간적 편집을 수행하는 경우 음향의 변화를 활용하여 강의 중 특별한 부분만을 커팅할 수 있다.
음향뿐만 아니라, 영상 처리부(20)는 저화질 영상에서 객체가 갑자기 많아 진다든지 객체의 움직임 많아지는 것 등을 파악하여 해당 부분을 커팅할 수도 있다. 이 역시 정적인 강의 영상에 변화가 발생한 것으로 간주하고 광고 또는 미리보기 등으로 흥미를 유발할 수 있기 때문이다.
정리하면, 본 발명에 따르면 강의 영상을 광고 또는 홍보용으로 사용하기 위하여 전체 강의 중 일부분을 시간적으로 커팅할 수 있고, 커팅되는 시간은 임의로 설정되거나 음향의 변화 또는 객체의 변화 등을 고려하여 설정될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 영사의 공간적 편집을 설명하기 위한 도면이다.
영상 처리부(20)는 하나의 프레임에 대응하는 전체 영상에서 전체 영상에 포함되어 있는 특정 객체를 판단하고, 특정 객체에 대응하여 전체 영상 중 일부를 커팅하여 타겟 영상을 생성함으로써 저화질에 대한 공간적 편집을 수행할 수 있다.
영상 처리 장치(1)로 입력되는 저화질 영상은 연속으로 입력되는 복수의 프레임이며, 이하에서는 설명의 편의상 각 프레임 영상을 전체 영상이라고 표현하고, 하나의 프레임 영상, 즉 전체 영상에서 커팅된 영상을 타겟 영상으로 표현한다.
전체 영상에는 강의실과 같은 배경과, 칠판과 같은 고정 객체, 강사와 같은 움직이는 객체가 존재할 수 있다. 고정 객체는 움직이는 객체와 비교하였을 때 배경으로 파악될 수 있다.
영상 처리부(20)는 전체 영상 중 일부를 타겟 영상으로 생성하기 위하여 전체 영상을 커팅한다. 영상 처리부(20)는 파악된 객체에 기초하여 커팅될 영역을 설정한 후, 이러한 커팅 영역을 커팅함으로써 타겟 영상을 생성한다. 전체 영상이 칠판 앞에서 강의하는 인물을 포함할 경우 타겟 영상은 인물을 중심으로 칠판에 적혀있는 노트가 될 수 있다.
저화질 영상은 상술한 바와 같이, 강의자의 형태 즉, 객체에 대한 형태를 파악할 수 있는 정도의 해상도를 가진다. 이러한 저화질 영상에서도 강의와 무관한 배경 화면 또는 강의에 직접적인 영향이 없는 칠판 영역이 존재할 수 있다. 영상 처리부(20)는 전체 영상에서 강의와 직접적인 관련성이 있는 부분만을 커팅하는 공간적 편집을 수행할 수 있다.
영상 처리부(20)는 타겟 영상을 생성하기 위하여 다양한 기준을 적용할 수 있다. 영상 처리부(20)는 특정 객체가 전체 영상의 상단에 위치하는 칠판인 경우, 전체 영상에서 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하여 타겟 영상을 생성할 수 있다.
또는 제1 특정 객체가 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우, 영상 처리부(20)는 전체 영상에서 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하고, 인물을 중심으로 기설정된 개수의 행 픽셀을 커팅하여 타겟 영상을 생성할 수 있다.
또는, 영상 처리부(20)는 전체 영상을 적어도 두 개의 세로 영역으로 분할하고, 세로 영역에 대응하는 커팅 영역을 설정할 수 있다. 영상 처리부(20)는 인물이 세로 영역 중 어느 하나에 포함되면, 인물이 포함된 세로 영역에 대응하는 커팅 영역을 커팅하여 타겟 영상을 생성할 수 있다.
특정 객체가 소정의 인물인 경우, 영상 처리부(20)는 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 커팅 영역만큼 전체 영상을 커팅하여 타겟 영상을 생성할 수 있다. 이 경우, 영상 처리부(20)는 고정된 객체인 칠판의 파악 없이, 인물을 중심으로 소정 영역을 커팅 영역으로 설정할 수 있다.
또는, 영상 처리부(20)는 인물, 구체적으로 인물의 얼굴 또는 뒷통수를 중심으로 상측으로 기설정된 행 개수만큼, 하측으로 기설정된 행 개수만큼, 좌측으로 기설정된 열 개수만큼, 우측으로 기설정된 열 개수만큼의 크기를 커팅 영역으로 설정할 수 있다.
저화질 영상이 편집되면, 영상 처리부(20)는 편집된 저화질 영상을 고화질 영상에 적용하여 고화질 영상을 편집한다(S330).
저화질 영상에 대하여 이미 하고자 하는 영상의 편집이 완료되었기 때문에 영상 처리부(20)는 편집된 영상과 동기되는 고화질 영상에 이를 그대로 적용하는 영상 처리를 통하여 고화질 영상을 편집할 수 있다.
저화질 영상에 시간적 커팅이 수행되었으면 커팅된 프레임에 대응하여 고화질 영상의 프레임 역시 전체 고화질 영상에서 커팅되고, 저화질 영상에 공간적 커팅이 수행되었으면 프레임 중 특정 부분에 대한 영상으로 고화질 영상의 편집이 이루어진다.
편집된 저화질 영상 및 이에 대응하여 편집된 고화질 영상은 버퍼에 저장될 수도 있고, 하드 디스크 또는 플래쉬 메모리와 같은 저장부에 저장될 수도 있다. 저장부는 영상 처리부(20)에 머지될 수도 있고 독립된 구성으로 영상 처리 장치에 포함될 수도 있다.
영상 처리 장치(1)는 이렇게 편집된 고화질 영상을 외부로 전송한다(S340).
편집된 고화질 영상은 촬영 장치와의 통신을 통하여 촬영 장치로 백업 될 수도 있고, 촬영 영상의 수신과 동시에 실시간으로 처리되어 외부로 전송될 수도 있다.
한편, 본 발명에 따른 영상 처리 장치(1)는 도시하지 않은 사용자 입력부를 더 포함할 수도 있다. 사용자 입력부는 영상 처리부(20)에서 수행되는 편집 조건에 대한 사용자 입력을 수신한다. 이러한 사용자 입력부는 사용자가 직접적으로 조작할 수 있는 리모컨, 마우스, 키보드, 터치 패널과 같은 사용자 인터페이스 및 이러한 사용자 인터페이스와 유무선으로 연결되어 사용자 선택 신호를 수신할 수 있는 다양한 커넥터, IR 통신부 등으로 구현될 수 있다.
사용자 입력부는 전체 중 일부 시간 대의 영상 커팅하기 위한 시간 선택 신호를 수신하거나 음향 레벨에 대한 임계값을 설정하는 신호를 수신할 수 있다.
또는 사용자 입력부는 저화질에 대한 공간적 편집 시 커팅 영역을 설정하는 하는 다양한 기준에 대한 사용자 선택 신호를 수신할 수도 있다. 이 경우 사용자는 열 또는 행의 개수를 입력할 수도 있고 드래그 및 드랍하는 방식으로 커팅 영역을 설정할 수도 있다.
본 발명의 추가적인 실시예에 따르면 영상 수신부(10)는 서로 다른 두 개의 영상을 수신할 수 있고, 영상 처리부(20)는 둘 이상의 영상을 합성한 뒤, 합성된 영상을 편집할 수도 있다. 서로 다른 두 개의 영상은 동일한 피사체에 대한 저화질 영상 및 고화질 영상을 의미하는 것이 아니라 강의실이 너무 큰 경우, 하나의 촬영 장치만으로 충분히 강의 영상을 촬영할 수 없는 때, 복 수의 촬영 장치가 촬영한 영상을 의미한다.
이 때 영상 처리부(20)는 개별적인 영상을 합성한 후, 도 4 및 도 5의 방식 중 어느 하나에 따라 저화질 영상을 편집할 수 있다. 영상의 합성 시 중복되는 영역 및 칠판 이외의 공간은 삭제될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 제어 흐름도이다.
도시된 바와 같이, 본 실시예에 따른 영상 처리 장치는 촬영 장치로부터 고화질 영상만을 수신한다(S610). 촬영 장치가 특정 피사체에 대하여 저화질 영상 및 고화질 영상 모두를 생성하지 못하는 경우, 촬영 장치는 고화질 영상만을 영상 처리 장치로 전송할 수 있다.
고화질 영상만을 수신한 영상 처리 장치는 수신된 고화질 영상을 다운 샘플링 하여 저화질 영상을 생성한다(S620).
영상 처리부는 고화질 영상의 해상도를 감소시켜 피사체의 형태만 파악할 수 있는 저화질 영상을 생성할 수 있다. 저화질 영상은 고화질 영상에 대응되도록 동기화될 수 있으며, 고화질 영상의 신속한 편집을 위하여 생성된다.
그런 후, 영상 처리부는 도 3의 단계 S320 내지 단계 S340와 같은 영상 처리를 수행한다.
즉, 영상 처리부는 다양한 기준 및 조건에 따라 저화질 영상을 시간적 또는 공간적으로 편집하고(S630), 편집된 저화질 영상을 고화질 영상에 적용할 수 있다 (S640).
그런 후, 영상 처리 장치는 편집된 고화질 영상을 저장하고, 이를 필요로 하는 유저가 사용할 수 있도록 편집된 고화질 영상을 외부로 전송한다(S650).
이와 같이, 본 발명에 따르면 낮은 사양의 저화질 영상을 신속하고 빠르게 편집하고, 이를 고화질 영상에 그대로 적용시킴으로써 영상 처리에 따른 데이터 처리와 데이터 처리 시간을 감소시킬 수 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
1: 영상 처리 장치 10: 영상 수신부
20: 영상 처리부 30: 영상 송신부

Claims (15)

  1. 강의용 영상에 관한 영상 처리 장치에 있어서,
    특정 피사체에 대응하는 고화질 강의 영상 및 상기 고화질 강의 영상에 대응하는 저화질 강의 영상을 생성한 카메라로부터 상기 고화질 강의 영상 및 상기 저화질 강의 영상을 수신하는 영상 수신부와;
    상기 저화질 강의 영상을 시간적 또는 공간적으로 편집하고, 상기 편집된 저화질 강의 영상을 상기 고화질 강의 영상에 적용하여 상기 고화질 강의 영상을 편집하는 영상 처리부와;
    상기 편집된 고화질 강의 영상을 외부로 전송하는 영상 송신부를 포함하고,
    상기 저화질 강의 영상이 음향을 포함하는 경우,
    상기 영상 처리부는 상기 음향의 크기가 소정 범위 이상인 경우, 해당 부분의 영상을 커팅하고,
    상기 저화질 강의 영상의 시간적 편집을 위하여 기설정된 시간대의 영상을 커팅하고, 상기 저화질 강의 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 저화질 강의 영상의 프레임 중 일부를 커팅하고,
    상기 특정 객체가 소정의 인물인 경우,
    상기 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 상기 커팅 영역만큼 상기 저화질 강의 영상의 프레임을 커팅하는 것을 특징으로 하는 영상 처리 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 강의용 영상에 관한 영상 처리 방법에 있어서,
    특정 피사체에 대응하는 고화질 강의 영상 및 상기 고화질 강의 영상에 대응하는 저화질 강의 영상을 생성한 카메라로부터 상기 고화질 강의 영상 및 상기 저화질 강의 영상을 수신하는하는 단계와;
    상기 저화질 강의 영상을 시간적 또는 공간적으로 편집하는 저화질 영상 편집 단계와;
    상기 편집된 저화질 강의 영상을 상기 고화질 강의 영상에 적용하여 상기 고화질 강의 영상을 편집하는 고화질 영상 편집 단계와;
    상기 편집된 고화질 강의 영상을 외부로 전송하는 단계를 포함하고,
    상기 저화질 강의 영상이 음향을 포함하는 경우,
    상기 저화질 영상 편집 단계는 상기 음향의 크기가 소정 범위 이상인 경우, 해당 부분의 영상을 커팅하고,
    상기 저화질 영상 편집 단계는 상기 저화질 강의 영상의 시간적 편집을 위하여 기설정된 시간대의 영상을 커팅하고,
    상기 저화질 영상 편집 단계는 상기 저화질 강의 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 저화질 강의 영상의 프레임 중 일부를 커팅하고,
    상기 특정 객체가 소정의 인물인 경우,
    상기 저화질 영상 편집 단계는 상기 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 상기 커팅 영역만큼 상기 저화질 강의 영상의 프레임을 커팅하는 것을 특징으로 하는 영상 처리 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020140193390A 2014-12-30 2014-12-30 영상 처리 장치 및 영상 처리 방법 KR101769660B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140193390A KR101769660B1 (ko) 2014-12-30 2014-12-30 영상 처리 장치 및 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140193390A KR101769660B1 (ko) 2014-12-30 2014-12-30 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20160080681A KR20160080681A (ko) 2016-07-08
KR101769660B1 true KR101769660B1 (ko) 2017-08-18

Family

ID=56503041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140193390A KR101769660B1 (ko) 2014-12-30 2014-12-30 영상 처리 장치 및 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101769660B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279894A (ja) * 2005-03-30 2006-10-12 Casio Comput Co Ltd 画像処理装置、画像処理方法、及びプログラム
JP2007116658A (ja) * 2005-09-26 2007-05-10 Fujifilm Corp 画像集作成システム、画像集作成方法および画像集作成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279894A (ja) * 2005-03-30 2006-10-12 Casio Comput Co Ltd 画像処理装置、画像処理方法、及びプログラム
JP2007116658A (ja) * 2005-09-26 2007-05-10 Fujifilm Corp 画像集作成システム、画像集作成方法および画像集作成プログラム

Also Published As

Publication number Publication date
KR20160080681A (ko) 2016-07-08

Similar Documents

Publication Publication Date Title
CN106791485B (zh) 视频的切换方法及装置
KR100989142B1 (ko) 전자학습 컨텐츠 제공 시스템 및 방법
US9654813B2 (en) Method and system for synchronized multi-venue experience and production
CN105052154A (zh) 生成具有多个视点的视频
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
JP2006162692A (ja) 講義コンテンツ自動作成システム
WO2019019403A1 (zh) 一种用于k12阶段的互动情景教学系统
KR101686143B1 (ko) 영상 처리 장치 및 영상 처리 방법
US10083618B2 (en) System and method for crowd sourced multi-media lecture capture, sharing and playback
KR102644833B1 (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
CN107809563B (zh) 一种板书检测系统、方法及装置
TW202133118A (zh) 實境模擬全景系統及其方法
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
CN110933350A (zh) 一种电子云镜录播系统、方法及装置
US11657574B2 (en) Systems and methods for providing an audio-guided virtual reality tour
JP2005033570A (ja) 移動体画像提供方法、移動体画像提供システム
CN107734212A (zh) 一种自动录播导播系统
JP6232716B2 (ja) 情報処理装置、表示制御システムおよびプログラム
AU2018201913A1 (en) System and method for adjusting an image for a vehicle mounted camera
Lampi et al. An automatic cameraman in a lecture recording system
KR101769660B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR101796226B1 (ko) 복수개의 동영상을 동시에 출력하는 시스템
KR101776839B1 (ko) 휴대용 강의저장 및 방송 시스템
TWI709337B (zh) 攝錄系統
JP2009181043A (ja) 映像信号処理装置、画像信号処理方法、プログラム、記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant