KR101150484B1 - 한 장의 영상으로부터 동작 영상을 생성하는 시스템 - Google Patents

한 장의 영상으로부터 동작 영상을 생성하는 시스템 Download PDF

Info

Publication number
KR101150484B1
KR101150484B1 KR1020090129073A KR20090129073A KR101150484B1 KR 101150484 B1 KR101150484 B1 KR 101150484B1 KR 1020090129073 A KR1020090129073 A KR 1020090129073A KR 20090129073 A KR20090129073 A KR 20090129073A KR 101150484 B1 KR101150484 B1 KR 101150484B1
Authority
KR
South Korea
Prior art keywords
motion
image
effect unit
motion image
unit
Prior art date
Application number
KR1020090129073A
Other languages
English (en)
Other versions
KR20110072226A (ko
Inventor
박인규
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020090129073A priority Critical patent/KR101150484B1/ko
Publication of KR20110072226A publication Critical patent/KR20110072226A/ko
Application granted granted Critical
Publication of KR101150484B1 publication Critical patent/KR101150484B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes

Abstract

본 발명은 정지 영상으로부터 동작 영상(motion photograph)을 생성하는 시스템에 관한 것으로, 분할(segmentation)부, 동작 묘사(motion depiction)부 및 움직임 전이(motion transfer)부를 포함하는 것을 특징으로 하며 기존의 시스템보다 훨씬 빠르고 간편하게 동작 영상을 만들 수 있다.
동작 영상, Motion photograph, 동작 묘사

Description

한 장의 영상으로부터 동작 영상을 생성하는 시스템{A System for generating motion photograph from a single still image}
본 발명은 정지 영상인 한 장의 사진으로 부터 해당 사진내 객체의 동작 정보를 표현하는 동작 영상을 구현하는 시스템에 관한 것이다.
오늘날, 예전에 많이 사용되던 재래식 사진기를 대신해서 디지털 카메라가 많은 경우에 사용되고 있으며, 이러한 디지털 카메라는 영상정보에 대한 픽셀정보의 비손실성과 영상 전처리에 의한 색다른 효과를 가질 수 있는 등 많은 좋은 점이 있다.
그러나, 이러한 디지털 카메라를 통해서도 물체의 동작에 대한 정보를 알 수 있는 사진은 촬영되지 못하는 단점이 있다. 즉, 셔터 속도를 길게 하여 영상을 취득하면 물체의 움직임 정보가 물체의 블러링에 의하여 표현되기는 하지만 물체 자체의 정보가 손실되며, 셔터 속도를 짧게 하여 영상을 취득하면 물체 자체는 알아보기 쉽게 표현되지만 움직임 정보는 사라지게 된다. 따라서, 한 장의 영상에서 물체 자체의 정보도 파악이 가능하면서 물체의 움직임이 잘 표현된 영상 표현 기법은 매우 효율적이라고 할 수 있다.
본 발명은 상기한 바와 같은 문제를 해결하기 위해 안출된 것으로, 대상의 움직임에 대한 정보를 표현할 수 있는 그림을 본 발명에서는 동작 영상(Motion photography)라고 표현하며 이러한 동작 영상을 사진으로부터 생성할 수 있는 시스템을 제공한다.
상기한 과제를 해결하기 위한 본 발명의 특징에 따른 정지영상으로부터 동작 영상을 생성하는 시스템은 분할(segmentation)부, 동작 묘사(motion depiction)부를 포함한다.
또한, 동작 묘사부는 전면 움직임 효과(Foreground Motion Effect)부와 후면 움직임 효과(Background Motion Effect)부로 구성되는 것을 특징으로 한다.
또한, 전면 움직임 효과(Foreground Motion Effect)부는 모션 앵커부, 정지 저속촬영 효과부, 비율형 저속촬영효과부, 직선형 속도선효과부, 곡선형 속도선 효과부로 구성되는 것을 특징으로 한다.
또한, 후면 움직임 효과(Background Motion Effect)부는 직선형 패닝부와 방사형 패닝부로 구성되는 것을 특징으로 한다.
본 발명에 의한 동작 영상 시스템에 의해 기존 디지털 카메라에서 실시할 수 없는 효과를 디지털 사진상에서 실시할 수 있다.
또한, 본 발명에 의한 동작 영상 시스템에 의해 기존의 제품에 비해 더욱 짧은 시간에 동일한 효과를 낼 수 있다.
이하, 본 발명을 도면과 함께 구체적으로 설명한다.
본 발명은 분할(segmentation)부, 동작 묘사(motion depiction)부 및 다면 동작 사진(multiview motion photography)을 위한 움직임 전이(motion transfer)부로 구성된다.
분할부는 입력된 영상에 대해 후면부로부터 관심부분을 분할하는 구성요소이다.
이러한 영상분할은 [C. Rother, V. Kolmogorov, A. Blake. "grabcut" : interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics, 23(3):309-314, August 2004]에서 제시한 GrabCut이라는 방법과 [M. Kass, A. Witkin, and D. Terzopoulos. Snakes : Active contour models. International Journal of Computer Vision, 1(4):321-331. January 1988.]에서 제시한 active snake라는 방법을 순차적으로 사용하여 이를 실시한다. 또한 다른 영상분할 기법도 적용될 수 있다.
분할의 효과는 전체적인 초기 분할의 경우 객체를 둘러싸는 사각형 모양의 경계면만을 지정하는 GrabCut이 더 효과적이며 active snakes는 GrabCut에 의해 얻어진 결과를 세부적으로 조정하기 위해 사용자의 입력 점들을 각각 연속된 작은 선분으로 연결하여 영역을 지정하며, 또는 복수의 영역을 각각 분할하여 다른 색으로 구별할 수도 있다.
도 3은 GrabCut에 의한 분할을 나타내고, 도 4는 active snake에 의한 분할의 예를 나타내고 있다.
분할부에서 분할이 된 후, 영상은 동작 묘사부에서 동작 효과를 가지게 되는데, 전면 움직임 효과(foreground motion effect)부와 후면 움직임 효과(background motion effect)부에서 각각 처리된다.
전면영상 효과부는 영상에 효과를 주기 위해서 움직임 앵커(motion anchor)부를 통해 움직임 앵커를 지정하는데, 움직임 앵커는 움직임 효과를 조절하는 일련의 지점들을 말한다.
움직임 앵커는 3개의 점으로 이루어지는데, 회전의 중심점인 C, 움직임 시작점 S, 끝 점 E이다.
도 6은 이러한 과정을 보여주는데, 일정영역에 대해서 시작점 S가 선택되면 전면영상 효과부는 질량 중심 G를 계산한 후 다음과 같은 식을 통해 회전 중심점인 C를 구한다.
Figure 112009079434998-pat00001
그 이후, 사용자가 지정한 회전의 끝점인 E에 의해 회전효과를 나타내게 된다.
회전효과는 전면영상 효과부를 구성하는 4개의 효과부 즉, 정지 저속촬영 효과부, 비율형 저속촬영 효과부, 직선형 속도선 효과부 및 곡선형 속도선 효과부에서 각각의 효과를 구현하게 된다.
먼저, 정지 저속촬영 효과(Rigid time-lapse ghost)부는 전 영상을 계속해서 겹치는 방법으로 효과를 구현하는데, 그 자세한 방법은 분할된 영역의 초기 픽셀 p s 를 목표 위치인 목표픽셀 p t 로 움직이는 과정이다.
정지 저속촬영 효과부는 미리 정의된 움직임 앵커로부터 평행 또는 회전이동 요소를 분리하는데, 평행이동요소는 CS와 CE의 길이를 통해서, 회전이동요소는 CS와 CE사이의 각도를 통해 분리할 수 있다.
정지 저속촬영 효과부에서 n+1개의 효과를 내는 경우에, i번째 효과의 위치는 다음 수학식 2와 같이 표현된다.
Figure 112009079434998-pat00002
수학식 2에서 R은 C를 중심으로 한 회전운동을, T는
Figure 112009079434998-pat00003
에 평행한 평행이동을 의미한다.
또한 효과의 투명성(fade out)은 다음 수학식 3과 같은 투명도를 통해 결정 된다.
Figure 112009079434998-pat00004
이때,
Figure 112009079434998-pat00005
는 원래 분할부분의 투명도이며 1.0의 값(즉, 완전 불투명)을 가지게 된다.
한편, 비율형 저속촬영효과(scaled time-lapse ghost)부는 전체적으로 상기한 정지 저속촬영 효과부의 동작과 유사한 형태이나 한 가지 차이점이 있다.
즉, 정지 저속촬영 효과부의 동작 중 평행이동을 고려하는 대신 CE와 CS의 비율에 따른 비율항이 평형이동항을 대신한다.
따라서, 비율형 저속촬영효과부에 의한 영상 표현식은 다음 수학식 4와 같다.
Figure 112009079434998-pat00006
수학식 4에서 S는 C를 중심으로 한 크기 변환을 의미한다.
직선형 속도선 효과(Linear speed-lines)부는 객체의 수평적 속도감을 묘사하는 것으로서, 직선형 속도선 효과부는 움직이는 분할부의 꼬리쪽 경계부의 픽셀을 찾은 후, 0에서 |SE| 사이의 임의 숫자를 각 속도선의 길이로 하여 해당 픽셀로 부터 표시한다.
이때, 각 속도선은 SE와 평행하게 된다.
곡선형 속도선 효과(curved speed-lines)부는 기본적으로 직선형 속도선 효과부와 동일하게 임의의 연결선을 통한 효과를 발생시키지만, p s 에서 p t 로 연결되는 곡선효과는 상기 수학식 4를 이용하게 된다.
이하 후면 움직임 효과(background motion effect)부에 대해서 설명한다.
후면 움직임 효과부는 직선형 패닝부와 방사형 패닝부로 구성되는데, 움직임 벡터
Figure 112009079434998-pat00007
가 시작점 S와 함께 지정됨으로써 그 동작이 시작된다.
만일 S가 전면 분할 영역(foreground segmented region)에 지정되면 방사형 패닝부가 동작하여 후면영상을 방사형으로 흐리게 하는 효과를 나타내어 전면 객체가 다가오거나 멀어지는 움직임에 의한 속도 효과를 강조한다.
만일 S가 후면 분할 영역(background segmented region)에 지정되면 직선형 패닝부가 동작하여 후면영상을 평행방향으로 흐리게 하여 전면 객체가 움직이는 효과를 나타낸다.
직선형 패닝부의 흐림 효과는 모든 후면 영상픽셀에
Figure 112009079434998-pat00008
와 동일한 벡터를 할당한다.
방사형 패닝부에 의한 흐림 효과시는 모든 후면 영상픽셀에 크기
Figure 112009079434998-pat00009
이고 방향이 원의 중심에서 퍼져 나가는 벡터를 할당하는데, 이때 그 중심은 시작점인 S이다.
따라서, 방사형 패닝부의 효과시 각 후면영상 픽셀에 대한 움직임 벡터는 다음 수학식 5와 같다.
Figure 112009079434998-pat00010
수학식 5에서
Figure 112009079434998-pat00011
는 픽셀 P에 대한 움직임 벡터이고, P는 후면영상 픽셀, S는 시작점,
Figure 112009079434998-pat00012
는 초기에 사용자에 의해 지정된 움직임 벡터이다.
이후, 해당 지점의 색상은 벡터가 통과한 지점의 색상을 평균한 값으로 지정하게 된다.
위에서 기재한 시스템은 사용자가 시스템을 구동하고 한 장의 영상에 대해서 하나의 시작점을 지정하고 움직임으로써 상기에 설명된 전면 객체 또는 후면 배경의 효과를 생성하는 대화형 시스템으로 실시할 수 있다.
본 발명의 시스템에 의한 효과와 아도비사의 Photoshop에 의한 효과를 비교하였는바, 도 9는 실험에 사용된 사진, 도 10은 같은 효과를 위해 사용된 시간을 Photoshop과 본 발명에 의한 시스템에 대해 각각 도시한다.
도 10과 같이 동일한 효과를 실시하기 위한 시간이 본 발명에 의한 시스템이 기존의 Photoshop보다 훨씬 적게 소요되는 것을 알 수 있다.
이상과 같이 본 발명에 의한 동작 영상 생성 시스템을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
도 1은 본 발명에 의한 동작 영상 생성 시스템의 구성 요소를 도시한다.
도 2는 본 발명에 의한 시스템의 구성요소에 따라 (a) 입력된 영상, (b) 영상의 분할 및 (c) 동작 묘사를 각각 도시한다.
도 3은 본 발명에 의한 움직임 분할시 GrabCut으로 분할하는 것을 도시한다.
도 4는 본 발명에 의한 움직임 분할시 active snake로 분할하는 것을 도시한다.
도 5는 본 발명에 의한 움직임 분할시 각각 다른 영역으로 분할 가능한 것을 도시한다.
도 6은 본 발명에 의한 움직임 앵커부에 의해 생성되는 앵커인 회전의 중심점인 C, 움직임 시작점 S, 움직임 끝점 E 및 계산된 질량 중심 G를 도시한다.
도 7은 본 발명에 의한 효과를 도시하는데 (a) 원래 이미지, (b) 정지 저속촬영 효과부, (c) 직선형 속도선효과부 및 (d) 후면에 대한 직선형 패닝부를 통해 생성된 동작 영상을 각각 도시한다.
도 8은 본 발명에 의한 효과를 도시하는데 (a) 원래 이미지, (b) 비율형 저속촬영 효과부, (c) 곡선형 속도선효과부 및 (d) 후면에 대한 방사형 패닝부를 통해 생성된 동작 영상을 각각 도시한다.
도 9은 본 발명의 효과를 실험하기 위한 테스트 영상들과 각각의 영상에 덧 붙일 효과를 도시한다.
도 10은 도 9의 영상들에 대해 기존의 방법인 photoshop과 본 발명을 이용해 동일한 효과를 내는 경우 걸리는 시간을 각각 도시한다.

Claims (5)

  1. 입력된 영상에 대해 GrabCut 또는 active snake 방식을 선택적으로 실시하여 영상을 분할하는 분할(segmentation)부; 및
    상기 분할된 영상을 전면 움직임 영상 및 후면 움직임 영상으로 분할하여 동작된 상태로 나타내도록 하는 동작 묘사(motion depiction)부를 포함하며,
    상기 전면 움직임 영상은 전면 움직임 효과부에서 분할되며, 상기 후면 움직임 영상은 후면 움직임 효과부에서 분할되는 것을 특징으로 하는 한 장의 정지 영상으로부터 동작 영상을 생성하는 시스템.
  2. 제1항에 있어서,
    상기 전면 움직임 효과(Foreground Motion Effect)부는,
    상기 전면 움직임 영상을 회전 중심점 C, 움직임 시작점 S, 끝점 E로 구성된 3개의 점으로 지정하는 움직임 앵커부;
    상기 움직임 앵커부로부터 평행 또는 회전이동 요소를 분리하는 정지 저속촬영 효과부;
    상기 움직임 앵커부로부터 CE의 길이와 CS의 길이 비율에 따라 회전이동 요소를 분리하는 비율형 저속촬영 효과부;
    상기 전면 움직임 영상의 수평적 속도감을 묘사하는 직선형 속도선 효과부; 및
    상기 전면 움직임 영상의 곡선적 속도감을 묘사하는 곡선형 속도선 효과부로 구성되는 것을 특징으로 하는 한 장의 정지 영상으로부터 동작 영상을 생성하는 시스템.
  3. 제2항에 있어서,
    상기 전면 움직임 효과부는,
    상기 전면 움직임 영상의 일정영역에 지정된 시작점 S에 따라 질량 중심 G를 계산한 후, 아래에 기재된 수학식 1을 통하여 회전 중심점 C를 구하는 것을 특징으로 하는 한 장의 정지 영상으로부터 동작 영상을 생성하는 시스템.
    수학식 1
    Figure 112012003458715-pat00023
  4. 제2항에 있어서,
    상기 비율형 저속촬영 효과부는,
    미리 정의된 상기 움직임 앵커로부터 평행 또는 회전이동 요소를 분리하며, 상기 평행이동 요소는 CS와 CE의 길이를 통해서, 상기 회전이동 요소는 CS와 CE 사이의 각도를 통해서 분리하는 것을 특징으로 하는 한 장의 정지 영상으로부터 동작 영상을 생성하는 시스템.
  5. 제1항에 있어서,
    상기 후면 움직임 효과(Foreground Motion Effect)부는,
    상기 전면 움직임 영상 또는 상기 후면 움직임 영상에 지정되는 시작점 S의 생성에 따라 후면 움직임 영상을 방사형 또는 평행방향으로 상기 전면 움직임 영상의 움직임 상태를 표현하는 것을 특징으로 하는 한 장의 정지 영상으로부터 동작 영상을 생성하는 시스템.
KR1020090129073A 2009-12-22 2009-12-22 한 장의 영상으로부터 동작 영상을 생성하는 시스템 KR101150484B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090129073A KR101150484B1 (ko) 2009-12-22 2009-12-22 한 장의 영상으로부터 동작 영상을 생성하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090129073A KR101150484B1 (ko) 2009-12-22 2009-12-22 한 장의 영상으로부터 동작 영상을 생성하는 시스템

Publications (2)

Publication Number Publication Date
KR20110072226A KR20110072226A (ko) 2011-06-29
KR101150484B1 true KR101150484B1 (ko) 2012-05-31

Family

ID=44403185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129073A KR101150484B1 (ko) 2009-12-22 2009-12-22 한 장의 영상으로부터 동작 영상을 생성하는 시스템

Country Status (1)

Country Link
KR (1) KR101150484B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070072079A (ko) * 2005-12-30 2007-07-04 엘지전자 주식회사 영상표시기기의 영상 제어장치 및 방법
JP2009245406A (ja) 2008-04-01 2009-10-22 Fujifilm Corp 画像処理装置およびそのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070072079A (ko) * 2005-12-30 2007-07-04 엘지전자 주식회사 영상표시기기의 영상 제어장치 및 방법
JP2009245406A (ja) 2008-04-01 2009-10-22 Fujifilm Corp 画像処理装置およびそのプログラム

Also Published As

Publication number Publication date
KR20110072226A (ko) 2011-06-29

Similar Documents

Publication Publication Date Title
US11017586B2 (en) 3D motion effect from a 2D image
JP4491965B2 (ja) 信号処理装置および方法、並びに記録媒体
JP4507045B2 (ja) 信号処理装置および方法、並びに記録媒体
EP2087466B1 (en) Generation of depth map for an image
JP4507044B2 (ja) 画像処理装置および方法、並びに記録媒体
EP1164545B1 (en) Signal processing device and method, and recording medium
EP3349176B1 (en) Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality
CA2745380C (en) Devices and methods for processing images using scale space
KR100918544B1 (ko) 화상 처리 장치 및 방법, 및 촬상 장치
KR102083767B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체
JP4479098B2 (ja) 信号処理装置および方法、並びに記録媒体
WO2018136106A1 (en) Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality
US20040105493A1 (en) Image processing apparatus and method, and image pickup apparatus
US20040066460A1 (en) Image processing apparatus and method, and image pickup apparatus
Gang et al. Silhouette extraction from multiple images of an unknown background
US20040028287A1 (en) Image processing device
CN114631120A (zh) 用于设置虚拟图像中的像素的透明度值和颜色值的图像处理方法
Böhm Multi-image fusion for occlusion-free façade texturing
US7477761B2 (en) Image processing apparatus and method, and image-capturing apparatus
JP4596201B2 (ja) 画像処理装置および方法、並びに記録媒体
KR101150484B1 (ko) 한 장의 영상으로부터 동작 영상을 생성하는 시스템
JP7439146B2 (ja) 画像処理システム、画像処理方法及びプログラム
Kakuta et al. Detection of moving objects and cast shadows using a spherical vision camera for outdoor mixed reality
JP2020035218A (ja) 画像処理装置、方法及びプログラム
JP7322235B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee