KR101349699B1 - 영상 추출 및 합성 장치, 이의 방법 - Google Patents

Abstract

본 발명은 사용자가 서로 다른 두 영상에서 배경과 객체 각각을 추출하고 추출한 객체와 배경을 자연스럽게 합성하여 마치 해당 배경에서 객체를 찍은 듯한 효과를 제공하는 영상 추출 및 합성 장치, 이의 방법에 관한 것이다. 서로 다른 두 영상은 영상 기록부에 기 저장된 영상 또는 영상 촬영부를 통해 즉시 촬영한 영상이며, 객체 추출은 깊이 정보에 근거한 영상 분할(image segmentation) 알고리즘을 통해 구현할 수 있다. 또한, 객체 추출을 위해 영상을 분할하는 과정 전, 후에 해당 영상을 축소 또는 확대하여 연산 속도를 개선하고 추출한 객체의 경계선에 대해서도 실시간 오차 보정을 수행하여 경계선 추출의 정확도를 높일 수 있다.

Description

영상 추출 및 합성 장치, 이의 방법{APPARATUS AND METHOD FOR EXTRACTING AND SYNTHESIZING IMAGE}

본 발명은 영상 추출 및 합성 기능을 제공하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 사용자가 서로 다른 두 영상에서 배경과 객체 각각을 추출하고 이를 자연스럽게 합성하여 마치 해당 배경에서 객체를 찍은 듯한 효과를 제공하고 영상 추출시 연산 속도 및 정확도를 향상시킬 수 있는 영상 추출 및 합성 장치, 이의 방법에 관한 것이다.

많은 사람들은 캠코더, 디지털 카메라, 모바일 기기(스마트 폰 포함) 등을 가지고 사진을 찍거나 동영상을 촬영하여 사진이나 동영상(이하, 영상이라 통칭함)을 기록한다. 그리고, 기록한 각 영상을 다른 영상과 합성하거나 또는 영상에서 원하는 일부 영상만을 추출하여 활용하고자 한다.

이렇게 영상을 편집하려면 종래에는 각 촬영 기기에서 촬영한 영상을 외부의 컴퓨터로 전송하여 컴퓨터 내 편집 프로그램을 통해 편집을 수행하였고, 최근 들어서는 촬영 기기 자체에서도 영상 편집이 가능하게 제공하고 있다.

촬영 기기에서는 영상 편집을 위하여 사용자의 손가락 또는 조작 도구를 이용하는 데, 특히 손가락 터치 시 영상 내 원하는 객체의 경계선을 정확하게 지정하는 등의 세밀한 조작이 불가한 문제점이 있다.

또한, 촬영 기기의 화면 사이즈 제약으로 인해 작업의 정확도가 떨어지는 문제점이 있다.

따라서, 촬영 기기에서 추출하고자 하는 영상에 대하여 사용자가 선택할 때 사용자의 대략적인 입력에도 불구하고 자동으로 영상의 경계선을 찾아 원하는 영상을 추출하는 알고리즘이 필요하다.

본 발명은 상기의 필요성을 충족하기 위해 창안된 것으로서, 영상 추출시 사용자가 추출 대상을 정확하게 선택하는 것이 아닌 추출 대상의 경계선을 지정하여 입력하더라도 영상의 깊이 정보로부터 사용자가 지정한 경계선에 해당하는 영상의 경계선을 추출하고 추출한 경계선이 실제 영상물 내 객체 경계선과 일치하지 않을 경우 이를 보정하여 정확한 경계선 추출이 가능한 영상 추출 장치 및 방법을 제공하는 데 그 목적이 있다.

본 발명의 다른 목적은, 모바일 기기에서 원하는 객체를 포함하여 촬영할 때 상기의 영상 추출 기능을 적용하여 원하는 객체만을 찍을 수 있도록 하는 영상 추출 장치 및 방법을 제공하고자 한다.

본 발명의 또 다른 목적은, 상기의 영상 추출 기능을 적용하여 서로 다른 두 영상에서 사용자가 원하는 객체 및 배경를 추출하고 추출한 배경과 객체를 자연스럽게 합성하여 마치 해당 배경에서 객체를 찍은 듯한 효과를 제공하는 영상 합성 장치 및 방법을 제공하고자 하는 것이다.

본 발명의 또 다른 목적은, 상기의 영상 추출 및 영상 합성 기능을 모바일 기기에 적용하여 영상 처리에 필요한 연산 속도를 개선하고 특히 영상 추출시 화면의 사이즈 제약을 극복하면서 경계선 추출의 정확도 또한 향상시키는 데 있다.

이를 위하여, 본 발명의 제1 측면에 따른 영상 합성 장치는, 제1 영상으로부터 합성할 객체를 선택하는 객체 선택부; 상기 객체 선택부에서 선택된 객체의 영상을 정해진 크기로 리사이즈(re- size)화하고 리사이즈화한 객체의 영상에 대하여 영상 분할(image segmentation) 알고리즘을 통해 깊이 정보를 생성하여 상기 깊이 정보를 근거로 객체의 경계선을 추출하며 추출한 객체의 경계선을 따라 오차를 보정하여 보상된 객체 영상을 추출하는 객체 추출부; 및 배경 영상이 될 제2 영상을 입력받고, 입력받은 배경 영상을 상기 객체 추출부에서 최종 추출한 객체 영상과 합성하는 영상 합성부를 포함하는 것을 특징으로 한다.

본 발명의 제2 측면에 따른 영상 추출 장치는, 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택부; 상기 객체 선택부에서 선택한 객체의 영상을 정해진 크기로 변환하는 리사이징부; 상기 리사이즈화한 객체의 영상에 대하여 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 상기 객체의 경계선을 추출하는 영상 분할부; 상기 영상 분할부를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환부; 및 상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 영상 분할을 재 수행하여 상기 객체의 경계선에 대한 오차를 보정하는 경계선 보정부를 포함하는 것을 특징으로 한다.

본 발명의 제3 측면에 따른 단말장치는, 피사체를 촬영하여 전기적 신호로 변환하는 영상 촬영부; 상기 영상 촬영부를 통해 촬영한 영상 또는 외부로부터 수신한 영상을 기록하는 영상 기록부; 상기 영상 촬영부를 통해 촬영한 영상 또는 상기 영상 기록부에 기 저장된 영상으로부터 합성할 배경 및 객체의 선택을 각각 입력받는 입력부; 상기 입력부로부터 합성할 배경 및 객체의 선택을 입력받으면, 입력받은 객체의 영상을 정해진 크기로 리사이즈화 하여 영상 분할(image segmentation) 알고리즘을 통해 객체의 경계선을 추출하고 추출한 객체의 경계선에 대하여 오차 보정을 수행하며, 보정을 통해 최종적으로 추출되는 객체 영상을 상기 입력받은 배경 영상과 합성하는 제어부를 포함하는 것을 특징으로 한다.

본 발명의 제4 측면에 따른 영상 합성 방법은, 제1 영상으로부터 합성할 객체의 선택을 입력받는 객체 선택 단계; 선택한 객체의 영상을 영상 분할(image segmentation) 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 합성할 객체의 경계선을 추출하는 객체 추출 단계; 추출한 객체의 경계선에 대하여 오차 보정 요구가 있는지를 판단하는 보정 요구 판단 단계; 상기 오차 보정에 대한 요구가 있으면 상기 추출한 객체의 경계선을 따라 다시 영상 분할하여 상기 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계; 제2 영상으로부터 합성할 배경을 선택받는 배경 선택 단계; 및 상기 보정을 통해 최종적으로 추출한 객체와 상기 선택한 배경을 합성하는 합성 단계를 포함하는 것을 특징으로 한다.

본 발명의 제5 측면에 따른 영상 추출 방법은, 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택 단계; 상기 객체 선택 단계에서 선택한 객체의 영상을 정해진 일정 크기로 변환하는 리사이징 단계; 상기 리사이즈화 한 객체의 영상을 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 객체의 경계선을 추출하는 영상 분할 단계; 상기 영상 분할 단계를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환 단계; 및 상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 다시 영상 분할을 수행하여 상기 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 서로 다른 이미지에서 사용자가 원하는 배경 및 객체를 선택하여 마치 해당 배경에서 객체를 찍은 듯한 자연스러운 영상 합성이 가능한 효과가 있다.

또한, 영상 추출시, 주어진 영상을 정해진 크기로 리사이즈화하고 리사이즈한 영상에서 영상 분할 알고리즘을 수행한 후 그 결과를 다시 원본 크기로 확대하여 획득함으로써 영상 처리 속도를 개선하는 효과가 있다.

또, 본 발명은 영상의 축소, 확대 과정에서 발생하는 품질 저하, 특히 경계선에서 울퉁불퉁하게 추출되는 오차의 문제점을 보정 알고리즘을 통해 보상함으로써 모바일 기기 등과 같은 소형 단말에 적용시 연산 속도를 향상시키면서 추출의 정확도를 높일 수 있는 효과가 있다.

또, 본 발명은 사용자가 주어진 영상에서 합성할 객체 또는 배경을 지정할 때 원하는 객체의 경계선을 정확하게 지정하지 않고 대략적인 경계선을 지정하여 선택하더라도 해당 객체를 자동으로 추출할 수 있어 사용자 편의를 제공하는 효과가 있다.

또, 본 발명은 경계선 보정 시 사용자 입력 영역에 대한 돋보기 기능을 제공하고 돋보기로 보이는 영역을 자동 영상 분석하여 경계선을 재 추출함으로써 인터렉티브한 UI를 통해 복잡하고 세밀한 작업 대신 간편한 터치만으로도 수정이 가능하게 제공하는 효과가 있다.

또, 본 발명은 영상 촬영부를 통해 방금 촬영하였거나 이전에 촬영한 영상을 대상으로 원하는 객체를 추출하는 것을 기본으로 제공하지만, 추가로 영상 촬영부로 배경과 객체를 촬영하는 도중에도 적용하여 촬영 화면에서 사용자가 원하는 객체를 선택하면 선택한 객체만 추출하여 사용자가 원하는 객체만 촬영하도록 제공할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 영상 합성 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 추출 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 합성 및 추출을 위한 구성을 적용한 모바일 기기의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 영상 합성 방법을 설명하는 도면이다.
도 5 및 도 6은 본 발명의 실시 예에 따른 도 4의 영상 합성 과정 중에서 영상을 추출하는 방법을 설명하는 도면이다.
도 7은 본 발명의 실시 예에 따른 영상 합성 및 추출을 위해 영상을 획득하는 방법을 보여주는 사용자 인터페이스의 화면이다.
도 8은 본 발명의 실시 예에 따른 영상 합성 과정을 보여주는 사용자 인터페이스의 화면이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

도 1은 본 발명의 실시 예에 따른 영상 합성 장치의 구성을 나타낸 도면이다.

도 1을 참조하면, 영상 합성 장치(100)는 객체 선택부(110), 객체 추출부(120), 영상 합성부(130), 영상 기록부(140), 영상 촬영부(150) 등을 포함한다.

그리고, 본 발명의 영상 추출 장치(200)는 객체 선택부(110), 객체 추출부(120) 등을 포함하여 구현할 수 있다.

영상 합성 장치(100) 및 영상 추출 장치(200)는 디지털 캠코더, 디지털 카메라, 휴대폰, 스마트 폰, 노트북, 태블릿 PC, 컴퓨터 등이 될 수 있으나 이에 한정되는 것은 아니고 영상 촬영이 가능한 카메라가 구비되고 영상을 기록할 수 있는 기록매체가 있는 장치라면 어떠한 장치라도 가능하다.

영상 촬영부(150)는 피사체를 촬영하여 촬영한 사진 또는 동영상(이하, 영상으로 통칭함)을 전기적 신호로 변환한다.

영상 기록부(140)는 다양한 영상을 기록한 저장 매체로, 외부의 장치로부터 수신한 영상, 영상 촬영부(150)에서 촬영한 영상 등을 포함하여 기록할 수 있다. 영상 기록부(140)는 플래시 메모리, 하드 디스크, 광학 디스크 또는 다른 대용량의 저장장치가 될 수 있다.

객체 선택부(110)는 영상 기록부(140) 또는 영상 촬영부(150)로부터 획득한 영상에서 합성할 객체를 선택한다. 선택 방법으로는 사용자가 해당 객체의 근방에 사용자 임의적으로 경계선을 지정하여 입력하면, 객체 선택부(110)가 이 경계선의 입력을 수신하고 수신한 경계선에 포함되는 객체의 영상을 선택한다.

따라서, 사용자 입장에서는 주어진 영상에서 추출할 또는 합성할 객체를 선택할 때 원하는 객체의 경계선을 정확하게 지정하지 않더라도 자동으로 해당 객체를 추출할 수 있다.

객체 추출부(120)는 객체 선택부(110)에서 선택한 객체의 영상을 영상 분할(segmentation) 알고리즘을 통해 분석하여 경계선에 포함되어 있는 객체를 추출한다. 영상 분할(image segmentation)이란 원본 영상에서 사용자가 선택한 영역 근처를 기반으로 자동으로 경계선을 추출해 주는 것을 의미한다.

경계선 추출은 다양한 알고리즘을 이용할 수 있지만 본 발명의 실시 예에서는 영상의 깊이 맵(depth map)을 기반으로 한 그랩 컷(grab cut) 알고리즘을 이용한다. 영상의 깊이 맵은 영상의 깊이 정보를 농담으로 표현한 것으로, 농담의 값을 256계층의 그레이 스케일로 나타낼 수 있다. 그리고, 영상의 깊이 정보는 영상의 입체를 표현하기 위해 인접 영상간 깊이 차이를 나타내는 정보로, 영상의 경계선(edge) 특성, 색상, 밝기 특성, 소실점 특성과 같이 통상적인 영상 특징 등을 활용하여 생성할 수 있다. 따라서, 그랩 컷(grab cut) 알고리즘은 영상의 모든 픽셀에 대하여 그래프(graph)를 만들어서 인접 픽셀간 색상 차이나 명도 차이 등에 인해 영상에 포함되어 있는 각 객체들의 깊이 정보를 파악하고 파악한 깊이 정보를 통해 객체의 경계선을 추출한다.

또한, 객체 추출부(120)는 영상 분할하기 전, 후에 대상 영상의 크기를 축소 및 확대할 수 있다. 예컨대, 그랩 컷(grab cut) 알고리즘을 통해 영상 분할하는 경우 다른 영상 분할 알고리즘에 비해 정확도를 높지나 많은 연산량이 필요하다. 따라서, 영상 분할을 하기 전에 객체의 영상을 정해진 작은 크기로 리사이즈화(축소)하고, 영상 분할을 한 후에는 원본 크기로 확대하는 과정으로 영상 처리 속도를 개선한다.

또한, 객체 추출부(120)는 추출한 객체의 경계선에 오류가 발생한 경우 경계면 보상 알고리즘을 통해 객체의 영상을 재 분할하고 객체의 경계선을 재 추출하여 이전 영상 분할을 통해 추출한 경계선의 오차를 보정할 수 있다. 상기의 기능들을 구현하기 위한 객체 추출부(120)의 구성은 도 2에서 자세히 설명하기로 한다.

영상 합성부(130)는 영상 기록부(140) 또는 영상 촬영부(150)로부터 합성할 배경 영상을 불러 와 로딩하고, 불러 온 배경 영상과 객체 추출부(130)에서 최종적으로 추출되는 객체 영상을 합성한다.

특히, 영상 합성부(130)는 영상 촬영부(150)를 통해 배경 영상을 로딩할 때 촬영하는 화면 상에 기 추출한 객체 영상을 오버레이(overlay)로 표시함으로써 사용자가 합성할 배경을 보다 손쉽게 촬영할 수 있도록 제공할 수 있다.

또한, 영상 합성부(130)는 배경 영상과 객체 영상의 색상이 맞지 않는 경우 배경의 색상에 맞도록 색상 배런스(balance)를 조절할 수 있다.

또, 영상 합성부(130)는 객체와 배경의 경계 부분이 어색하지 않도록 블러(blur) 등의 평활화(smoothing) 알고리즘을 적용하여 경계선을 부드럽게 조절할 수 있다.

도 2는 본 발명의 실시 예에 따른 영상 추출의 구성을 나타낸 도면으로, 도 1에서의 객체 추출부(120)에 대한 상세 구성도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 객체 추출부(120)는 리사이징부(121), 영상 분할부(122), 영상 크기 변환부(123), 경계선 보정부(124) 등을 포함한다. 경계선 보정부(124)는 경계면 보상 알고리즘에 의해 수정 박스 생성부(125), 영상 재 분할부(126), 보정부(127) 등을 포함할 수 있다.

리사이징부(121) 및 영상 크기 변환부(123)는 주어진 영상에서 추출할 객체의 영상을 축소 또는 확대하는 기능을 제공한다. 본 발명의 실시 예에서는 이해의 편의상 두 개의 독립적인 구성으로 설명하나, 필요에 따라 하나의 구성으로도 구현할 수 있다.

리사이징부(121)는 영상 분할부(122)에서 영상 분할을 수행하기 전에 객체의 영상을 정해진 크기로 리사이즈(re-size)화한다. 모바일 기기의 경우 리사이징부(121)는 객체의 영상을 축소하여 영상 처리량을 최소화한다.

영상 크기 변환부(123)는 영상 분할부(122)에서 영상 분할을 수행한 후 리사이징부(121)를 통해 변환한 영상의 크기를 원 크기로 변환한다. 모바일 기기의 경우 영상 크기 변환부(123)는 축소된 객체의 영상을 원래의 크기로 확대할 수 있다.

영상 분할부(122)는 리사이징부(121)를 통해 변환된 객체의 영상을 영상 분할 알고리즘을 통해 분석하여 객체 영상에 대한 깊이 정보를 생성하고 생성한 깊이 정보를 근거로 객체의 경계선을 추출한다. 경계선 추출은 다양한 방식을 이용할 수 있지만, 본 발명의 실시 예에서는 영상의 색상, 밝기, 에지 특성 등에 의해 생성한 깊이맵(depth map)을 이용하여 경계선을 추출하는 그랩 컷(grab cut) 알고리즘을 이용할 수 있다.

수정 박스 생성부(125)는 영상 크기 변환부(123)를 통해 출력되는 객체의 경계선에 대하여 사용자로부터 보정 요구를 수신하게 되면 일정 크기를 갖는 수정 박스를 생성하여 화면에 표시하도록 제공한다. 이때, 수정 박스는 사용자의 방향키 또는 터치 조작으로 이동이 가능하고, 보정하고자 하는 영역에 포커싱되면 수정 박스에 포커싱된 영상을 돋보기와 같이 확대하여 별도의 화면으로 표시할 수 있다. 여기서 포커싱이라 함은 보정하고자 하는 영역을 선택한 동작을 의미한다. 따라서 포커싱은 사용자가 직접 선택하는 동작도 포함되지만 수정 박스의 이동 동작도 포함될 수 있다.

영상 재분할부(126)는 수정 박스를 이동시켜 보정하고자 하는 영역이 포커싱되면 포커싱된 영역의 영상을 다시 영상 분할(image segmentation)하여 해당 영상의 깊이 정보를 생성하고, 생성한 깊이 정보를 토대로 객체의 경계선을 재 추출한다. 이때, 영상 재분할부(126)는 깊이 정보를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 수정 박스 안에 포함되는 영상의 깊이 정보를 추출할 수 있다.

보정부(127)는 영상 재분할부(126)를 통해 재 추출한 객체의 경계선이 이전 경계선과 불일치한 경우 상기 재 추출한 객체의 경계선으로 보정하여 오차를 보상한다. 그리고, 보상된 객체의 경계선을 최종적으로 출력한다.

이처럼, 본 발명의 실시 예에서는 경계선 보정부(124)를 통해, 일차적으로 추출한 객체에 대하여 사용자가 간편한 터치 입력만으로 경계선의 오차를 보정할 수 있는 인터렉티브한 사용자 인터페이스(UI)를 제공한다.

일 예로, 도 3은 본 발명의 실시 예에 따른 영상 합성 및 추출을 모바일 기기에 적용한 구성을 나타낸 도면이다.

모바일 기기(10)는 기본적으로 영상 촬영부(11), 저장부(12), 영상 기록부(13), 표시부(14), 입력부(15), 제어부(16)를 포함한다.

영상 촬영부(11) 및 영상 기록부(13)는 앞서 도 1에서 설명한 영상 촬영부(11) 및 영상 기록부(13)와 동일한 기능을 수행한다. 즉, 영상 촬영부(11)는 카메라 등을 통해 영상을 촬영하고 영상 기록부(13)는 저장부(12)에 임시 저장된 영상 또는 외부의 장치로부터 수신한 영상을 기록한다.

저장부(12)는 영상 촬영부(11)를 통해 촬영된 영상을 임시 저장(buffering)한다. 즉, 영상 촬영부(11)에서 출력되는 전기적인 신호가 제어부(16)에서 영상 처리되어 하나의 이미지로서 저장부(12)에 연속적으로 저장된다. 저장부(12)는 램(RAM)과 같은 휘발성 메모리에 할당될 수 있다.

표시부(14)는 영상 촬영부(11)에서 촬영한 영상 또는 영상 기록부(13)에 기저장된 영상을 사용자의 요구에 따라 표시하고, 표시된 영상으로부터 합성할 객체의 추출 및 합성에 필요한 작업 화면을 표시한다. 표시부(14)는 LCD, LED 등의 디스플레이 장치로 구성될 수 있다.

입력부(15)는 영상 촬영부(11)의 촬영 개시, 영상 촬영부(11) 또는 영상 기록부(13) 중 어느 하나의 모드 선택, 모드 선택을 통한 영상 입력, 객체 선택, 오차 보정 등을 위한 이벤트 신호를 발생시킨다. 입력부(15)는 다수의 버튼이나 키패드로 구성될 수 있고, 표시부(14)에 터치패드가 부착되어 표시부(14)가 터치스크린으로 이루어지면 입력부(15)는 표시부(14)와 일체로 구성될 수 있다. 특히, 모바일 기기가 풀 터치 폰, 스마트 폰, 태블릿 PC 등 전면 터치스크린으로 이루어진 경우, 입력부(15)는 사용자의 터치를 통해 입력 동작을 수행한다.

제어부(16)는 모바일 기기의 각 구성요소를 전체적으로 제어한다.

그리고, 제어부(16)는 적어도 하나 이상의 영상으로부터 합성할 객체를 추출하고 추출한 객체를 다른 영상과 합성하는 등 본 발명의 영상 추출 기능 및 영상 합성의 기능을 제어한다.

이를 테면, 제어부(16)가 영상 촬영부(11) 또는 영상 기록부(13)로부터 주어진 영상에서 입력부(15)로부터 합성할 객체의 선택을 입력받으면 입력받은 객체의 영상을 리사이즈화하여 영상 분할을 통해 해당 객체의 경계선을 추출하고, 추출한 객체의 경계선에 대하여 오차 보정을 수행함으로써 이미 주어진 영상에 대한 영상의 추출 기능을 제공한다.

그리고 제어부(16)가 입력부(15)의 조작에 따라 영상 촬영부(11) 또는 영상 기록부(13)로부터 배경 영상을 로딩하고 이 배경 영상에 보정을 통해 최종 추출한 객체 영상을 오버레이하여 배경 영상과 합성하는 기능을 제공할 수 있다.

또한, 제어부(16)가 영상 촬영부(11)를 통해 촬영하는 중에 입력부(15)로부터 촬영 화면에서 추출할 객체의 선택을 입력받으면 입력받은 객체의 영상을 상기의 추출 방법에 의해 추출하여 추출한 객체만 촬영하도록 제공할 수 있다.

이러한 동작은 모바일 기기에서 하드웨어 구성을 기반으로 수행되는 것으로 설명하고 있으나, 소프트웨어적인 프로그램으로 구현하여 실행될 수 있고, 또는 어플리케이션으로 구현되어 제공될 수 있다. 이상에서 설명하지 않은 영상 추출 및 합성에 관한 상세 기능은 도 1 및 도 2에서 설명한 영상 추출 및 합성 장치의 구성과 중복되므로 생략한다.

도 4는 본 발명의 실시 예에 따른 영상 합성 방법을 설명하는 도면이다. 참고로, 영상 합성 방법의 각 과정별로 도 7 및 8의 사용자 인터페이스 화면을 예로 들어 설명한다.

먼저 영상 추출 및 합성을 위해 사용자가 편집할 영상을 선택하는데, 이의 영상 선택 방법으로는 도 7에 도시한 바와 같이 두 가지 방법(701, 702)이 있다. 즉, 모바일 기기에서의 갤러리와 같이 영상 기록부에 기 저장된 영상 중 하나를 선택하는 방법(도 7의 (b)참조), 영상 촬영 모드를 선택하여 현장에서 바로 촬영을 통해 원하는 영상을 획득하는 방법(도 7의 (c)참조)이다.

두 가지 방법을 통해 선택된 제1 영상(800)에서, 영상 추출 및 합성 장치는 사용자로부터 원하는 객체의 선택을 입력받아 합성할 또는 추출할 객체를 선택한다(S100). 도 8에 표기한 바와 같이 제1 영상(800)에서 사용자가 손가락이나 조작 도구를 이용하여 원하는 객체가 포함되게 경계선(810)을 입력하면, 영상 추출 및 합성 장치가 객체 선택부를 통해 사용자가 입력한 경계선(810)을 수신하고 수신한 경계선(810)에 포함되는 객체(810')의 영상을 선택한다.

이러한 과정은 사용자가 합성할 또는 추출할 객체의 경계선을 정확하게 지정하지 않더라도 객체의 근방만 지정하면 자동으로 해당 객체를 선택하기 때문에 사용자의 조작 편의를 제공한다.

이후, 영상 추출 및 합성 장치가 사용자에 의해 선택된 객체의 영상에 대하여 영상 분할(image segmentation) 알고리즘을 통해 분석하여 영상의 깊이 정보를 생성하고 생성한 깊이 정보를 근거로 합성할 또는 추출할 객체의 경계선을 추출한다(S110).

이의 구체적인 과정으로 도 5을 참조하면, 영상 추출 및 합성 장치의 객체 추출부에서, 영상 분할을 하기 전에 선택한 객체의 영상을 리사이즈화하고(S111), 리사이즈화한 영상을 영상 분할 알고리즘을 통해 분석하여 객체의 경계선을 추출한다(S112). 그리고 추출한 객체의 영상을 원래의 크기로 변환한다(S113).

이후, 도 4에 도시한 것처럼 영상 추출 및 합성 장치가 추출한 객체에 대하여 오차 보정 요구가 있는지를 판단한다(S120).

판단 결과 오차 보정 요구가 있으면, 영상 추출 및 합성 장치가 추출한 객체에 대하여 회귀 보간법(bilateral filter)에 의한 영상 분할(image segmentation)을 수행하여 객체의 경계선에 대한 오차를 보정한다(S130). 구체적으로 오차를 보정하는 과정은 도 6에서 자세히 설명한다.

이후, 상기의 S130 단계를 거쳐 오차 보정을 완료하였거나, 또는 상기의 S120 단계에서 판단 결과 오차 보정의 요구가 없으면, 영상 합성 장치가 영상 기록부에 기 저장된 영상 또는 영상 촬영부를 통해 배경 영상이 될 제2 영상을 불러온다(S140). 제2 영상의 선택 방법 또한 도 7 및 도 8에 도시한 바와 같이 두 가지 방법을 이용할 수 있다.

배경 영상은 제2 영상 자체를 그대로 적용할 수 있고, 제2 영상에서 일부 영상만을 추출하여 적용할 수 있다.

이때, 영상 합성 장치가 영상 촬영부를 통해 배경 영상을 선택하는 경우 촬영하는 화면 상에 오차 보정을 통해 최종적으로 추출한 객체 영상(840)을 오버레이되게 표시함으로써 사용자에게 합성할 배경과의 합성 위치 및 각도 등을 고려하여 보다 손쉽게 촬영할 수 있도록 사용자 인터페이스 화면을 제공한다.

이후, 영상 합성 장치가 배경 영상(850)과 함께 오차 보정을 통해 최종적으로 추출한 객체 영상(840)을 합성한다.

도 6은 도 4의 오차 보정 수행 단계(S130)에서 객체의 경계선에 대한 오차를 구체적으로 보정하는 방법을 설명하고 있다. 도 6의 보정 방법은 영상 추출 과정 및 영상 합성 과정에서 동일하게 적용할 수 있다.

도 8의 UI화면을 참조하여 설명하면, 영상 추출 및 합성 장치가 사용자로부터 오차 보정 요구가 있으면 수정 박스 생성부에서 일정 크기의 수정 박스(820)를 생성하여 화면 상에 표시한다(S131).

수정 박스(820)는 사용자의 방향키 또는 터치 조작으로 이동이 가능하고, 보정하고자 하는 영역에 포커싱되면 돋보기 기능과 같은 확대 화면(830)을 화면 상에 별도로 표시할 수 있다.

이후, 화면 상에서 수정 박스를 이동시키면서 보정하고자 영역에 포커싱하면, 영상 추출 및 합성 장치의 영상 재분할부가 포커싱한 수정 박스 내 포함되는 영상에 대하여 다시 영상 분할을 수행한다(S133). 이때, 영상 분할은 객체 경계선의 불일치를 보정하기 위한 분석으로, 조인트 양방향 필터(joint bilateral filter)를 이용한 후처리 필터링을 통해 수정 박스 안에 포함되는 영상의 깊이 정보를 재 생성하고, 재 생성한 깊이 정보를 근거로 객체의 경계선을 재 추출한다. 조인트 양방향 필터(joint bilateral filter)는 한 장의 색상 영상에 적용되는 저역 필터로서, 인접 화소와의 거리차, 색상차 각각에 대한 가우시안(Gaussian) 함수에 추가로 인접 화소와의 변위차를 파라메타로 사용한다.

이후, 경계선 보정 전 단계(도 4의 S110)에서 추출한 이전 경계선을 상기 과정을 거쳐 재 추출한 객체의 경계선으로 보정함으로써 경계선의 오차를 보상한다(S134).

한편, 본 발명은 상술한 영상 추출 및 합성 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록 매체에 기록해 둘 수 있다.

예컨대, 기록 매체는 각 재생 장치의 내장형으로 하드 디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.

이 경우, 컴퓨터로 읽을 수 있는 기록 매체에 기록한 프로그램은, 제1 영상으로부터 합성할 객체를 선택하는 단계와, 선택한 객체의 영상을 영상 분할하여 합성할 객체의 경계선을 추출하는 단계와, 추출한 객체의 경계선에 대하여 오차 보정의 요구가 있는지를 판단하는 단계와, 오차 보정에 대한 요구가 있으면 추출한 객체의 경계선을 따라 다시 영상 분할하여 해당 객체의 경계선을 재 추출함으로써 오차를 보정하는 단계와, 제2 영상으로부터 합성할 배경을 선택하는 단계와, 선택한 배경과 오차 보정을 통해 출력되는 객체를 합성하는 단계를 포함하는 영상 합성 방법을 실행할 수 있다.

또한, 컴퓨터로 읽을 수 있는 기록 매체에 기록한 프로그램은, 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 단계와, 선택한 객체의 영상을 정해진 크기로 사이즈 변환하는 단계와, 사이즈 변환된 객체의 영상에 대하여 영상 분할 알고리즘을 통해 깊이 정보를 생성하고 생성한 깊이 정보를 근거로 객체의 경계선을 추출하는 단계와, 추출한 객체의 영상을 원 크기로 변환하는 단계와, 추출한 객체의 경계선에 오류가 있으면 수정 박스를 이용하여 다시 객체의 경계선을 추출하고 이를 근거하여 오차를 보정하는 단계를 포함하는 영상 추출 방법을 실행할 수 있다. 이러한 프로그램을 통해 본 발명은 영상 촬영부를 통해 방금 촬영하였거나 이전에 촬영한 영상을 대상으로 편집하는 것을 기본으로 제공하지만, 추가로 영상 촬영부로 배경과 객체를 촬영하는 도중에도 적용하여 촬영 화면에서 사용자가 원하는 객체를 선택하면 선택한 객체만 추출하여 사용자가 원하는 객체만 촬영하도록 제공할 수 있을 것이다.

상기 영상 추출 및 합성을 위한 프로그램은 어플리케이션 형태로 제공될 수 있다. 어플리케이션 서버는 데이터베이스에 영상 추출 및 합성을 위한 어플리케이션을 저장 관리하고, 클라이언트 단말기의 요청이 있을 때 어플리케이션을 클라이언트 단말기에 전송한다. 클라이언트 단말기는 어플리케이션을 다운로드 받아 설치하고 어플리케이션을 실행한다. 어플리케이션이 실행되면 클라이언트 단말기는 영상 추출 및 합성 장치로서 동작하여 하나의 영상에서 객체와 배경을 구분하여 추출하고 추출한 객체를 다른 배경과 합성하여 새로운 영상을 제작할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 지점하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.

본 발명의 명세서에서 설명하는 기능적 동작과 구현물은 디지털 전자회로로 구현되거나 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 발명의 명세서에서 설명하는 구현물은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치의 동작을 제어하기 위하여 또는 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.

본 발명의 도면은 동작과정을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 특정한 순서로 그러한 동작들을 수행해야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해해서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

또한 본 발명의 명세서에서 특정한 실시형태를 설명하였다. 실시형태들은 이하의 특허청구범위에 속한다. 예컨대, 청구항에 기재된 동작들은 상이한 순서로 수행되면서 여전히 바람직한 결과를 성취할 수 있다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

100: 영상 합성 장치 110: 객체 선택부
120: 객체 추출부 130: 영상 합성부
140: 영상 기록부 150: 영상 촬영부
200: 영상 추출 장치 121: 리사이징부
122: 영상 분할부 123: 영상 크기 변환부
124: 경계선 보정부 125: 수정 박스 생성부
126: 영상 재 분할부 127: 보정부
10: 모바일 기기 11: 영상 촬영부
12: 저장부 13: 영상 기록부
14: 표시부 15: 입력부
16: 제어부

Claims (24)

1. 제1 영상으로부터 합성할 객체를 선택하는 객체 선택부;
   상기 객체 선택부에서 선택된 객체의 영상을 정해진 크기로 리사이즈(re-size)화하고 리사이즈화한 객체의 영상에 대하여 영상 분할(image segmentation) 알고리즘을 통해 깊이 정보를 생성하여 상기 깊이 정보를 근거로 객체의 경계선을 추출하며 추출한 객체의 경계선을 따라 오차를 보정하여 보상된 객체 영상을 추출하는 객체 추출부; 및
   배경 영상이 될 제2 영상을 입력받고, 입력받은 배경 영상을 상기 객체 추출부에서 최종 추출한 객체 영상과 합성하는 영상 합성부
   를 포함하는 것을 특징으로 하는 영상 합성 장치.
2. 제 1 항에 있어서,
   피사체를 촬영하여 전기적 신호로 변환하는 영상 촬영부;
   상기 영상 촬영부를 통해 촬영한 영상 또는 외부의 장치로부터 수신한 영상을 기록하는 영상 기록부를 더 포함하고,
   상기 제1 영상 및 제2 영상은 상기 영상 기록부에 기 저장된 영상으로부터 불러오거나 또는 상기 영상 촬영부를 통해 즉시 촬영한 영상인 것을 특징으로 하는 영상 합성 장치.
3. 제 1 항에 있어서,
   상기 객체 선택부는
   상기 제1 영상에서 사용자가 터치한 경계선의 입력을 수신하고, 수신한 경계선에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 합성 장치.
4. 제 1 항에 있어서,
   상기 객체 추출부는
   상기 추출한 경계선을 따라 보정하고자 하는 영역이 포커싱되면 포커싱된 영역에 대하여 실시간으로 영상 분할을 다시 수행하여 객체의 경계선을 재 추출하고, 재 추출한 경계선으로 보정하여 상기 추출한 경계선의 오차를 보상하는 것을 특징으로 하는 영상 합성 장치.
5. 제 1 항에 있어서,
   상기 영상 합성부는
   상기 배경 영상이 될 제2 영상을 상기 영상 촬영부를 통해 획득할 때 촬영하는 화면 상에 상기 객체 추출부에서 최종 추출한 객체 영상을 오버레이(overlay)로 표시하는 것을 특징으로 하는 영상 합성 장치.
6. 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택부;
   상기 객체 선택부에서 선택한 객체의 영상을 정해진 크기로 변환하는 리사이징부;
   상기 리사이즈화한 객체의 영상에 대하여 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 상기 객체의 경계선을 추출하는 영상 분할부;
   상기 영상 분할부를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환부; 및
   상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 영상 분할을 재 수행하여 상기 객체의 경계선에 대한 오차를 보정하는 경계선 보정부
   를 포함하는 것을 특징으로 하는 영상 추출 장치.
7. 제 6 항에 있어서,
   상기 경계선 보정부는
   상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 사용자로부터 오차 보정의 요구가 수신되면 일정 크기를 갖는 수정 박스를 생성하여 표시부로 표출하는 수정 박스 생성부와,
   상기 수정 박스의 이동에 의해 보정하고자 하는 영역이 포커싱되면 상기 수정 박스 내에 보여지는 영상에 대하여 결합형 양방향 필터(joint bilateral filter)를 통해 영상 분할하여 깊이 정보를 재 생성하고 상기 깊이 정보를 근거로 객체의 경계선을 재 추출하는 영상 재분할부와,
   상기 영상 재분할부를 통해 재 추출한 객체의 경계선이 이전 경계선과 다른 경우 상기 재 추출한 객체의 경계선으로 보정하여 오차를 보상하는 보정부
   를 포함하는 것을 특징으로 하는 영상 추출 장치.
8. 제 6 항에 있어서,
   상기 적어도 하나 이상의 영상은 기 저장된 영상으로부터 불러오거나 또는 영상 촬영부를 통해 즉시 획득한 영상인 것을 특징으로 하는 영상 추출 장치.
9. 제 6 항에 있어서,
   상기 객체 선택부는
   상기 적어도 하나 이상의 영상에서 사용자가 터치한 경계선의 입력을 수신하고, 수신한 경계선에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 추출 장치.
10. 피사체를 촬영하여 전기적 신호로 변환하는 영상 촬영부;
    상기 영상 촬영부를 통해 촬영한 영상 또는 외부로부터 수신한 영상을 기록하는 영상 기록부;
    상기 영상 촬영부를 통해 촬영한 영상 또는 상기 영상 기록부에 기 저장된 영상으로부터 합성할 배경 및 객체를 경계선로 지정하여 입력하는 입력부;
    상기 입력부로부터 합성할 배경 및 객체의 선택을 입력받으면, 입력받은 객체의 영상을 정해진 크기로 리사이즈화 하여 영상 분할(image segmentation) 알고리즘을 통해 객체의 경계선을 추출하고 추출한 객체의 경계선에 대하여 오차 보정을 수행하며, 보정을 통해 최종적으로 추출되는 객체 영상을 상기 입력받은 배경 영상과 합성하는 제어부
    를 포함하는 것을 특징으로 하는 단말장치.
11. 제 10 항에 있어서,
    상기 제어부는
    상기 추출한 객체의 경계선에 대하여 오차 보정에 대한 요구를 수신하게 되면 표시부에 일정 크기를 갖는 수정 박스를 생성하고, 상기 수정 박스의 이동에 의해 보정하고자 하는 영역이 포커싱되면 포커싱된 수정 박스 내 영상을 다시 영상 분할하여 객체의 경계선을 재 추출하고 재 추출한 객체의 경계선을 상기 표시부로 출력하는 것을 특징으로 하는 단말장치.
12. 제1 영상으로부터 합성할 객체의 선택을 입력받는 객체 선택 단계;
    선택한 객체의 영상을 영상 분할(image segmentation) 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 합성할 객체의 경계선을 추출하는 객체 추출 단계;
    추출한 객체의 경계선에 대하여 오차 보정의 요구가 있는지를 판단하는 보정 요구 판단 단계;
    상기 오차 보정에 대한 요구가 있으면 상기 추출한 객체의 경계선을 따라 다시 영상 분할하여 상기 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계;
    제2 영상으로부터 합성할 배경을 선택받는 배경 선택 단계; 및
    상기 보정을 통해 최종적으로 추출한 객체와 상기 선택한 배경을 합성하는 합성 단계
    를 포함하는 것을 특징으로 하는 영상 합성 방법.
13. 제 12 항에 있어서,
    상기 제1 영상과 제2 영상은 서로 다른 영상이고,
    영상 기록부에 기 저장된 영상으로부터 불러오거나 또는 상기 영상 촬영부를 통해 즉시 획득한 영상인 것을 특징으로 하는 영상 합성 방법.
14. 제 12 항에 있어서,
    상기 객체 선택 단계는
    상기 제1 영상 및 제2 영상에서 사용자가 입력한 경계선 영역을 수신하고, 수신한 경계선에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 합성 방법.
15. 제 12 항에 있어서,
    상기 객체 추출 단계는
    상기 선택한 객체의 영상을 영상 분할하기 전, 후에 상기 객체의 영상 크기를 확대 또는 축소하는 것을 특징으로 하는 영상 합성 방법.
16. 제 12 항에 있어서,
    상기 경계선 보정 단계는
    상기 추출한 경계선을 따라 이동 가능한 수정 박스를 생성하고, 상기 수정 박스를 통해 보정하고자 하는 영역이 포커싱되면 포커싱된 영역을 결합형 양방향 필터(joint bilateral filter)를 통해 실시간 분석하여 객체에 대한 경계선 오차를 보정하는 것을 특징으로 하는 영상 합성 방법.
17. 제 16 항에 있어서,
    상기 경계선 보정 단계는
    돋보기 기능으로 상기 포커싱한 영역을 돋보기 형태로 확대한 화면을 제공하는 것을 특징으로 하는 영상 합성 방법.
18. 제 12 항에 있어서,
    상기 합성 단계는
    상기 배경 영상이 될 제2 영상을 상기 영상 촬영부를 통해 획득할 때 촬영하는 화면 상에 상기 객체 추출부에서 최종 추출한 객체 영상을 오버레이(overlay)로 표시하는 것을 특징으로 하는 영상 합성 방법.
19. 제 12 항 내지 제18항 중 어느 하나의 영상 합성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
20. 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택 단계;
    상기 객체 선택 단계에서 선택한 객체의 영상을 정해진 일정 크기로 변환하는 리사이징 단계;
    상기 리사이즈화 한 객체의 영상을 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 객체의 경계선을 추출하는 영상 분할 단계;
    상기 영상 분할 단계를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환 단계; 및
    상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 다시 영상 분할을 수행하여 상기 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계
    를 포함하는 것을 특징으로 하는 영상 추출 방법.
21. 제 20 항에 있어서,
    상기 경계선 보정 단계는
    상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 오차 보정에 대한 요구를 수신하게 되면 일정 크기를 갖는 수정 박스를 생성하여 표시부로 표시하는 수정 박스 생성 단계와,
    상기 수정 박스를 이동하여 보정하고자 하는 영역에 포커싱하면 포커싱된 영역을 결합형 양방향 필터(joint bilateral filter)를 통해 다시 분할(segmentation)하여 객체의 경계선을 재 추출하는 영상 재분할 단계와,
    재 추출한 객체의 경계선이 이전 경계선과 다른 경우 상기 재 추출한 객체의 경계선으로 보정하여 오차를 보상하는 보정 단계
    를 포함하는 것을 특징으로 하는 영상 추출 방법.
22. 제 20 항에 있어서,
    상기 적어도 하나 이상의 영상은 기 저장된 영상으로부터 불러오거나 또는 영상 촬영부를 통해 즉시 획득한 영상인 것을 특징으로 하는 영상 추출 방법.
23. 제 20 항에 있어서,
    상기 객체 선택 단계는
    상기 적어도 하나 이상의 영상에서 사용자가 입력한 경계선 영역을 수신하고, 수신한 경계선에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 추출 방법.
24. 제 20 항 내지 제 23 항 중 어느 하나의 영상 추출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images