KR20180017446A - 가상의 합성이미지 생성장치 및 그 방법 - Google Patents

Abstract

본 발명은 3D깊이카메라(10)로부터 상기 3D카메라(10)가 피사체를 촬상한 촬상이미지데이터와 상기 피사체의 깊이정보를 받아, 상기 피사체의 촬상이미지데이터에서 상기 피사체의 이미지를 분리하여 상기 피사체의 이미지가 표현된 피사체 레이어(subject layer)를 생성하는 피사체 레이어 생성단계와; 배경이미지가 표현된 배경이미지 레이어(background image layer)를 상기 피사체 레이어와 합성하여 상기 피사체의 이미지에 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 이미지합성단계와; 상기 합성이미지를 출력하는 출력단계를 포함하여 이루어진 것을 특징으로 하는 가상의 합성이미지 생성방법을 제공한다.

Description

가상의 합성이미지 생성장치 및 그 방법{Apparatus for producing a virtual synthesized image and method for the same}

본 발명은 가상의 실시간 객체 세그먼테이션 분리의 합성이미지 생성장치 및 그 방법에 관한 것으로서 더욱 상세히는 3D깊이 카메라를 이용하여 피사체의 이미지에 배경(背景)이미지 그리고 추가적으로 전경(前景)이미지를 합성하여 동적인 사진영역의 가상 합성이미지를 생성하는 장치 및 그 방법에 관한 것이다.

피사체의 이미지를 다른 이미지와 합성하여 가상의 이미지를 만드는 방법으로는 크로마키 합성방법이 널리 사용되고 있는데, 이 방법은 피사체를 블루 스크린이나 그린 스크린 앞에 위치하게 하여 촬상하고 편집 시에 뒤에 위치한 배경 화면의 스크린을 제거하고 미리 준비한 화면과 합성하는 것이다.

이러한 크로마키 합성방법은 영화 제작이나 전문 그래픽 사진합성에 널리 쓰이지만, 조명 설정의 어려움 등으로 인하여 온라인 편집이나 자동화 편집 기계에서는 이러한 고급 화질을 얻을 수 있는 합성 방법이 사용되지는 못하고 있다.

이와 관련되어서는 대한민국 공개특허 제2002-0067024호의 디지털 편집을 기반으로 하는 온라인 포토 서비스 방법 및 시스템이 이러한 한계를 넘고자 하고 있다.

본 발명은 이러한 크로마키 합성 등 기존의 합성방법을 이용하지 않고 피사체의 이미지를 다른 이미지와 합성하여 가상의 합성이미지를 만들 수 있는 방법을 제공한다.

본 발명의 목적은 크로마키 합성등 기존의 합성방법을 이용하지 않고 피사체의 이미지를 다른 이미지와 합성하여 가상의 이미지를 만들 수 있는 방법을 제공하는 것이다.

구체적으로 본 발명의 목적은 크로마키 합성등 기존의 합성방법을 이용하지 않고 피사체의 이미지에 배경이미지 그리고 더불어 전경이미지가 합성된 가상의 이미지를 생성할 수 있는 장치 및 방법을 제공하는 것이다.

본 발명은 3D깊이카메라와; 상기 3D깊이카메라와 연결된 것으로서, 상기 3D깊이카메라로부터 상기 3D카메라가 피사체를 촬상한 촬상이미지데이터와 상기 피사체의 깊이정보를 받아, 상기 촬상이미지데이터에서 상기 피사체의 이미지를 분리하여 상기 피사체의 이미지가 표현된 피사체 레이어(subject layer)를 생성하는 피사체 레이어 생성수단과, 배경이미지가 표현된 배경이미지 레이어(background image layer)를 상기 피사체 레이어와 합성하여 상기 피사체의 이미지에 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 이미지합성수단을 가지는 제어부와; 상기 제어부의 제어에 따라 상기 합성이미지를 출력하는 출력수단을 포함하여 이루어진 것을 특징으로 하는 가상의 합성이미지 생성장치를 제공한다.

본 발명에 따를 경우, 상기 배경이미지를 저장하는 이미지데이터베이스를 더욱 가지는 것이 바람직하다.

이 경우, 상기 이미지데이터베이스는 상기 배경이미지에 대하여 이와 합성되는 상기 피사체 이미지의 사이즈인 피사체 이미지 사이즈를 저장하고 있고, 상기 이미지합성수단은 상기 피사체의 이미지를 상기 배경이미지와 합성할 때 상기 피사체 이미지의 사이즈를 가지도록 합성하는 것이 바람직하다.

본 발명에 따를 경우, 상기 이미지합성수단은 전경이미지가 표현된 전경이미지 레이어(foreground image layer)를 상기 피사체 레이어와 상기 배경이미지 레이어와 합성하여 상기 피사체의 이미지에 상기 전경이미지가 전경으로 그리고 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 것이 바람직하다.

본 발명에 따를 경우, 상기 이미지데이터베이스는 상기 배경이미지와 더불어 상기 전경이미지를 저장하는 것이 바람직하다.

본 발명에 따를 경우, 상기 출력수단은 디스플레이장치일 수 있다.

본 발명에 따를 경우, 상기 제어부는 상기 피사체의 이미지의 센트로이드와 상기 피사체 레이어의 센트로이드를 연산하는 센트로이드 연산수단과, 상기 연산수단에 의하여 연산된 피사체 이미지의 센트로이드와 상기 피사체 이미지 레이어의 센트로이드를 비교하여 그 센트로이드 값의 차이만큼 상기 피사체의 이미지를 좌 또는 우로 이동하여 출력하는 출력수단을 더욱 가지는 것이 바람직하다.

본 발명에 따를 경우, 상기 출력수단은 사진출력수단일 수 있다.

본 발명에 따를 경우, 상기 출력수단은 3D 프린터일 수 있다.

본 발명에 따를 경우, 상기 출력수단은 크리스털 카빙 출력장치일 수 있다.

본 발명은 또한 3D깊이카메라로부터 상기 3D카메라가 피사체를 촬상한 촬상이미지데이터와 상기 피사체의 깊이정보를 받아, 상기 피사체의 촬상이미지데이터에서 상기 피사체의 이미지를 분리하여 상기 피사체의 이미지가 표현된 피사체 레이어(subject layer)를 생성하는 피사체 레이어 생성단계와; 사용자에 의하여 선택된 배경이미지가 표현된 배경이미지 레이어(background image layer)를 상기 피사체 레이어와 합성하여 상기 피사체의 이미지에 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 이미지합성단계와; 상기 합성이미지를 출력하는 출력단계를 포함하여 이루어진 것을 특징으로 하는 촬상이미지를 다른 이미지와 합성하여 가상의 이미지를 생성하는 방법을 제공한다.

본 발명에 따를 경우, 크로마키등 기존의 합성방법을 이용하지 않고 피사체의 이미지에 배경이미지 그리고 더불어 전경이미지가 각각 배경 및 전경으로 합성된 가상의 이미지를 생성할 수 있게 된다.

도 1은 본 발명에 따른 가상의 합성이미지 생성장치의 구성을 보이는 블록선도;
도 2는 본 발명에 따른 가상의 합성이미지 생성장치에서 제어부가 행하는 처리절차를 보이는 도면;
도 3은 본 발명에 따라 합성이미지가 생성되는 과정을 도식적으로 보이는 도면;
도 4는 본 발명에 가상의 합성이미지 생성장치의 외관의 예를 보이는 도면;
도 5는 모니터에 출력되는 피사체의 이미지가 이동하는 경우의 알고리즘을 설명하는 도면.

이제 본 발명의 바람직한 실시예를 첨부한 도면을 참고로 하여 상세히 설명한다.

도 1은 본 발명에 따른 가상의 합성이미지 생성장치(1000)의 구성을 보이는 블록선도이다.

도시된 바와 같이, 본 발명에 따른 가상의 합성이미지 생성장치(1000)는 3D깊이카메라(10)를 가지며, 또한 상기 3D깊이카메라가 피사체를 촬상한 촬상이미지데이터와 피사체의 깊이정보를 받아 피사체의 이미지를 분리하고, 이렇게 분리된 피사체의 이미지와 가상의 이미지를 합성하여 합성이미지를 생성하는 제어부(50)를 가진다.

또한 상기 제어부(50)에 대하여 조작을 행하는 조작부(40)가 설치되고, 상기 제어부(50)가 생성한 합성이미지는 출력장치(60)를 통하여 출력된다.

상기 제어부(50)는 제어의 수행을 가능하게 하는 제어프로그램과, 제어프로그램이 저장되는 플래시메모리, 하드디스크 등과 같은 비휘발성의 메모리와, 저장된 제어프로그램의 전부 또는 일부가 일시적으로 로딩되는 램과 같은 휘발성의 메모리와, 로딩(loading)된 제어프로그램을 실행하는 CPU와 같은 마이크로프로세서를 포함하여 이루어진다.

상기 출력장치(60)는 제어부(50)로부터 입력된 합성이미지를 출력하는 것으로서 그 출력의 형태는 다양하게 이루어질 수 있다.

즉 상기 출력장치(60)는 LCD, PDP 등의 디스플레이장치로서 상기 합성이미지가 디스플레이(display) 될 수 있다.

또는 상기 출력장치(60)는 사진출력장치로서 상기 합성이미지를 사진으로서 출력할 수 있다.

또는 상기 출력장치(60)는 3D 프린터로서 상기 합성이미지를 3차원의 입체물로 출력할 수 있다.

또는 상기 출력장치(60)는 크리스털 카빙 출력장치로서 상기 합성이미지를 크리스털 카빙(crystal carving)된 형태로 출력할 수 있다.

상기 조작부(40)는 3D깊이카메라의 작동을 명하고, 후술하는 배경이미지 또는 전경이미지의 선택, 그리고 선택된 이미지와 피사체이미지의 합성과 합성이미지의 출력 등에 대한 동작명령을 내리는 인터페이스를 말한다.

도 2는 본 발명에 따른 가상의 합성이미지 생성장치(1000)에서 제어부(50)가 행하는 처리절차를 보이는 도면이다.

우선, 상기 3D깊이카메라(10)는 피사체를 촬상하고, 상기 제어부(50)는 상기 3D깊이카메라(10)가 피사체를 촬상한 촬상이미지데이터와 피사체의 깊이정보를 입력받는다. (단계 S201)

즉 사용자가 조작부(40)를 조작하여 3D깊이카메라(10)의 작동을 명령하면 3D깊이카메라(10)는 피사체를 촬상하고 촬상된 이미지데이터와 피사체의 깊이정보는 제어부(50)로 입력된다.

다음, 상기 제어부(50)는 입력받은 촬상이미지데이터와 깊이정보로부터 상기 촬상이미지데이터에서 상기 피사체의 이미지를 분리한다. 그리고 상기 분리된 피사체 이미지를 레이어(layer)에 표현하여 피사체의 이미지가 표현된 피사체 레이어(subject layer)를 생성한다. (단계 S202)

다음, 상기 제어부(50)는 배경이미지가 표현된 배경이미지 레이어(background image layer)를 생성하여 이를 상기 피사체 레이어와 합성하여, 상기 피사체 이미지에 상기 배경이미지가 배경으로 표현된 합성이미지를 생성한다. (단계 S203)

이후, 상기 제어부(50)는 상기 합성이미지를 제어장치(60)로 출력한다. (단계 S204)

본 발명에 따를 경우, 상기 배경이미지는 이미지데이터베이스(미도시)에 저장되고 사용자는 조작부(40)를 조작하여 디스플레이장치를 통하여 보이는 것 중 원하는 배경이미지를 선택할 수 있도록 할 수 있다.

또한 상기 이미지데이터베이스는 배경이미지 이외에 전경이미지(foreground image)도 저장하고 있어, 사용자는 조작부(40)를 조작하여 디스플레이장치를 통하여 보이는 것 중에서 원하는 전경이미지를 선택할 수 있도록 할 수 있다.

이와 같이 전경이미지가 제공되는 경우, 단계 S203과 관련되어, 상기 제어부(50)는 전경이미지가 표현된 전경이미지 레이어(foreground image layer)를 생성하여, 상기 피사체 레이어에 대하여 배경이미지 레이어와 더불어 전경이미지 레이어를 합성한다. 이에 따라서, 상기 피사체 이미지에 상기 전경이미지가 전경으로 그리고 상기 배경이미지가 배경으로 표현된 합성이미지를 생성한다.

이후 단계 S204에서, 이와 같이 피사체에 전경과 배경이 합성된 이미지가 출력되도록 한다.

상기 피사체 레이어를 통하여 표현되는 피사체의 이미지는 3D 정보를 가지는 것이고, 상기 배경이미지와 전경이미지는 2D 또는 3D의 형태로 제공될 수 있다.

따라서 상기 합성이미지에서 피사체는 3D의 정보를 가지고 있으며, 출력장치가 3D의 형태의 출력이 가능한 경우 피사체는 3D의 형태로 출력을 이루게 된다.

도 3은 본 발명에 따라 합성이미지가 생성되는 과정을 도식적으로 보이는 도면이다.

도시된 바와 같이, 피사체 레이어(44)에 대하여 배경이미지 레이어(41)와 전경이미지 레이어(48)가 생성되고, 이들이 합성되어 피사체 이미지에 상기 전경이미지가 전경으로 그리고 상기 배경이미지가 배경으로 표현된 합성이미지(400)가 생성된다.

본 발명에 따를 경우, 상기 이미지데이터는 상기 배경이미지에 대하여 이와 합성되는 피사체 이미지의 사이즈(size)를 저장하고 있는 것이 바람직하다.

즉 각각의 배경이미지에 대하여 피사체 이미지가 합성되었을 때 자연스럽게 보일 수 있는 피사체 이미지 사이즈를 저장하고 있는 것이다.

예를 들어, 상기 이미지데이터베이스는 특정 배경이미지에 대하여 이와 합성되는 피사체 이미지는 배경이미지 대비 60%의 크기를 가지도록 피사체의 사이즈에 대한 정보를 저장하고 있을 수 있다.

이러한 경우, 상기 제어부(50)는 상기 피사체 레이어와 배경이미지 레이어를 합성할 때 전술한 사이즈정보에 따라 합성을 이루게 된다.

도 4는 본 발명에 가상의 합성이미지 생성장치(1000)의 외관의 예를 보이는 도면이다.

도시된 바와 같이, 케이스(500)의 내부에 제어부(50)와 그리고 출력장치(60)로서 디스플레이장치가 내장되고, 그 전면에 상기 디스플레이장치(60)의 모니터(60a)가 노출되고 있으며, 상기 케이스(500)의 상부에 3D깊이카메라(10)가 설치되고 있다. 또한 상기 조작부(40)의 조작스위치가 설치된 것이 보인다.

사용자는 상기 조작부(40)를 조작하여 상부의 3D깊이카메라(10)를 통하여 사용자 자신 등의 피사체를 촬상하도록 한다.

다음, 사용자는 조작부(40)를 조작하여 이미지데이터베이스에 저장된 배경이미지 그리고 더불어 전경이미지를 선택하여, 이들이 피사체이미지와 합성되도록 명령한다.

이후 피사체의 이미지에 배경과 전경이 합성된 합성이미지가 상기 모니터(60a)로 출력된다.

이렇게 합성된 합성이미지는 디스플레이장치(60)를 통하여 디스플레이를 이루면서 통신네트워크를 통하여 사용자 또는 그 지인의 통신단말기로 전송되어 상기 통신단말기를 통하여 출력될 수도 있다.

상기 출력장치(60)로서 디스플레이장치가 제공되는 경우, 모니터(60a)는 상기 3D깊이카메라(10)가 촬상한 피사체의 이미지를 계속적으로 디스플레이하는 것이 바람직한데, 이 경우에 디스플레이 되는 피사체의 이미지는 한곳에 머물지 않고 피사체의 이동에 따라 같이 이동하면 바람직하다 할 것이다.

이를 위하여 본 발명의 제어부(50)는, 도 5의 (a)에서 보이는 바와 같이, 피사체 이미지(101)의 센트로이드(centroid)(c1)를 연산하고, 또한, 도 5의 (b)에서 보이는 바와 같이, 피사체 레이어(103)의 센트로이드(c2)를 연산한다. 도 5의 (b)에서 피사체 이미지는 표시하지 않았다.

이후, 제어부(50)는 피사체 이미지(101)의 센트로이드(c1)와 피사체 레이어(103)의 센트로이드의 좌표 값의 차이를 구하고, 피사체의 이미지를 디스플레이장치의 모니터(60a)로 출력할 때 피사체 이미지(101)의 센트로이드(c1)와 피사체 레이어(103)의 센트로이드의 좌표 값의 차이만큼 이동하여 출력한다.

이에 따라 도 5의 (c)에서 보이는 바와 같이, 모니터(60a)에 좌측 또는 우측으로 피사체의 이미지가 이동된 형태로 출력이 된다.

본 발명에 따를 경우, 3D깊이카메라는 다수개가 설치될 수 있는데, 이러한 경우, 각각의 3D깊이카메라가 피사체를 촬상한 촬상이미지데이터와 피사체의 깊이정보를 상기 제어부(50)는 받아 이들의 깊이정보를 이용하여 이들 촬상이미지데이터로부터 각각의 피사체의 이미지를 분리하고 이들을 합성하여 피사체의 이미지를 생성할 수 있다. 이후 이렇게 합성된 피사체 이미지를 레이어에 표현하여 피사체 레이어를 생성하게 된다.

이와 같은 본 발명에 따를 경우, 크로마키등 기존의 합성방법을 이용하지 않고 피사체의 이미지에 배경이미지 그리고 더불어 전경이미지가 각각 배경 및 전경으로 합성된 가상의 이미지를 생성할 수 있게 된다.

1000: 가상의 합성이미지 생성장치
10: 3D깊이카메라
40: 조작부
50: 제어부
60: 출력장치
60a: 모니터
101: 피사체 레이어
103: 백그라운드 이미지 레이어

Claims (11)

1. (a) 3D깊이카메라와;
   (b) 상기 3D깊이카메라와 연결된 것으로서,
   (b1) 상기 3D깊이카메라로부터 상기 3D카메라가 피사체를 촬상한 촬상이미지데이터와 상기 피사체의 깊이정보를 받아, 상기 촬상이미지데이터에서 상기 피사체의 이미지를 분리하여 상기 피사체의 이미지가 표현된 피사체 레이어(subject layer)를 생성하는 피사체 레이어 생성수단과,
   (b2) 배경이미지가 표현된 배경이미지 레이어(background image layer)를 상기 피사체 레이어와 합성하여 상기 피사체의 이미지에 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 이미지합성수단을 가지는 제어부와;
   (c) 상기 제어부의 제어에 따라 상기 합성이미지를 출력하는 출력수단을 포함하여 이루어진 것을 특징으로 하는 가상의 합성이미지 생성장치.
2. 제1항에 있어서,
   상기 배경이미지를 저장하는 이미지데이터베이스를 더욱 가지는 것을 특징으로 하는 가상의 합성이미지 생성장치.
3. 제2항에 있어서,
   상기 이미지데이터베이스는 상기 배경이미지에 대하여 이와 합성되는 상기 피사체 이미지의 사이즈인 피사체 이미지 사이즈를 저장하고 있고,
   상기 이미지합성수단은 상기 피사체의 이미지를 상기 배경이미지와 합성할 때 상기 피사체 이미지의 사이즈를 가지도록 합성하는 것을 특징으로 하는 가상의 합성이미지 생성장치.
4. 제1항부터 제3항 중 어느 하나의 항에 있어서,
   상기 이미지합성수단은 전경이미지가 표현된 전경이미지 레이어(foreground image layer)를 상기 피사체 레이어와 상기 배경이미지 레이어와 합성하여 상기 피사체의 이미지에 상기 전경이미지가 전경으로 그리고 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 것을 특징으로 가상의 합성이미지 생성장치.
5. 제4항에 있어서,
   상기 이미지데이터베이스는 상기 배경이미지와 더불어 상기 전경이미지를 저장하는 것을 특징으로 하는 가상의 합성이미지 생성장치.
6. 제1항부터 제3항 중 어느 하나의 항에 있어서,
   상기 출력수단은 디스플레이장치인 것을 특징으로 하는 가상의 합성이미지 생성장치.
7. 제6항에 있어서,
   상기 제어부는 상기 피사체의 이미지의 센트로이드와 상기 피사체 레이어의 센트로이드를 연산하는 센트로이드 연산수단과,
   상기 연산수단에 의하여 연산된 피사체 이미지의 센트로이드와 상기 피사체 이미지 레이어의 센트로이드를 비교하여 그 센트로이드 값의 차이만큼 상기 피사체의 이미지를 좌 또는 우로 이동하여 출력하는 출력수단을 더욱 가지는 것을 특징으로 하는 가상의 합성이미지 생성장치.
8. 제1항부터 제3항 중 어느 하나의 항에 있어서,
   상기 출력수단은 사진출력수단인 것을 특징으로 하는 가상의 합성이미지 생성장치.
9. 제1항부터 제3항 중 어느 하나의 항에 있어서,
   상기 출력수단은 3D 프린터인 것을 특징으로 하는 가상의 합성이미지 생성장치.
10. 제1항부터 제3항 중 어느 하나의 항에 있어서,
    상기 출력수단은 크리스털 카빙 출력장치인 것을 특징으로 하는 가상의 합성이미지 생성장치.
11. (a) 3D깊이카메라로부터 상기 3D카메라가 피사체를 촬상한 촬상이미지데이터와 상기 피사체의 깊이정보를 받아, 상기 피사체의 촬상이미지데이터에서 상기 피사체의 이미지를 분리하여 상기 피사체의 이미지가 표현된 피사체 레이어(subject layer)를 생성하는 피사체 레이어 생성단계와;
    (b) 사용자에 의하여 선택된 배경이미지가 표현된 배경이미지 레이어(background image layer)를 상기 피사체 레이어와 합성하여 상기 피사체의 이미지에 상기 배경이미지가 배경으로 표현된 합성이미지를 생성하는 이미지합성단계와;
    (c) 상기 합성이미지를 출력하는 출력단계를 포함하여 이루어진 것을 특징으로 하는 가상의 합성이미지 생성방법.

Images