KR20070121712A - 디지털 카메라에서 배경화면과 관련해서 피사체를포지셔닝하는 방법 - Google Patents

Abstract

본 발명은 디지털 스틸 카메라의 조작자가 컴퓨터가 아닌 카메라에서 배경 화면과 관련해서 피사체의 고해상도 이미지를 포지셔닝 할 수 있도록 한다. 피사체와 배경화면의 저해상도 합성 이미지는 조작자가 카메라 뷰 스크린상의 합성 이미지를 관찰하면서 배경화면과 관련해서 피사체를 물리적으로 포지셔닝 할 수 있도록 한다.

디지털 카메라, 사진 합성

Description

디지털 카메라에서 배경화면과 관련해서 피사체를 포지셔닝하는 방법{POSITIONING A SUBJECT WITH RESPECT TO A BACKGROUND SCENE IN A DIGITAL CAMERA}

본 발명은 스틸 디지털 카메라(still digital camera)에서 다수의 이미지들의 프리-포지셔닝(pre-positioning)에 관련된 것으로 배경 화면의 이미지 위에 계속해서 합성을 하기 위한 것이다.

블루스크린 이미지 합성 기술은 영화 "애들이 줄었어요"에서의 그럴듯한 거인이나 줄어든 사람 같은 다수의 특별한 비디오 효과의 생성을 가능하게 한다.

다른 유용한 효과도 다수의 이미지 층을 사용한다. 피사체의 사진을 개별적으로 찍고, 하나씩 합성하여 다층 합성 이미지를 만든다. 이 과정은 한 명의 배우가 같은 화면에서 몇 개의 역할을 할 수 있도록 한다.

모든 피사체가 사람일 필요는 없다. 만약 다층 합성 이미지에서의 하나의 피사체가 불의 장벽이라면, 미리 합성된 피사체는 불의 장벽 뒤에 있는 것처럼 보이고, 차후에 합성된 피사체는 카메라 쪽에 있는 것처럼 보일 것이다. 더 효과적으 로, 불 뒤의 피사체는 더 작게 만들어져야 하고, 불의 카메라 쪽에 있는 피사체는 확대되어 거리감을 제공할 수 있다.

블루 스크린 이미지 합성 프로세스는 영화, 텔레비전 제작물을 위해 발전되었지만, 이것은 스틸 사진에 있어서도 마찬가지로 잘 적용된다. 다른 합성 기술은 발광 정도(luminance level)의 탐지를 사용하기도 하지만, 이것은 블루 스크린 프로세스만큼 성공적이지 못하다. 이중 노출 조차도 합성 이미지를 만들고, 스틸 사진에서의 예술적인 효과를 얻기 위해서 사용되어 왔다.

디지털 카메라의 진전과 함께 많은 디지털 카메라 사용자들은 이미지 처리 전문가들의 기술을 구하지 않고 그들 스스로 이러한 특별한 효과의 일부를 사용할 수 있기를 바란다.

컴퓨터가 아닌 카메라에서 다층 합성 이미지의 층을 포지셔닝하는 것의 추가적인 장점은 각 층을 서로 비교할 때 모든 층의 해상도가 동일하다는 것이다. 크기 조절이 컴퓨터에서 이루어질 경우 확대된 이미지들은 확대되지 않은 이미지들에 비해 낮은 해상도를 가질 것이다.

만약 이미지들이 미리 포지션닝 되어 있다면, 많은 이미지 합성 프로그램은 조작자의 간섭이 거의 없거나 전혀 없이 하나 또는 그 이상의 이미지 층을 합성할 수 있다. ULTIMATTE 'Knockout" (미국 특허 제 6134346호)와 같은 합성 프로그램은 제공된 이미지들의 해상도에서 결점 없는 높은 품질의 합성 이미지를 생산할 것이다. 다층 합성 이미지에 있어서 층의 수에는 본질적으로 한계가 없다. 필요에 따라 한 개의 층 또는 수백 개 또는 그 이상의 층을 합성할 수 있다.

카메라에서 피사체를 포지셔닝하면, 카메라에서 고해상도의 합성 이미지를 만드는 것 또한 가능하다. 하지만 작은 디지털 카메라에 포함된 현재 가능한 제한된 처리 능력으로 배경화면상에 고해상도 이미지를 합성하는 것은 데이터 처리 수행에 상당한 양의 시간이 소요된다. 하지만 메모리 가격이 내려가고 처리 능력 증가함에 따라 카메라에서 고해상도 합성 이미지를 수행하는 것은 이미 필요한 기술이 존재하므로 가능하다.

디지털 이미지 합성을 포함하여 본 발명의 모든 구성 요소들은 영화, 텔레비전 제작물, 및 그래픽 아트의 시각 특수 효과 제작 분야에서 통상의 지식을 가진자에게 잘 알려진 것이다. 미국 특허 제 6134346호는 디지털 소프트웨어 이미지 합성 프로그램의 예이다. 적어도 12명의 제조업자가 이미지 합성 장치 또는 그에 상응하는 소프트웨어를 만든다. 대부분의 이러한 프로그램들은 적절한 뒷배경이 선택되고 균일하게 조명이 비춰지면 적당한 매트(matte)를 추출한다.

예를 들어, 크로마-키 기술(chroma-key technique) - 최소한의 처리가 요구됨 - 을 사용하는 간단한 디지털 합성 프로그램은 거의 모든 사이즈의 디지털 카메라 - 휴대 전화, 개인용 포켓 사이즈 디지털 카메라 그리고 커다란 프로페셔널 디지털 카메라를 포함 - 의 디자인에 포함될 수 있다. 카메라의 모드 스위치는 피사체의 이미지를 포지셔닝 할 때 카메라 기능 버튼이 합성 기능 버튼으로 사용될 수 있도록 한다. 합성 프로그램과 카메라 컨트롤 기능들은 보통의 디지털 데이터 처리와 이미지 저장 칩들을 차지할 수 있다.

도 1은 디지털 카메라에서 다층 합성 이미지의 층을 생성하고 미리 보여주기 위해 필요한 기능을 보여주는 다이어그램이다.

피사체의 이미지 포지셔닝이 다음의 실시예와 도 1에 설명되어 있다. 한 사람이 7명의 친구로 구성된 그룹의 사진을 어떤 이국적인 장소에서 찍고 싶어한다고 가정하자. 그는 교통비가 지불이 불가능할 정도로 비싸며 그들 모두를 동시에 데려가는 것은 실용적이지 못하다는 것을 알게 된다. 이 문제에 대한 그의 해결책은 디지털 카메라(4)를 사용하여 각 친구의 사진을 각자 가능할 때 찍는 것이다. 종래의 기술을 사용하면 이미지들을 컴퓨터로 다운로드 하여 배경화면에 합성하여야 한다.

그러나 다층 합성 이미지는 모든 피사체의 이미지가 배경화면 및 서로의 위치와 관련해서 적절하게 포지셔닝 될 것을 요구한다. 만약 피사체가 컴퓨터에서 포지셔닝되면 Adobe Photoshop

같은 이미지 편집 프로그램 또는 유사한 프로그램이 필요하다. 카메라에 간단한 합성 프로그램 - 예를 들어, 크로마-키 기술(chroma-key technique)을 사용함 - 이 카메라에 설치되어 있다면, 이러한 복잡한 작업을 피하기 위해서 디지털 카메라에서 피사체를 미리 포지셔닝 할 수 있다. 현재의 디지털 카메라 세대에서 사용하기 위해 이러한 간단한 합성 프로그램을 만드는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.

첫번째 단계는 이국적 배경화면의 사진을 찍거나, 컴퓨터(1)와 같은 외부 소스로부터 적절한 배경화면을 카메라로 옮기는 것이다.

두번째 단계는 뒷배경(2)을 선택하고, 피사체의 뒤에 위치시키는 것이다. 거의 모든 색의 평편한 벽이 사용될 수 있지만, 만약 벽 색깔이 피사체의 옷에 사용되지 않았고 카메라에서 사용된 합성 프로그램의 요구에 적합한 것이라면 좋은 매트(matte)를 쉽게 얻을 수 있다. 매트는 깨끗한 필드에 대비되는 피사체의 검은 실루엣으로, 이중 노출을 만들지 않고 피사체를 배경 화면 위에 놓을 수 있도록 한다.

이미지 틀 안에 놓여진 조명, 문, 가구에 의해 카메라 뷰 스크린 상에 보이는 합성 이미지가 혼란스러워 지는 것을 막기 위해, 합성 프로그램에서의 윈도우 피쳐(feature) - 이러한 물체들을 가리거나 잘라냄 - 가 사용된다. 보이는 이미지에서 원하지 않는 물체 전부를 제거하기 위해 윈도우의 네 모서리 각각을 위치시킨다. 따라서 효율적으로 뒷배경을 이미지 틀의 모서리까지 확대한다. 이러한 윈도우 기능은 상대적으로 작은 뒷배경을 확대하여 - 피사체 너머까지 오직 짧은 거리를 확대함 - 사용할 수 있도록 한다. 예를 들어, 현대의 디지털 카메라는 전형적으로 4개의 위치 스위치를 선택 버튼으로 갖고 있다. 윈도우 - 사각형의 아웃라인 - 는 4개의 위치 스위치를 사용하여 위/아래, 그리고 왼쪽/오른쪽으로 움직일 수 있다. 원하는 위치 - 일반적으로 이미지의 나머지를 제외한 피사체의 주변 - 에 놓여지면 원하는 위치에 윈도우를 고정하기 위해 버튼을 누른다. 만약 윈도우가 너무 작거나 너무 크면 윈도우는 또한 4개의 위치 스위치를 이용하여 크기를 조절한다. 따라서 윈도우는 다른 모든 것을 제외하고 전경 피사체를 포함한다.

각 윈도우의 위치 및 크기는 전경 피사체가 캡쳐되는 순간에 피사체 이미지 데이터의 일부로서 기록된다. 이러한 윈도우의 위치 및 크기 데이터는 컴퓨터(1)에서 피사체 층이 합성될 때 윈도우를 정의한다. 미리 포지셔닝 된 피사체의 층 번호, 윈도우 크기 및 위치 데이터와 층의 번호를 통해 사람의 관여가 거의 또는 완전히 없이 이미지 합성을 할 수 있다.

세 번째 단계는 첫 번째 피사체(3)의 사진을 찍는 것이다. 카메라(4)의 합성 프로그램은 피사체의 이미지를 배경 화면 이미지 위에 합성하여 카메라 뷰 스크린(5) 상에 합성 이미지를 형성한다.

카메라의 합성 프로그램은 실제로 피사체와 배경화면의 고해상도 이미지를 합성할 필요가 없다. 카메라 뷰 스크린 상의 이미지를 구성하는 픽셀의 수는 카메라에서의 고해상도 디지털 이미지를 구성하는 픽셀의 수의 작은 부분일 뿐이다. 피사체 포지셔닝 과정에서 합성되는 것은 고해상도 - 카메라 뷰 스크린에 의해 요구되는 해상도 - 이미지에서 추출된 낮은 해상도의 복제품이다.

뷰 스크린 상의 이미지는 비교적 적은 수의 픽셀로 구성되고, 간단한 합성 프로그램은 합성 이미지를 빠르게 교체하여 피사체의 위치가 변하는 것처럼 유지한다.

조작자가 카메라 뷰 스크린(5)을 관찰하면 배경화면은 카메라 뷰 스크린 상에 고정될 것이다. 하지만 첫번째 피사체의 이미지는 자유롭게 카메라의 움직임을 따른다. 카메라를 포인팅하는 것이 피사체를 배경 이미지와 관련해서 위, 아래, 왼쪽 또는 오른쪽으로 위치시키는 가장 간단한 방법이다. 피사체의 크기는 피사체를 카메라를 향하거나 또는 먼 새로운 위치로 물리적으로 이동시켜서 조절한다. 그것의 한계 내에서 카메라의 줌 렌즈를 조절해서도 크기 변경을 할 수 있다.

배경 화면과 관련해서 적절한 위치에 피사체가 포지셔닝되면, 조작자는 카메라의 "테이크" 버튼을 누른다. 그 순간 카메라 뷰 스크린 상의 합성 이미지가 캡쳐된다. 이제 카메라 뷰 스크린 상의 합성 이미지는 배경화면 상에 첫 번째 피사체를 포함한다. 이 이미지는 저장되어 두 번째 피사체의 사진을 촬영할 때 배경 화면이 된다.

동시에 미리 포지셔닝된 첫 번째 피사체의 고해상도 이미지 - 첫 번째 피사체의 오리지날 뒷배경을 배경으로 함 - 는 캡쳐 및 저장된다. 그것은 피사체 층 #1로 코드화된다.

두 번째 피사체의 사진 촬영이 가능하면, 두 번째 피사체는 뒷배경을 배경으로 하고 위치한다. 첫 번째 피사체와 배경 화면의 합성 이미지는 메모리로부터 호출되고, 두 번째 피사체의 배경화면이 된다. 카메라 조작자는 나머지 5명의 공간을 남겨두는 것을 유념하면서, 두 번째 피사체의 이미지를 첫 번째 피사체의 이미지에 나란히 포지셔닝한다.

두 번째 피사체가 적절하게 위치되었다고 만족된다면, "테이크" 버튼을 누른다. 이 순간 두 번째 피사체 또한 배경 화면의 일부분이 되어 저장된다. 이것은 세 번째 피사체의 배경 화면이 된다. 동시에 미리 포지셔닝된 두 번째 피사체의 고해 상도 이미지 - 두 번째 피사체의 오리지날 뒷배경을 배경으로 함 - 는 카메라 메모리에 저장되고 피사체 층 #2로 코드화 된다. 두 번째 피사체 및 이후의 피사체 뒤에 사용되는 뒷배경은 피사체 #1 에서 사용된 뒷배경과 동일할 필요는 없다. 뒷배경은 종종 배경의 색깔이 피사체의 의상에 있는 색깔 중 어느 것과도 매치되지 않기 때문에 선택되고, 따라서 좋은 매트(matte)의 추출을 보장한다.

앞에서 설명한 과정은 총 7명의 피사체가 포지셔닝되고 사진을 찍을때까지 각각의 피사체에 대하여 반복된다. 각각 선택된 뒷배경 앞에서의 7명의 고해상도 미리 포지셔닝 된 피사체는 컴퓨터로 다운로드 되어 선택된 배경 화면과 합성된다. 만약 배경화면이 카메라에 있다면 오리지날 고해상도 배경 화면 또한 컴퓨터로 다운로드한다. 이때 7명 피사체의 저해상도 합성 이미지는 버려질 수 있다.

본 발명에 의하면 디지털 카메라에서 사람의 관여가 거의 또는 완전히 없이 이미지 합성을 할 수 있다.

Claims (15)

1. 디지털 카메라에서 선택된 뒷배경(backing) 앞에 위치하는 피사체의 이미지를 배경 화면 이미지와 관련해서 원하는 위치에 포지셔닝하는 방법에 있어서,

   a) 상기 피사체의 이미지가 상기 배경 화면의 이미지와 관련해서 상기 원하는 위치에 위치하도록 상기 피사체와 상기 카메라 중 적어도 하나를 물리적으로 포지셔닝하면서 상기 카메라의 뷰 스크린상의 합성 이미지를 관찰하는 단계와,

   b) 상기 선택된 뒷배경 앞의 상기 포지셔닝된 피사체의 이미지를 상기 카메라에서 캡쳐하는 단계를

   포함하는 것을 특징으로 하는 피사체를 포지셔닝하는 방법.
2. 제 1 항에 있어서,

   상기 디지털 카메라는

   상기 카메라 뷰 스크린 상에 디스플레이 하기 위하여

   상기 피사체가 상기 배경화면 이미지와 합성되기 전에 그것의 뒷배경으로부터 상기 피사체를 추출하는 프로그램을 포함하는 것을

   특징으로 하는 피사체를 포지셔닝하는 방법.
3. 제 1 항에 있어서,

   상기 피사체의 이미지가 상기 원하는 이미지 위치에 있을 때 상기 합성 이미지가 상기 카메라에서 캡쳐되는 것을

   특징으로 하는 피사체를 포지셔닝하는 방법.
4. 제 1 항에 있어서,

   현재의 피사체를 포지셔닝 할 때 먼저 포지셔닝 된 피사체의 합성 이미지를 상기 배경화면으로 사용하여 다층 합성 이미지를 형성하기 위하여 다수의 피사체 이미지가 상기 배경화면과 관련해서 포지셔닝 될 수 있는 것을

   특징으로 하는 피사체를 포지셔닝하는 방법.
5. 제 1 항에 있어서,

   상기 선택된 뒷배경 앞의, 상기 피사체의 상기 캡쳐된 이미지의 각각은

   시퀀스에서의 그것의 위치와 관련해서 시퀀스 번호를 부여받는 것을

   특징으로 하는 피사체를 포지셔닝하는 방법.
6. 제 1 항에 있어서,

   상기 카메라 뷰 내에서 상기 선택된 뒷배경 영역의 외부 영역은 마스크 된 것을 특징으로 하는 피사체를 포지셔닝하는 방법.
7. 제 6 항에 있어서,

   상기 피사체가 그것의 풀 해상도(full resolution)로 합성될 때 다음의 사용을 위해 상기 마스크를 포함하는 윈도우의 위치가 기록되는 것을

   특징으로 하는 피사체를 포지셔닝하는 방법.
8. 제 1 항에 있어서,

   상기 합성 이미지는 일련의 합성 이미지들이고,

   상기 합성 이미지들은 상기 배경화면과 관련해서 원하는 위치에 상기 피사체를 포지셔닝하는 단계에서, 상기 뷰 스크린의 관찰자로 하여금 상기 피사체와 상기 디지털 카메라 중 하나의 물리적 움직임의 결과를 관찰하도록 하는 것을 특징으로 하는 피사체를 포지셔닝하는 방법.
9. 제1 항에 있어서,

   상기 카메라 뷰 스크린상에서 보이는 것과 같은 상기 합성 이미지는

   합성 이미지를 포함하는 두 개의 컴포넌트 - 여기서, 상기 두 개의 컴포넌트의 각각은 합성되기 이전에 상기 뷰 스크린의 해상도임 - 로부터 형성되는 것을 특징으로 하는 피사체를 포지셔닝하는 방법.
10. 제 2 항에 있어서,

    상기 카메라에서 형성된 상기 합성 이미지의 품질은

    상기 카메라의 합성 프로그램의 상기 피사체 추출 능력에 따라 제한되는 것을 특징으로 하는 피사체를 포지셔닝하는 방법.
11. 제 1 항에 있어서,

    상기 카메라와 상기 피사체 중 적어도 하나는

    서로 가까이 혹은 멀리 물리적으로 다시 포지셔닝되어 상기 피사체의 이미지 크기를 조절하는 것을

    특징으로 하는 피사체를 포지셔닝하는 방법.
12. 제 1 항에 있어서,

    상기 카메라의 초점 거리는 상기 피사체의 이미지 크기를 조절하기 위하여 변경될 수 있는 것을

    특징으로 하는 피사체를 포지셔닝하는 방법.
13. 제 1 항에 있어서,

    상기 카메라의 컨트롤 버튼이 상기 이미지 포지셔닝에 사용될 수 있도록 하는 모드 스위치(mode switch)가 상기 카메라에 장착되는 것을

    특징으로 하는 피사체를 포지셔닝하는 방법.
14. 제 2 항에 있어서,

    상기 프로그램은 상기 카메라의 데이터 처리 및 이미지 저장 칩을 사용하는 것을 특징으로 하는 피사체를 포지셔닝하는 방법.
15. 제 1 항에 있어서,

    상기 합성 이미지는 이중 노출을 획득하는 수단을 이용하여 만들어지는

    것을 특징으로 하는 피사체를 포지셔닝하는 방법.

Images