KR20130016080A - 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법 - Google Patents

이미지 처리 장치에서 이미지를 합성하는 장치 및 방법 Download PDF

Info

Publication number
KR20130016080A
KR20130016080A KR1020120083081A KR20120083081A KR20130016080A KR 20130016080 A KR20130016080 A KR 20130016080A KR 1020120083081 A KR1020120083081 A KR 1020120083081A KR 20120083081 A KR20120083081 A KR 20120083081A KR 20130016080 A KR20130016080 A KR 20130016080A
Authority
KR
South Korea
Prior art keywords
image
gaussian curve
images
gaussian
alpha mask
Prior art date
Application number
KR1020120083081A
Other languages
English (en)
Other versions
KR101864454B1 (ko
Inventor
파반 시드힌드라
라자고팔란 벤카타 라가반
요게스 마나브
라자람 하누타차르야 나가너르
슈브함 바이디아나스 바타차르야
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/567,475 priority Critical patent/US8731330B2/en
Publication of KR20130016080A publication Critical patent/KR20130016080A/ko
Application granted granted Critical
Publication of KR101864454B1 publication Critical patent/KR101864454B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법에 관한 것으로, 복수의 이미지들 사이의 중첩 영역에 상기 이미지들에 포함된 적어도 하나의 물체가 존재하는지를 확인하며, 상기 확인 결과, 상기 물체가 존재하면, 상기 물체에 대한 가우스 곡선을 생성하며, 상기 중첩 영역에 대한 알파 마스크를 결정하고, 상기 알파 마스크를 기반으로 상기 이미지들을 합성하는 것을 특징으로 한다.

Description

이미지 처리 장치에서 이미지를 합성하는 장치 및 방법{APPARATUS AND METHOD FOR COMPOSING IMAGES IN AN IMAGE PROCESSING DEVICE}
본 발명은 이미지 처리 장치에 관한 것으로, 특히, 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법에 관한 것이다.
복수의 이미지들은 함께 결합되어 합성된 이미지를 형성할 수 있다. 일부 물체들은 전경 또는 배경으로 구분될 수 있는 이미지 내에 존재할 수 있다. 이러한 복수의 이미지들은 만족스러운 합성 이미지를 얻기 위해 서로 겹쳐질 수 있다. 이러한 합성 이미지는 알파 블렌딩(alpha blending) 등과 같은 이용 가능한 합성 기법들 중 적어도 하나를 이용하여 합성될 수 있다.
알파 블렌딩 기법은 전경 이미지가 불투명한 그래픽 효과를 갖는 다수의 소스 이미지들에서 해당 픽셀들의 가중치들을 이용하여 합성된 이미지를 생성함으로써 소스 이미지들을 결합시키는 기법이다. 알파 마스크의 알파/투명도 값은 '0'에서 '1'의 범위를 가지며, '0'은 투명한 픽셀을 의미하고, '1'은 불투명한 픽셀을 의미한다. 상기 알파 값은 전경 및 배경 픽셀들의 합성을 돕고, 상기 전경 및 배경 픽셀들에 대한 분포도는 상기 알파 값에 의해 결정된다.
그러나 알파 블렌딩 기법은 물체들을 배경/다른 이미지들과 합성함으로써 합성 이미지의 시각적 매력을 감소시킬 수 있는 합성된 이미지들의 콘텐츠 정보 간의 상관도를 이용하지 않는다. 상기 물체들의 배경/다른 이미지들과의 합성은 물체들을 부분적으로 또는 완전히 희미해지게 만들 수 있으므로 콘텐츠를 판독하기 쉽도록 조절할 필요가 있다. 알파 블렌딩 기법에서 이미지 주파수들은 간섭 효과들의 영향을 받는다. 그리고 알파 블렌딩 기법은 합성 이미지에 페이딩(fading)을 유도함으로써 가시적 모호성을 발생시킨다. 때로는, 알파 블렌딩된 이미지에서 어떤 특징이 어떤 층(layer)에 속하는지 확인하는 것이 어려울 수 있다.
또한, 알파 블렌딩 기법에서, 알파 마스크 생성은 눈에 보이는 심(seam) 및 고스팅 효과(ghosting effect)를 발생시킨다. 눈에 보이는 심들은 중첩 창(overlap window)이 너무 작거나 합성될 두 개의 이미지들이 매우 구별되는 경우에 나타날 수 있으며, 반면에, 고스팅 효과는 중첩 창이 너무 클 경우에 나타날 수 있다.
현재, 블렌딩 기술들은 심 및 고스팅 효과들을 피하기 위해 최적의 윈도우 사이즈를 생성하는 것에 의존한다. 그리고 블렌딩 기술들은 중첩 창 사이즈가 외부 모듈에 의해 고정될 수 있고 중첩 창 사이즈가 합성하는 동안에 변경될 수 없는 경우 고스팅 문제에 대해 다루지 않는다.
본 발명은 이미지들을 합성할 때 관심 물체들을 잃지 않으면서 이미지들을 효율적으로 중첩할 수 있는 장치 및 방법을 제안한다.
그리고 본 발명은 중첩 영역의 크기가 고정된 이미지들을 효율적으로 중첩할 수 있는 장치 및 방법을 제안한다.
상기한 과제를 해결하기 위한, 본 발명의 방법은, 이미지 처리 장치에서 이미지를 합성하는 방법에 있어서, 복수의 이미지들 사이의 중첩 영역에 상기 이미지들에 포함된 적어도 하나의 물체가 존재하는지를 확인하며, 상기 확인 결과, 상기 물체가 존재하면, 상기 물체에 대한 가우스 곡선을 생성하며, 상기 중첩 영역에 대한 알파 마스크를 결정하고, 상기 알파 마스크를 기반으로 상기 이미지들을 합성하는 것을 특징으로 한다.
상기한 과제를 해결하기 위한, 본 발명의 장치는, 이미지 처리 장치에서 이미지를 합성하는 장치에 있어서, 표시부와, 복수의 이미지들 사이의 중첩 영역에 상기 이미지들에 포함된 적어도 하나의 물체가 존재하는지를 확인하며, 상기 확인 결과, 상기 물체가 존재하면, 상기 물체에 대한 가우스 곡선을 생성하며, 상기 중첩 영역에 대한 알파 마스크를 결정하고, 상기 알파 마스크를 기반으로 상기 이미지들을 합성하는 이미지 합성 장치를 포함하는 것을 특징으로 한다.
본 발명은 이미지들을 합성할 때 관심 물체들을 잃지 않으면서 이미지들을 효율적으로 중첩할 수 있는 효과를 가진다.
그리고 본 발명은 중첩 영역의 크기가 고정된 이미지들을 효율적으로 중첩할 수 있는 효과를 가진다.
도 1은 본 발명의 실시 예들에 따른 이미지 처리 장치의 블록 구성도,
도 2는 본 발명의 실시 예들에 따른 서로 다른 이미지들을 도시한 도면,
도 3은 본 발명의 실시 예들에 따른 합성 이미지를 도시한 도면,
도 4는 본 발명의 실시 예들에 따른 이미지 처리 장치가 이미지를 합성하는 흐름도,
도 5는 본 발명의 실시 예들에 따른 중첩 영역에서 물체의 위치를 자세히 나타낸 도면,
도 6은 본 발명의 실시 예들에 따른 물체를 포함하는 가우스 곡선을 도시한 그래프,
도 7은 본 발명의 실시 예들에 따른 단순 선형 경사면의 기울기를 도시한 그래프,
도 8은 본 발명의 실시 예들에 따른 중첩 영역에서 복수의 물체들을 도시한 도면,
도 9는 본 발명의 실시 예들에 따른 물체들의 개별 곡선들로부터 구성된 합성 가이드 프로파일을 도시한 도면,
도 10은 본 발명의 실시 예들에 따른 알파 마스크 생성에 의해 합성된 이미지를 도시한 도면이다.
본 발명의 실시 예들, 다양한 특징들, 및 이점들은 첨부된 도면 및 하기의 설명에서 기술되는 본 발명을 제한하지 않는 실시 예들을 참조하여 자세히 설명된다. 공지된 구성 요소들 및 처리 기술들에 대한 설명은 본 발명의 실시 예들의 요지를 흐릴 수 있다고 판단되는 경우 생략된다. 본 발명에서 사용된 예시들은 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 따라서, 상기 예시들은 본 발명의 권리 범위를 제한하도록 이해되어서는 안 된다.
본 발명은 알파 마스크 생성 기반 프로파일을 가이드하는 장치 및 방법을 제공한다. 도 1 내지 도 10에는 본 발명에 대한 바람직한 실시 예들이 도시된다.
명세서 전반에 걸쳐, 시각적 콘텐츠 및 이미지들 등의 단어들은 상호적으로 사용된다. 이미지는 래스터(raster) 이미지들/알파 맵 이미지들을 나타낼 수 있는 디지털 이미지일 수 있다. 그리고 이미지들은 디지털 카메라와 같은 수단 또는 이와 유사한 장치 및/또는 사진들, 사진 필름, 또는 이미지 스캐너 또는 이와 유사한 장치에 의한 인쇄물과 같은 아날로그 매체를 사용하는 장치에 의해 캡처될 수 있다.
명세서 전반에 걸쳐, 알파 마스크, 알파 채널, 및 알파 매트릭스 등의 단어들은 유사하게 및 상호적으로 사용되어 중첩된 영역에 대한 알파 값들을 구성하는 매트릭스 또는 어레이를 의미한다.
도 1은 본 발명의 실시 예들에 따른 이미지 처리 장치의 블록 구성도이다.
도 1을 참조하면, 이미지 처리 장치는 이미지 합성 장치(102)와 입력 장치(101)와 출력 장치(107)를 포함한다. 여기서, 이미지 합성 장치(102)는 디지털 이미지 디코더(104), 메모리(105), 이미지 처리부(106) 및 알파 마스크 생성부(103)를 포함할 수 있다. 그리고 메모리(105)는 이미지들 또는 다른 시각적 콘텐츠들을 저장할 수 있다. 그리고 이미지 디코더(104)는 수신된 이미지들을 복호화할 수 있다. 그리고 이미지 디코더(104)는 이미지들의 픽셀 값들을 복호화할 수 있다. 그리고 알파 마스크 생성부(103)는 프로그래밍되어 이미지 처리부(106)에 의해 사용될 수 있는 알파 마스크 어레이 데이터를 생성할 수 있다. 그리고 이미지 처리부(106)는 수신된 이미지들을 분석하고 처리할 수 있다. 그리고 이미지 처리부(106)는 이미지들을 서로 합성할 수 있다. 그리고 합성된 이미지는 출력 장치(107) 상에 표시될 수 있다. 그리고 합성된 이미지는 스크린/모니터, 개인용 컴퓨터, PDA, 이동 장치, 디지털 액자, 및 프린터 등과 같은 출력 장치에 의해 출력될 수 있다.
그리고 수신된 이미지는 사용자들이 이미지들을 캡처하고 메모리/데이터베이스(105)에 디지털 포맷으로 저장할 수 있도록 하는 디지털 카메라로(미도시)부터 수신될 수 있다. 여기서, 디지털 카메라는 독립형 장치일 수 있으며, 또는 이동 장치, 휴대용 개인 단말기와 같은 다른 장치의 일부일 수 있다. 그리고 합성될 이미지들은 이동 장치, 카메라, 데이터베이스, 메모리(105), PDA, 스캐너, 콤팩트 디스크들(Compact Disks: CDs), 또는 DVD들 등과 같은 입력 장치(101)를 통해 이미지 합성 장치(102)로 제공될 수 있다.
그리고 이미지 합성 장치(102)는 인터넷과 같은 네트워크 상에서 적어도 원격 시스템과 상호작용할 수 있다. 여기서, 네트워크는 유선 또는 무선 통신 네트워크일 수 있다. 그리고 원격 시스템은 네트워크 상에서 이미지 서비스들 및 상품들을 제공하도록 구성될 수 있다. 그리고 원격 시스템은 적어도 하나의 이미지 렌더링 시설 및 데이터 센터를 포함할 수 있다. 그리고 이미지 합성 장치(102)는 네트워크 상에서 원격 시스템의 데이터 센터로부터 이미지들을 수신할 수 있다. 여기서, 이미지들은 합성을 위해 원격 시스템으로부터 이미지 합성 장치(102)로 이 메일을 통해 인터넷 상에서 전달될 수 있다. 그리고 이미지 합성 장치(102)는 이미지들을 처리하고 이들을 합성할 수 있다. 여기서, 합성된 이미지들은 원격 시스템으로 전달되어 원격 시스템 상에 표시될 수 있다.
도 2는 본 발명의 실시 예들에 따른 서로 다른 이미지들을 도시한 도면이다고, 도 3은 본 발명의 실시 예들에 따른 합성 이미지를 도시한 도면이다.
도 2 및 3을 참조하면, 이미지 1(201) 및 이미지 2(202)는 합성될 필요가 있는 2개의 이미지들을 나타낸다. 이미지 합성은 서로 구별되는 및/또는 서로 다른 2개의 이미지들을 합성하여 단일 이미지를 얻기 위해 중첩 영역(301)에서 이미지들을 서로 합성하는 경우를 나타낸다. 여기서, 이미지 2(202)는 물체(203)를 포함한다.
도 2의 이미지 1(201) 및 이미지 2(202)는 합성 이미지를 얻기 위해 중첩 영역(301) 상에서 서로 합성될 수 있다. 만약에, 이미지 1(201) 및 이미지 2(202)가 겹쳐지면, 이미지 1(201)은 합성된 이미지의 배경 이미지가 될 수 있고, 이미지 2(202)는 합성된 이미지의 전경 이미지가 될 수 있다. 이때, 이미지 2(202) 상에서의 물체(203)는 중첩 영역(영역 1)(301)에 위치할 수 있다. 그리고 이미지 1(201)이 이미지 2(202)와 겹쳐지는 영역은 영역 2(302)가 될 수 있다. 이때, 물체(203)는 중첩 영역(301)에 부분적으로 존재할 수 있다. 예를 들면, 물체(203)는 얼굴일 수 있으며, 얼굴의 일부가 중첩 영역(301)에 존재할 수 있다. 중첩 영역(301)의 폭 'woffset' 및 높이 'hoffset'이 결정된다. 그리고 중첩 영역(301)에 위치하는 물체(203)의 일부가 감지되고 이미지 1(201) 상에서 페이딩(fading) 없이 물체(203)를 합성하기 위해 알파 블렌딩 방식이 물체(203)의 일부 상에서 수행될 수 있다.
도 4는 본 발명의 실시 예들에 따른 이미지 처리 장치가 이미지를 합성하는 흐름도이다.
도 4를 참조하면, 401 단계에서 이미지 합성 장치(102)는 입력 장치(101)로부터 합성될 이미지들을 수신한 후, 402 단계로 진행한다. 그리고 402 단계에서, 이미지 합성 장치(102)는 수신된 이미지들을 사용자에 의해 지정된 조건 또는 미리 지정된 조건에 따라 분석한 후, 403 단계로 진행한다. 이때, 외부 모듈은 입력 장치(101)를 통해 이미지 합성 장치(102)로 중첩 영역의 높이 및 폭 등과 같은 중첩 영역과 관련된 정보를 제공할 수 있다. 그리고 403 단계에서, 이미지 합성 장치(102)는 수신된 이미지들을 분석함으로써, 합성될 이미지에서 적어도 하나의 물체를 식별한 후, 404 단계로 진행한다. 그리고 404 단계에서, 이미지 합성 장치(102)는 식별된 물체가 중첩 영역(301)에서 감지되는지 여부를 확인한다. 확인 결과, 식별된 물체가 중첩 영역(301)에서 감지되는 경우, 이미지 합성 장치(102)는 405 단계로 진행한다. 만약에, 405 단계로 진행하면, 이미지 합성 장치(102)는 식별된 물체에 대한 가우스 곡선을 생성한 후, 406 단계로 진행한다. 그리고 406 단계에서, 이미지 합성 장치(102)는 가우스 프로파일을 사용하여 중첩 영역(301)에 존재하는 물체(203)에 대한 알파 마스크를 생성한 후, 407 단계로 진행한다. 그리고 407 단계에서,이미지 합성 장치(102)는 알파 블렌딩 방식과 같은 잘 알려진 합성 방식을 이용하여 이미지들을 가우스 곡선을 따라 합성한다.
확인 결과, 식별된 물체가 중첩 영역(301) 내에서 감지되지 않는 경우, 이미지 합성 장치(102)는 406 단계로 진행한다. 그리고 406 단계에서, 이미지 합성 장치(102)는 물체(203)에 대한 알파 마스크를 생성한 후, 407 단계로 진행한다. 그리고 407 단계에서, 이미지 합성 장치(102)는 이미 알려진 블렌딩 방식을 이용하여 이미지들을 합성한다.
401 내지 407 단계는 다양한 실시 예에 따라 기존의 순서로 수행될 수 있거나 기존의 순서와 다른 순서 또는 특정 단계들이 동시에 수행될 수 있다. 일부 실시 예들에서, 도 4에 도시된 일부 단계는 생략될 수 있다.
도 5는 본 발명의 실시 예들에 따른 중첩 영역에서 물체의 위치를 자세히 나타낸 도면이다.
도 5를 참조하면, 물체(203)의 일부는 중첩 영역(501)에 있을 수 있다. 여기서, 중첩 영역(501)의 폭 및 물체(203)의 폭은 각각 'woffset' 및 'wobject'로 결정된다. 그리고 중첩 영역(301)의 시작 부분에서 물체(203)까지의 폭은 'xoffset'으로 결정된다. 그리고 중첩 영역(301)의 높이 및 중첩 영역(301) 내에 존재하는 물체(203)의 부분 높이는 각각 'hoffset' 및 'h'로 결정된다.
도 6은 본 발명의 실시 예들에 따른 물체에 대한 가우스 곡선을 도시하는 그래프이다.
도 6을 참조하면, 가우스 곡선(601)은 가우스 분포를 포함할 수 있다. 여기서, 가우스 분포는 단일 평균 값에 몰리는 경향이 있는 실가 확률 변수들을 설명하기 위한 제1 근사치로 사용될 수 있는 연속 확률 분포이다. 그리고 가우스 곡선(601)은 매우 다양한 랜덤 변수들을 모델링하기 위한 편리한 선택을 가능하게 한다. 알파 마스크 생성은 가우스 프로파일에 의해 유도될 수 있으며, 가우스 곡선은 다음의 식에 의해 결정될 수 있다.
Figure pat00001
여기서, 'a'는 곡선의 피크/최대 값을 나타내고, 'b'는 곡선의 평균 값, 예를 들면, 피크의 중앙 위치를 나타내고, 'c'는 다음의 수학식에 따라 가우스 곡선의 폭을 나타낸다.
Figure pat00002
여기서, HWHM은 반치반폭(Half Width at Half Maximum)을 나타내고, 'e'는 오일러 수(Euler's number)를 나타낸다.
중첩 영역(301)에서의 물체(203)에 대한 정보는 폭, 높이, 및 좌표의 형태로 이미지 처리 장치(102)로 제공될 수 있다. 그리고 중첩 영역(301)에서의 물체(203)에 대한 변수들, a, b, 및 c의 값들은 다음의 식들에 의해 결정될 수 있다.
Figure pat00003
여기서, 'h'는 중첩 영역(301)에 존재하는 물체(203)의 높이를 나타내고, 'xoffset'은 중첩 영역(301)의 시작부분에서 물체(203)까지의 폭을 나타내고, 'wobject'는 중첩 영역(301)에 존재하는 물체(203)의 폭을 나타낸다.
예를 들면, 물체(203) 뒤의 일부 배경 정보는 물체(203) 폭의 두 배를 HWHM으로 고려함으로써 생성될 수 있다. 그리고 HWHM의 값은 사용자 또는 외부 시스템에 의해 결정된다.
도 7은 본 발명의 실시 예들에 따른 단순 선형 경사면의 기울기를 도시한 그래프이다.
도 7을 참조하면, 중첩 영역(301)은 물체 1(701), 물체 2(702) 및 물체 3(703)과 같은 복수의 물체들을 포함할 수 있다. 가우스 곡선은 물체들(701, 702, 703) 별로 결정될 수 있다. 예를 들면, 마지막 가우스 곡선은 각 물체(701)를 중심으로 이루어진 각 가우스 곡선들의 중첩에 의해 결정될 수 있다. 마지막 가우스 곡선은 y = y1 +y2 +y3 + ... +yn 와 같이 주어질 수 있다. 여기서,
Figure pat00004
이고, ai, bi, ... , ci는 앞에서 언급된 기법에 의해 i번째 물체에 대해 계산될 수 있다.
다른 예로, 중첩 영역(301)에 존재하는 복수의 물체들에 대한 마지막 가우스 곡선은 겹쳐진 곡선들의 최소 값으로 결정될 수 있다. 즉, 마지막 가우스 곡선은 y = min(y1, y2, y3, ... yn)으로 결정될 수 있다.
도 8은 본 발명의 실시 예들에 따른 중첩 영역에서 복수의 물체들을 도시한 도면이다.
도 8을 참조하면, 중첩 영역(301)에서의 복수의 물체들(801, 802, 803)에 대한 마지막 가이딩 곡선은 기본 프로파일을 얻기 위해 개별적인 가우스 곡선 값들을 합산함으로써 결정될 수 있다.
기본 프로파일이 결정되면, 알파 마스크에서의 값들이 결정될 수 있다. 여기서 알파 마스크의 값들은 각 픽셀에 대한 투명도 정보를 결정한다. 알파 마스크는 중첩 영역(301)을 가로지르는 픽셀들의 투명도를 명시한다. 이미지 2를 불투명하게 만들어 관심 물체(203) 상의 이미지 1을 보이지 않게 하기 위해 가우스 곡선 상 및 가우스 곡선 밑의 모든 알파 값들은 '1'로 고려되어 될 수 있다. 여기서, 불투명한 이미지 2는 관심 물체(203)를 보호하고 강조할 수 있다.
남아있는 알파 마스크 값들이 픽셀 값들이 가우스 곡선에 도달할 때까지 픽셀 값들이 '0'에서 시작하여 '1'까지 점진적으로 증가하도록 알파 값들을 '0'에서 '1'까지 다양하게 결정될 수 있다.
도 9는 본 발명의 실시 예들에 따른 물체들의 개별 곡선들로부터 구성된 합성 가이드 프로파일을 도시한 도면이다.
도 9를 참조하면, 알파 값에 대한 기울기(901)는 다양한 결과들을 얻도록 다양하게 변할 수 있다. 선형 기울기에 대한 상기 알파 값은
Figure pat00005
와 같이 주어진다. 여기서, 'row=0'은 중첩 영역(301)의 정상에 있는 경우이며, 아래쪽으로 증가한다. 'd'는 'row=0'에서 가우스 곡선까지의 거리이며,
Figure pat00006
는 알파의 최대 값을 나타낸다. 일반적으로, 이 값은 '1'이지만, 구현 시 부동 소수점 산술을 피하기 위해 '255'와 같은 더 큰 수를 취할 수 있다.
예를 들면, 합성된 이미지 상에서 고스팅 효과를 피하기 위해 비선형 기울기가 고려될 수 있다. 비선형 기울기에 대한 알파 값은
Figure pat00007
와 같이 주어질 수 있다. 여기서, k는 양의 실수이며, row ∈ [0, d]인 조건 하에
Figure pat00008
이다.
여기서, 비선형 기울기에 대한 수학식에 k=1을 할당하면, 선형 기울기에 대한 수학식이 될 수 있다. 그리고 비선형 기울기에 대한 수학식은 y축에 대하여 오목한 모양을 갖는다. 곡선은 알파 값이 '0'인 곳부터 최대 오목한 점까지 점진적으로 증가하고 알파 값이 '1'인 곳까지 급격하게 증가하기 시작한다. 이와같은 오목한 곡선은 중간 범위의 알파 값들을 제거함으로써 고스팅 효과를 감소시킬 수 있다.
알파 마스크를 결정한 후, 이미지들은 알파 블렌딩, 포아송(Poisson) 블렌딩 등과 같은 합성 기법들을 이용하여 합성될 수 있다. 예를 들면, 알파 블렌딩 기법에서, 중첩 영역(301)의 마지막 픽셀은
Figure pat00009
로 계산될 수 있다.
또 다른 예로, 중첩 영역(301)의 대부분을 물체(203) 또는 물체(203)의 일부가 차지할 수 있도록 중첩 영역(301)에 존재하는 이미지 2의 물체(203)는 이미지 1의 거의 전체를 다 덮을 수 있다. 그리고 영역 2는 상대적으로 작은 데이터를 가질 수 있고, 이는 중첩 영역(301)과 매우 대조적이다. 알파 마스크 프로파일이 사용되어 최종 합성 이미지를 얻을 수 있다.
도 10은 본 발명의 실시 예들에 따른 알파 마스크 생성에 의해 합성된 이미지를 도시한 도면이다.
도 10을 참조하면, 제1이미지(1001)와 제2이미지(1002)는 입력 이미지들을 나타낸다. 제1이미지(1001)가 제2이미지(1002)와 합성될 경우, 중첩 영역이 결정될 수 있다. 그리고 중첩 영역은 제2이미지(1002)의 복수의 물체들을 포함할 수 있다. 제2이미지(1002)의 복수의 물체들은 중첩 영역에서 제1이미지(1001)와 합성될 때 보호될 필요가 있다. 알파 마스크 생성과 함께 앞에서 언급된 합성 방식을 수행한 후, 제2이미지(1002)의 복수의 물체들이 보호될 수 있다. 그리고 제2이미지(1002)의 복수의 물체들을 강조함으로써 합성 이미지(1003) 같이 시각적 효과를 강조할 수 있다.
본 발명의 실시 예들은 적어도 하나의 하드웨어 장치에서 실행되고 네트워크 관리 기능들을 수행하여 네트워크 요소들을 제어하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 1에 도시된 상기 네트워크 요소들은 하드웨어 장치 또는 하드웨어 장치와 소프트웨어 모듈의 조합 중 적어도 하나일 수 있는 블록들을 포함한다.
본 발명의 실시 예들은 맞춤화될 수 있는 어플리케이션의 면에서 하나 이상의 상주 클라이언트 개체들이 하나 이상의 클라이언트 실행 개체들 또는 서버와 협상하도록 함에 의해 상기 어플리케이션의 맞춤화를 가능하게 하여 컴퓨팅 장치 상에서 사용자 경험을 강화시키는 방법들 및 시스템들을 제공한다. 그러므로, 본 발명의 권리 범위는 이러한 프로그램 및 메시지를 포함하는 컴퓨터 판독 가능 수단까지 확장되는 것으로 이해되며, 프로그램이 서버, 이동 장치, 또는 적절한 프로그램 가능한 장치 상에서 실행될 때, 이러한 컴퓨터 판독 가능 저장 수단은 하나 이상의 상기 단계들을 수행하기 위한 프로그램 코드 수단을 포함한다. 상기 방법은 예를 들면, 초고속 집적 회로 하드웨어 기술 언어(High speed integrated circuit Hardware Description Language: VHDL)로 쓰여진 소프트웨어 프로그램을 통해 또는 이와 함께 바람직한 일 실시 예에서 구현되거나, 적어도 하나의 하드웨어 장치 상에서 실행되는 여러 소프트웨어 모듈들 또는 하나 이상의 VHDL에 의해 구현된다. 상기 하드웨어 장치는 프로그램 가능한 일종의 휴대 장치일 수 있다. 또한 장치는 예를 들면, ASIC와 같은 하드웨어 수단, ASIC 및 FPGA와 같은 하드웨어와 소프트웨어의 합성, 또는 소프트웨어 모듈들을 포함하는 적어도 하나의 메모리 및 적어도 하나의 마이크로프로세서일 수 있는 수단을 포함할 수 있다. 본 발명에서 설명된 방법에 대한 실시 예들은 하드웨어 및 소프트웨어로 부분적으로 구현될 수 있다. 또는, 본 발명은 예를 들면, 복수의 CPU들을 사용하는 서로 다른 하드웨어 장치들 상에서 구현될 수 있다.
상기 설명에서는 구체적인 특정 실시 예들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정한 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통산의 지식을 가진 자에게는 자명할 것이다. 본 발명이 속하는 분야의 기술자는 본원의 특허 청구범위에 기재된 원리 및 범위 내에서 본 발명을 여러 가지 형태로 변형 또는 변경할 수 있다.

Claims (12)

  1. 이미지 처리 장치에서 이미지를 합성하는 방법에 있어서,
    복수의 이미지들 사이의 중첩 영역에 상기 이미지들에 포함된 적어도 하나의 물체가 존재하는지를 확인하는 과정과,
    상기 확인 결과, 상기 물체가 존재하면, 상기 물체에 대한 가우스 곡선을 생성하는 과정과,
    상기 중첩 영역에 대한 알파 마스크를 결정하는 과정과,
    상기 알파 마스크를 기반으로 상기 이미지들을 합성하는 과정을 포함하는 것을 특징으로 하는 이미지 합성 방법.
  2. 제 1 항에 있어서,
    상기 가우스 곡선은 다음과 같은 수학식을 이용하여 생성되는 것을 특징으로 하는 이미지 합성 방법.
    <수학식 1>
    Figure pat00010

    상기 a는 상기 가우스 곡선의 최대 값을 나타내고, 상기 b는 상기 가우스 곡선의 평균 값을 나타내고, 상기 c는 상기 가우스 곡선의 폭을 나타내고,
    Figure pat00011
    에 따라 결정되고, 상기 HWHM은 반치반폭(Half Width at Half Maximum)을 나타내고, 상기 e는 오일러 수를 나타냄.
  3. 제 1 항에 있어서,
    상기 물체에 대한 변수들은 다음과 같은 수학식에 의해 결정되는 것을 특징으로 하는 이미지 합성 방법.
    <수학식 2>
    Figure pat00012

    상기 h는 상기 중첩 영역에 존재하는 상기 물체의 높이를 나타내고, 상기 xoffset은 상기 중첩 영역의 시작부분에서 상기 물체까지의 폭을 나타내고, 상기 wobject는 상기 중첩 영역에 존재하는 상기 물체의 폭을 나타냄.
  4. 제 1 항에 있어서,
    상기 가우스 곡선을 생성하는 과정은, 상기 물체가 적어도 두 개인 경우, 상기 적어도 두 개의 물체에 대한 가우스 곡선들을 중첩시킴으로써 상기 가우스 곡선을 생성하는 과정인 것을 특징으로 하는 이미지 합성 방법.
  5. 제 1 항에 있어서,
    상기 가우스 곡선을 생성하는 과정은, 상기 물체가 적어도 두 개인 경우, 상기 적어도 두 개의 물체에 대한 가우스 곡선들의 최소 값들을 이용하여 상기 가우스 곡선을 생성하는 과정인 것을 특징으로 하는 이미지 합성 방법.
  6. 제 1 항에 있어서,
    상기 알파 마스크는 다음과 같은 수학식에 의해 결정되는 것을 특징으로 하는 이미지 합성 방법.
    <수학식 3>
    Figure pat00013

    상기 k는 양의 실수이고, 상기 d는 row=0에서 상기 가우스 곡선까지의 거리를 나타내고, 상기
    Figure pat00014
    는 상기 알파 마스크의 최대 값을 나타냄.
  7. 이미지 처리 장치에서 이미지를 합성하는 장치에 있어서,
    표시부와,
    복수의 이미지들 사이의 중첩 영역에 상기 이미지들에 포함된 적어도 하나의 물체가 존재하는지를 확인하며, 상기 확인 결과, 상기 물체가 존재하면, 상기 물체에 대한 가우스 곡선을 생성하며, 상기 중첩 영역에 대한 알파 마스크를 결정하고, 상기 알파 마스크를 기반으로 상기 이미지들을 합성하는 이미지 합성 장치를 포함하는 것을 특징으로 하는 이미지 합성 장치.
  8. 제 7 항에 있어서,
    상기 가우스 곡선은 다음과 같은 수학식을 이용하여 생성되는 것을 특징으로 하는 이미지 합성 장치.
    <수학식 4>
    Figure pat00015

    상기 a는 상기 가우스 곡선의 최대 값을 나타내고, 상기 b는 상기 가우스 곡선의 평균 값을 나타내고, 상기 c는 상기 가우스 곡선의 폭을 나타내고,
    Figure pat00016
    에 따라 결정되고, 상기 HWHM은 반치반폭(Half Width at Half Maximum)을 나타내고, 상기 e는 오일러 수를 나타냄.
  9. 제 7 항에 있어서,
    상기 물체에 대한 변수들은 다음과 같은 수학식에 의해 결정되는 것을 특징으로 하는 이미지 합성 장치.
    <수학식 5>
    Figure pat00017

    상기 h는 상기 중첩 영역에 존재하는 상기 물체의 높이를 나타내고, 상기 xoffset은 상기 중첩 영역의 시작부분에서 상기 물체까지의 폭을 나타내고, 상기 wobject는 상기 중첩 영역에 존재하는 상기 물체의 폭을 나타냄.
  10. 제 7 항에 있어서,
    상기 이미지 합성 장치는, 상기 물체가 적어도 두 개인 경우, 상기 적어도 두 개의 물체에 대한 가우스 곡선들을 중첩시킴으로써 상기 가우스 곡선을 생성하는 것을 특징으로 하는 이미지 합성 장치.
  11. 제 7 항에 있어서,
    상기 이미지 합성 장치는, 상기 물체가 적어도 두 개인 경우, 상기 적어도 두 개의 물체에 대한 가우스 곡선들의 최소 값들을 이용하여 상기 가우스 곡선을 생성하는 것을 특징으로 하는 이미지 합성 장치.
  12. 제 7 항에 있어서,
    상기 알파 마스크는 다음과 같은 수학식에 의해 결정되는 것을 특징으로 하는 이미지 합성 장치.
    <수학식 6>
    Figure pat00018

    상기 k는 양의 실수이고, 상기 d는 row=0에서 상기 가우스 곡선까지의 거리를 나타내고, 상기
    Figure pat00019
    는 상기 알파 마스크의 최대 값을 나타냄.
KR1020120083081A 2011-08-04 2012-07-30 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법 KR101864454B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/567,475 US8731330B2 (en) 2011-08-04 2012-08-06 Apparatus and method for composing images in an image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN2683/CHE/2011 2011-08-04
IN2683CH2011 2011-08-04

Publications (2)

Publication Number Publication Date
KR20130016080A true KR20130016080A (ko) 2013-02-14
KR101864454B1 KR101864454B1 (ko) 2018-06-04

Family

ID=47895717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120083081A KR101864454B1 (ko) 2011-08-04 2012-07-30 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101864454B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930400A (zh) * 2020-04-17 2022-08-19 株式会社Celsys 用于电子书的内容生成方法和程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930400A (zh) * 2020-04-17 2022-08-19 株式会社Celsys 用于电子书的内容生成方法和程序
EP4060619A4 (en) * 2020-04-17 2023-05-17 Celsys, Inc. CONTENT GENERATING METHOD AND PROGRAM FOR ELECTRONIC BOOK
CN114930400B (zh) * 2020-04-17 2023-06-13 株式会社Celsys 用于电子书的内容生成方法和计算机可读介质
US11798212B2 (en) 2020-04-17 2023-10-24 CELSYS, Inc. Content generation method for electronic books and computer-readable medium

Also Published As

Publication number Publication date
KR101864454B1 (ko) 2018-06-04

Similar Documents

Publication Publication Date Title
KR102560187B1 (ko) 3차원(＂3d＂) 장면의 2차원(＂2d＂) 캡처 이미지를 기반으로 하는 가상 현실 콘텐츠를 렌더링하기 위한 방법 및 시스템
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
CN106157273B (zh) 生成合成图片的方法及装置
JP4970302B2 (ja) 画像処理装置，画像処理方法及び撮像装置
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
EP2709057A2 (en) System, method and computer program product for image processing, in particular for introducing blurring effects to an image
CN111179159B (zh) 消除视频中目标影像的方法、装置、电子设备及存储介质
US8731330B2 (en) Apparatus and method for composing images in an image processing device
CN105308647A (zh) 针对照片和视频的捕获设备的复制保护
CN109785264B (zh) 图像增强方法、装置及电子设备
CN109584358A (zh) 一种三维人脸重建方法及装置、设备和存储介质
JP7098601B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP4797039B2 (ja) 画像合成方法及び装置
US9460544B2 (en) Device, method and computer program for generating a synthesized image from input images representing differing views
JP2012134775A (ja) 画像処理装置、撮像装置、および画像処理プログラム
CN106412562A (zh) 三维场景中显示立体内容的方法及其系统
KR101566459B1 (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
KR101864454B1 (ko) 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법
CN118661192A (zh) 用于实时和移动视频后处理的自适应混合
CN114004726A (zh) 水印显示方法、装置、计算机设备和存储介质
Rößing et al. Real‐Time Disparity Map‐Based Pictorial Depth Cue Enhancement
CN112887611A (zh) 图像处理方法、装置、设备和存储介质
JP5055462B2 (ja) 画像処理装置，画像処理方法及び撮像装置
US20250069200A1 (en) Interactive motion blur on mobile devices
JP5713256B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120730

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170703

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120730

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180321

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180529

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180529

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210429

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230309