KR102124617B1 - 이미지 합성 방법 및 그 전자 장치 - Google Patents

이미지 합성 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102124617B1
KR102124617B1 KR1020130105579A KR20130105579A KR102124617B1 KR 102124617 B1 KR102124617 B1 KR 102124617B1 KR 1020130105579 A KR1020130105579 A KR 1020130105579A KR 20130105579 A KR20130105579 A KR 20130105579A KR 102124617 B1 KR102124617 B1 KR 102124617B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
camera
region
area
Prior art date
Application number
KR1020130105579A
Other languages
English (en)
Other versions
KR20150026561A (ko
Inventor
나진희
이기혁
이우용
김민철
윤영권
강혜진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130105579A priority Critical patent/KR102124617B1/ko
Priority to EP14177057.8A priority patent/EP2843625B1/en
Priority to US14/453,067 priority patent/US9756261B2/en
Priority to CN201410456575.4A priority patent/CN104427252B/zh
Publication of KR20150026561A publication Critical patent/KR20150026561A/ko
Application granted granted Critical
Publication of KR102124617B1 publication Critical patent/KR102124617B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지를 합성하기 위한 방법 및 그 전자 장치에 관한 것으로서, 전자 장치의 이미지 합성 방법은, 제 1 이미지 내에서, 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정하는 동작과, 상기 오브젝트 영역의 뒤틀림(warping) 값을 결정하는 동작과, 상기 뒤틀림 값에 따라 변형된 제 2 이미지를 상기 오브젝트 영역에 합성하는 동작을 포함하여, 전자 장치에서 이미지 합성 시, 이질감 없는 합성 이미지를 제공할 수 있다.

Description

이미지 합성 방법 및 그 전자 장치{METHOD FOR COMPOSING IMAGE AND AN ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치에서 획득된 이미지를 합성하기 위한 방법 및 그 전자 장치에 관한 것이다.
최근 출시되는 스마트폰 및 태블릿 PC(Personal Computer) 등과 같은 대부분의 전자 장치에는 사진 촬영을 위한 카메라가 구비되어 있다. 특히, 점차 카메라의 기능이 중요해짐에 따라, 전자 장치의 전/후면 각각에 카메라가 구비된 전자 장치가 제공되고 있다.
일반적으로, 전자 장치의 전면에 구비된 카메라와 후면에 구비된 카메라는 서로 다른 용도로 사용된다. 예를 들어, 전자 장치의 전면에 구비된 카메라는 사용자 스스로를 촬영하기 위한 용도로 사용되고, 전자 장치의 후면에 구비된 카메라는 사용자를 제외한 주면 사물, 풍경 혹은 인물을 촬영하는 용도로 사용된다. 최근에는 전/후면 카메라를 동시에 구동시켜, 전/후면 카메라로부터 획득된 이미지들을 동시에 활용할 수 있는 기술이 제공되고 있다. 예를 들어, 전자 장치의 사용자는 전자 장치에 구비된 전/후면 카메라를 모두 구동시킬 수 있고, 전자 장치는 구동된 전/후면 카메라를 이용하여 획득된 두 개의 이미지를 한 화면에 디스플레이할 수 있다. 더하여, 전자 장치는 사용자 제어에 따라 전/후면 카메라를 이용하여 획득된 두 개의 이미지를 합성하여 디스플레이할 수 있다.
상술한 바와 같이 전/후면 카메라를 이용하여 두 개의 이미지를 합성하는 경우, 전자 장치는 사물의 원근감 및 뒤틀림(warping)을 고려하지 않고 이미지를 합성하기 때문에, 이미지가 부자연스럽게 합성될 수 있다.
따라서, 본 발명의 한 실시 예는 전자 장치에서 전자 장치의 서로 다른 위치에 구비된 제 1 카메라 및 제 2 카메라를 통해 획득된 제 1 이미지 및 제 2 이미지를 합성하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 다른 실시 예는 전자 장치에서 제 1 이미지 내에서 제 2 이미지를 합성하기 위한 오브젝트(object) 영역을 결정하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 이미지 합성을 위한 오브젝트 영역의 뒤틀림을 값을 결정하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 제 1 이미지 내에 포함된 오브젝트 영역의 뒤틀림 값에 따라 변형된 제 2 이미지를 제 1 이미지의 오브젝트 영역에 합성하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 사용자에 의해 선택된 오브젝트 영역의 형태와 미리 저장된 오브젝트 형태 테이블을 비교하여 오브젝트 영역을 결정하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 사용자에 의해 선택된 오브젝트 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는 경우, 오브젝트의 개수 및 크기를 기반으로 제 2 이미지를 분할하여 합성하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 제 1 이미지에 제 2 이미지를 합성하는 경우, 합성 전에 제 1 이미지에 존재한 이미지 효과와 유사한 이미지 효과를 합성 영역에 적용하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 실시 예에 따르면, 전자 장치에서 이미지 합성 방법은 제 1 이미지 내에서, 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정하는 동작과, 상기 오브젝트 영역의 뒤틀림(warping) 값을 결정하는 동작과, 상기 뒤틀림 값에 따라 변형된 제 2 이미지를 상기 오브젝트 영역에 합성하는 동작을 포함한다.
본 발명의 실시 예에 따르면, 전자 장치에서 이미지 합성 장치는 하나 이상의 프로세서; 터치 감지 디스플레이; 적어도 한 개의 카메라; 상기 프로세서는, 상기 적어도 한 개의 카메라를 통해 제 1 이미지 및 제 2 이미지 중 적어도 하나를 획득하고, 상기 제 1 이미지 내에서 상기 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정한 후, 상기 오브젝트 영역의 뒤틀림(warping) 값을 결정하고, 상기 뒤틀림 값에 따라 변형된 제 2 이미지를 상기 오브젝트 영역에 합성하는 명령어를 포함하는 전자 장치.
본 발명에서는 전자 장치에서 제 1 이미지 및 제 2 이미지를 획득하고, 제 1 이미지에서 이미지를 합성하기 위한 오브젝트 영역을 검출한 후, 검출된 오브젝트 영역의 뒤틀림 값을 결정하고, 결정된 뒤틀림 값을 바탕으로 제 2 이미지를 변형하여, 변형된 제 2 이미지를 제 1 이미지의 오브젝트 영역에 합성함으로써, 전자 장치에서 이미지 합성 시, 이질감 없는 합성 이미지를 제공할 수 있다.
도 1은 본 발명의 실시 예에 따라 전자 장치에서 이미지를 합성하기 위한 오브젝트 영역의 뒤틀림 값을 기반으로 이미지를 변형하여 합성하는 예를 도시하는 도면,
도 2는 본 발명의 실시 예에 따라 제 1 이미지 및 제 2 이미지를 오브젝트의 뒤틀림 값을 기반으로 합성하는 전자 장치의 블록 구성을 도시하는 도면,
도 3은 본 발명의 실시 예에 따라 제 1 이미지 및 제 2 이미지를 오브젝트의 뒤틀림 값을 기반으로 합성하는 전자 장치의 프로세서를 도시하는 도면,
도 4a는 본 발명의 실시 예에 따른 전자 장치에서 결정된 오브젝트 영역의 뒤틀림 값을 기반으로 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하는 도면,
도 4b는 본 발명의 실시 예에 따른 전자 장치에서 결정된 오브젝트 영역의 뒤틀림 값을 기반으로 제 1 이미지 및 제 2 이미지를 합성하는 수단을 도시하는 도면,
도 5는 본 발명의 일 실시 예에 따른 전자 장치에서 제 1 이미지 내에 존재하는 오브젝트 영역의 형태가 사각형인 경우, 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하는 도면,
도 6a 내지 6c는 본 발명의 일 실시 예에 따른 전자 장치에서 제 1 이미지 내에 존재하는 사각형 형태의 오브젝트 영역에 제 2 이미지를 캡쳐하여 합성하는 예를 도시하는 도면,
도 7a 내지 7d는 본 발명의 일 실시 예에 따른 전자 장치에서 제 1 이미지 내에서 사용자에 의해 선택된 사각형 형태의 오브젝트 영역에 제 2 이미지를 합성하는 예를 도시하는 도면,
도 8은 본 발명의 다른 실시 예에 따른 전자 장치에서 제 1 이미지 내에 존재하는 오브젝트 영역의 형태가 사각형이 아닌 경우, 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하는 도면,
도 9a 내지 9d는 제 1 이미지 내에 존재하는 오브젝트 영역의 형태가 사각형이 아닌 경우, 제 1 이미지 및 제 2 이미지를 합성하는 하는 예를 도시하는 도면,
도 10은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는 경우, 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하는 도면,
도 11a 및 11b는 본 발명의 또 다른 실시 예에 따른 전자 장치에서 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는 경우, 제 1 이미지 및 제 2 이미지를 합성하는 예를 도시하는 도면 및
도 12a 및 12b는 본 발명의 실시 예에 따른 전자 장치에서 제 1 이미지 및 제 2 이미지 합성 시, 합성 전에 제 1 이미지에 존재한 이미지 효과를 합성된 이미지에 적용하는 예를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 설명에서 전자 장치는 두 개 이상의 카메라가 구비된 장치일 수 있다. 예를 들어, 스마트폰(Smart Phone), 태블릿 PC(Tablet Personal Computer), 이동 전화기, 화상 전화기, PDA(Personal Digital Assistant), 디지털 카메라, MP3 플레이어, 네비게이션, 랩탑(Laptop), 넷북(Netbook), 컴퓨터(Computer) 혹은 텔레비전(Television) 등을 포함한다.
이하에서는 설명의 편의를 위해 전자 장치에 두 개의 카메라가 구비된 경우를 가정하고, 두 개의 카메라가 전자 장치의 전면과 후면 각각에 구비된 경우를 가정하여 설명한다. 그러나 이하 설명되는 본 발명의 실시 예들은 두 개의 카메라가 전자 장치의 서로 다른 면에 구비된 경우 혹은 동일한 면에 구비된 경우에도 동일한 방식으로 적용될 수 있다. 또는, 두 개의 카메라가 서로 다른 기기에 구비된 경우도 가능하다. 예를 들어, 서로 다른 단말기에서 촬영한 영상을 실시간으로 합성할 수 있다.(예:영상 통화) 실시간 합성의 예로, 전면 카메라의 영상과 후면 카메라의 영상을 동일 시점의 프레임으로 서로 매칭하고, 매칭된 전면 및 후면 카메라의 영상 프레임으로부터 합성된 영상을 생성하여 화면에 표시할 수 있다. 또 다른 예를 들어, 착용형 디바이스(예: 안경)에 구비된 카메라와 휴대단말에 구비된 카메라를 이용하는 경우에도 적용될 수 있다. 또는 전자장치에 두 개 이상, 또는 두 개 이하의 카메라가 구비된 경우도 가능하다 (카메라가 구비되지 않은 경우도 포함한다). 합성될 이미지 및/또는 합성할 이미지는 전자 장치에 구비된 카메라를 통해서 획득될 수 있으며, 카메라를 통해서 획득되지 않고 다른 방법(예: 다른 전자 장치로부터 수신)으로 획득될 수도 있다.
도 1은 본 발명의 실시 예에 따라 전자 장치에서 이미지를 합성하기 위한 오브젝트 영역의 뒤틀림 값에 따라 이미지를 변형하여 합성하는 예를 도시하고 있다.
도 1을 참조하면, 전자 장치는 제 1 이미지(101)를 획득한다. 제 1 이미지(101)는, 예를 들어, 전자 장치의 후면에 구비된 제 1 카메라를 통해 획득될 수 있다. 전자 장치는 상기 제 1 이미지를 분석하여 제 1 이미지 내에서 제 2 이미지를 합성하기 위한 오브젝트 영역(예: 도 1의 103 내지 115)을 결정할 수 있다. 제 2 이미지는, 예를 들어, 전자 장치의 전면에 구비된 제 2 카메라를 통해 획득될 수 있다. 전자 장치는 제 2 이미지를 결정된 오브젝트 영역에 합성하여, 합성 이미지(117)를 획득할 수 있다.
본 발명의 다양한 실시 예에 따라 전자 장치는 오브젝트 영역의 뒤틀림 정도를 나타내는 뒤틀림(warping) 값을 결정하고, 결정된 뒤틀림 값에 따라 제 2 이미지를 변형한 후, 변형된 제 2 이미지를 결정된 오브젝트 영역에 합성할 수 있다. 이와 같이, 본 발명의 실시 예에 따른 전자 장치는 제 1 이미지의 오브젝트 영역의 뒤틀림을 고려하여 제 1 이미지의 특정 영역에 제 2 이미지를 합성시킴으로써, 제 1 이미지와 제 2 이미지의 이질감을 최소화하여 이미지를 합성할 수 있다. 오브젝트 영역의 뒤틀림을 나타내는 뒤틀림 값은 다양한 형태의 변형 특성을 나타낼 수 있다. 예를 들어, 뒤틀림 값은 이미지의 원근감(perspective), 스케일링(scaling), 회전(rotation), 아핀(affine) 특성 중 적어도 하나에 대한 파라미터를 포함할 수 있다. 아핀 특성은 아핀기하학에 의해 도출 가능한 특성을 의미하는 것으로, 더 상세하게는, 크기, 모양, 및 평행한 변수가 같은 두 이미지 사이의 거리, 각도 및 두 이미지의 넓이를 제외한 나머지 요소에 의해 불변하는 특성을 의미할 수 있다. 이하 실시 예에서는 설명의 편의를 위하여 변형 특성 중 각도를 예를 들어 설명한다.
더하여, 실시간 합성을 위하여 동시간에 생성되는 제 1 이미지와 제 2 이미지를 서로 매칭하고, 매칭된 제 1 이미지에서 합성에 필요한 뒤틀림 값을 추출하고, 제 2 이미지의 적어도 일부에 뒤틀림 값을 적용하여, 제 1 이미지와 합성된 영상을 생성할 수 있다. 더하여, 제 1 카메라와 제 2 카메라를 통해 동일 시간에 획득된 다음 프레임의 영상들을 각각 제 1 이미지와 제 2 이미지로 지정하고, 합성된 영상을 다음 프레임의 합성된 영상으로 실시간 재구성할 수 있다. 예를 들어, 전자 장치는 제 1 이미지 및 제 2 이미지 각각을 실시간으로 연속하여 획득하고, 획득된 제 1 이미지 및 제 2 이미지 각각을 실시간으로 분석하여, 제 1 이미지 내 오브젝트에 대한 뒤틀림 값을 결정하고, 결정된 뒤틀림 값을 제 1 이미지를 획득한 시점과 동일한 시점에 획득된 제 2 이미지에 적용한 후, 제 1 이미지와 제 2 이미지를 합성함으로써, 합성된 영상을 실시간으로 재구성할 수 있다.
도 2는 본 발명의 실시 예에 따라 제 1 이미지 및 제 2 이미지를 오브젝트의 뒤틀림 값에 따라 합성하는 전자 장치의 블록 구성을 도시하고 있다.
도 2를 참조하면, 전자 장치(200)는 버스(210), 프로세서(220), 메모리(230), 사용자 입력 모듈(240), 디스플레이 모듈(250) 및 카메라 모듈(260)을 포함한다. 여기서, 프로세서(220) 및 메모리(230) 중 하나 이상은 다수 개 존재할 수 있다.
버스(210)는 전자장치(200)에 포함되는 구성요소들을 서로 연결하고, 전자장치(200)에 포함되는 구성요소들 간의 통신을 제어한다.
프로세서(220)는 전자장치(200)가 다양한 서비스를 제공하도록 제어한다. 예를 들어, 프로세서(220)는 버스(210)를 통해 전자장치(200)에 포함되는 하나 이상의 다른 구성요소(예: 메모리(230), 사용자 입력 모듈(240), 디스플레이 모듈(250), 통신모듈(260))로부터 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
프로세서(220)는 메모리(230)에 저장된 하나 이상의 프로그램을 실행하여 전자 장치(200)가 다양한 서비스를 제공하도록 제어한다. 본 발명의 실시 예에 따른 프로세서(220)는 영상 분석 프로그램(231)을 제어하여 제 1 이미지 내에서 오브젝트 영역을 검출하고, 검출된 오브젝트 영역에 대한 뒤틀림 값을 결정할 수 있다. 또한, 프로세서(220)는 영상 변형 프로그램(232)을 제어하여, 영상 분석 프로그램(231)에서 결정된 뒤틀림 값을 기반으로 제 2 이미지를 변형할 수 있다. 또한, 프로세서(220)는 영상 합성 프로그램(233)을 제어하여, 제 1 이미지 내에서 검출된 오브젝트 영역에 변형된 제 2 이미지를 합성할 수 있다.
메모리(230)는 전자장치(200)에 포함되는 하나 이상의 구성 요소(프로세서(220), 사용자 입력 모듈(240), 디스플레이 모듈(250), 카메라 모듈(260))로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장한다. 예를 들어, 메모리(230)는 전자 장치(200)에 연결 가능한 주변 기기의 출력 특성 및 가상 디바이스로 인식된 응용 프로그램 정보를 저장할 수 있다.
메모리(230)는 전자 장치(200)의 서비스를 위한 하나 이상의 프로그램을 저장한다. 예를 들어, 메모리(230)는 영상 분석 프로그램(231), 영상 변형 프로그램(232) 및 영상 합성 프로그램(233) 중 하나 이상을 포함할 수 있다.
영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 획득된 제 1 이미지 내에서 이미지 합성을 위한 적어도 하나의 오브젝트 영역을 결정하고, 결정된 오브젝트 영역의 뒤틀림 값을 결정하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 영상 분석 프로그램(231)은 전자 장치(200)의 전면에 구비된 제 1 카메라(261)를 통해 획득되는 제 1 이미지를 분석하여, 제 1 이미지 내에서 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정하고, 해당 오브젝트가 정면 대비 어느 정도 뒤틀려있는지 여부를 나타낼 수 있는 뒤틀림 값을 결정할 수 있다.
먼저, 영상 분석 프로그램(231)은 사용자의 입력 수신 시 혹은 제 1 이미지 획득 시에 제 1 이미지 내에 존재하는 오브젝트의 영역을 검출할 수 있다. 예를 들어, 영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 제 1 이미지가 획득된 후, 오브젝트 영역 검출을 위한 사용자 입력이 수신된 경우, 제 1 이미지 내에서 검출 가능한 적어도 하나의 오브젝트 영역을 검출할 수 있다. 다른 예를 들어, 영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 제 1 이미지가 획득된 경우, 제 1 이미지 내에서 검출 가능한 적어도 하나의 오브젝트 영역을 검출할 수 있다. 또 다른 예를 들어, 영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 제 1 이미지가 획득된 이후에 오브젝트 영역 검출을 위한 사용자 입력이 수신된 경우, 제 1 이미지 내에서 사각형 형태의 오브젝트 영역을 검출할 수 있다. 또 다른 예를 들어, 영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 제 1 이미지가 획득된 경우, 제 1 이미지 내에서 사각형 형태의 오브젝트 영역을 검출할 수 있다. 또 다른 예를 들어, 영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 제 1 이미지가 획득된 후, 제 1 이미지 내에서 사용자 입력에 의해 특정 영역이 선택된 경우, 선택된 특정 영역으로부터 임계 거리 혹은 임계 범위 내에서 적어도 하나의 오브젝트의 영역을 검출할 수 있다. 영상 분석 프로그램(231)은 사용자에 의해 선택된 특정 영역으로부터 임계 거리 혹은 임계 범위 내에 존재하는 오브젝트의 형태를 분석하고, 미리 저장된 오브젝트 형태 DB(Data Base)에 분석된 오브젝트 형태와 일치하거나 혹은 유사한 오브젝트 형태가 존재하는지 여부를 기반으로 해당 오브젝트 영역의 검c출 여부를 결정할 수 있다. 예를 들어, 영상 분석 프로그램(231)은 제 1 이미지 내에 존재하는 오브젝트의 형태와 일치 혹은 유사한 오브젝트가 미리 저장된 오브젝트 형태 DB(Data Base)에 존재하지 않는 경우, 해당 오브젝트를 검출하지 않고 무시할 수 있다. 영상 분석 프로그램(231)은 제 1 이미지 내에 존재하는 오브젝트의 형태와 일치 혹은 유사한 오브젝트가 미리 저장된 오브젝트 형태 DB(Data Base)에 존재할 경우, 해당 오브젝트를 검출할 수 있다. 영상 분석 프로그램(231)은 비교 대상이 되는 두 오브젝트의 형태가 일치하는 정도가 미리 설정된 오차 범위 이내인 경우, 두 오브젝트의 형태가 유사하다고 판단할 수 있다. 특히, 제 1 카메라(261)를 통해 실시간으로 이미지가 입력되거나 혹은 동영상을 촬영하는 경우, 영상 분석 프로그램(231)은 실시간으로 획득되는 이미지들 내에서 오브젝트 영역을 실시간으로 검출 및 추적할 수 있다.
영상 분석 프로그램(231)은 제 1 이미지 내에서 오브젝트 영역이 검출된 경우, 해당 오브젝트의 뒤틀림 정도를 나타내는 뒤틀림 값을 결정할 수 있다. 예를 들어, 영상 분석 프로그램(231)은 제 1 이미지 촬영 시, 제 1 이미지 내에서 검출된 오브젝트와 전자 장치(200) 사이의 각도 정보와 거리 정보, 제 1 이미지 내에서 검출된 오브젝트의 크기 정보, 및 아핀 특성 중 적어도 하나를 기반으로 뒤틀림 값을 결정할 수 있다. 영상 분석 프로그램(231)은 이미지를 촬영한 카메라와 촬영된 이미지 내 오브젝트 사이의 각도를 계산할 수 있는 모듈을 포함하여, 획득된 제 1 이미지 내 오브젝트에 대한 각도 정보를 결정할 수 있다. 뒤틀림 값을 계산하는 방법의 일 예로 호모그래피(Homography) 변환 함수를 이용할 수 있다. 호모그래피 변환 함수는 최소한 네 꼭지점이 주어진 두 개의 사각형이 주어졌을 때, 두 사각형의 형태간 변환 관계를 나타내는 함수로, 이 변환 함수를 이용하여 전면 영상의 왜곡되지 않은 사각형 영역 내의 영상이 후면 영상의 왜곡된 사각형 영역으로 매핑되게 할 수 있다. 이러한 매핑 결과로부터 사각형의 뒤틀림 값을 추출할 수 있다.
영상 분석 프로그램(231)은 획득된 적어도 두 개의 이미지 중에서 뒤틀리지 않은 이미지와 뒤틀린 이미지를 형태 분석하여, 전자 장치(200)와 오브젝트 사이의 각도 정보를 획득하고, 전자 장치(200)와 오브젝트 사이의 획득된 각도 정보를 기반으로 오브젝트 영역의 뒤틀림 값을 결정할 수 있다. 예를 들어, 영상 분석 프로그램(231)은 전자 장치(200)의 전면에 구비된 카메라(262)를 통해 획득된 이미지(뒤틀리지 않은 이미지)와 후면에 구비된 카메라(261)를 통해 획득된 이미지(뒤틀린 이미지)를 호모 그래피를 통해 형태 분석하여, 전자 장치(200)와 오브젝트 사이의 각도 정보를 획득하고, 전자 장치(200)와 오브젝트 사이의 획득된 각도 정보를 기반으로 오브젝트 영역의 뒤틀림 값을 결정할 수 있다. 영상 분석 프로그램(231)은 제 1 이미지 내에서 다수개의 오브젝트 영역이 검출된 경우, 전자 장치(200)와 각각의 오브젝트 사이의 각도 정보와 거리 정보, 및 다수개의 오브젝트 영역 각각의 크기를 기반으로 오브젝트 영역 각각에 대한 뒤틀림 값을 결정할 수 있다. 영상 분석 프로그램(231)은 제 1 카메라(261)를 통해 실시간으로 이미지가 입력되거나 혹은 동영상을 촬영하는 경우, 실시간으로 입력되는 이미지들 내에서 검출되는 오브젝트 영역을 바탕으로 뒤틀림 값을 갱신할 수 있다.
영상 변형 프로그램(232)은 제 2 카메라(262)를 통해 획득된 제 2 이미지를 영상 분석 프로그램(231)을 통해 결정된 뒤틀림 값을 기반으로 변형하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 자세히 말해, 영상 변형 프로그램(232)은 이미지 합성 시, 합성된 이미지에서 뒤틀림이 이질감 없이 표현되도록 제 2 이미지를 변형할 수 있다. 예를 들어, 영상 변형 프로그램(232)은 하나의 오브젝트 영역 내에서 상대적으로 멀리 위치한 영역은 작게 표현되고, 상대적으로 가까이 위치한 오브젝트 영역은 크기가 크게 표현되도록 제 2 이미지를 변형할 수 있다. 다른 예를 들어, 영상 변형 프로그램(232)은 하나의 이미지 내에서 오른쪽 방향으로 회전한 상태에 있는 오브젝트 영역에는 제 2 이미지가 오른쪽 방향으로 회전된 형태로 표현되고, 하나의 이미지 내에서 왼쪽 방향으로 회전한 상태에 있는 오브젝트 영역에는 제 2 이미지가 왼쪽 방향으로 회전된 형태로 표현되도록 변형할 수 있다.
영상 합성 프로그램(233)은 제 1 이미지 내에서 검출된 오브젝트 영역에 변형된 제 2 이미지를 합성하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 자세히 말해, 영상 합성 프로그램(233)은 영상 분석 프로그램(231)에 의해 검출된 오브젝트 영역에 영상 변형 프로그램(232)에 의해 변형된 제 2 이미지를 합성할 수 있다. 영상 합성 프로그램(233)은 제 1 이미지 내에서 제 2 이미지의 합성이 가능한 오브젝트 영역이 다수 개 존재하는 경우, 다수개의 오브젝트 영역 중에서 사용자에 의해 선택되거나 미리 설정된 방식에 의해 선택된 적어도 하나의 오브젝트 영역에 제 2 이미지를 합성할 수 있다. 또한, 영상 합성 프로그램(233)은 제 1 이미지 내에서 제 2 이미지의 합성이 가능한 오브젝트 영역이 다수 개 존재하는 경우, 모든 오브젝트 영역에 제 2 이미지를 합성할 수 있다.
사용자 입력 모듈(240)은 사용자의 선택에 의해 발생하는 명령 또는 데이터를 버스(210)를 통해 프로세서(220)로 전송한다. 예를 들어, 사용자 입력 모듈(240)은 적어도 하나의 하드웨어 버튼을 포함하는 키패드, 터치 정보를 감지할 수 있는 터치 패널 중 하나 이상을 포함할 수 있다.
디스플레이 모듈(250)은 사용자에게 화상, 영상 또는 데이터를 표시한다. 디스플레이 모듈(250)은 제 1 이미지와 제 2 이미지를 합성하여 획득된 합성 이미지를 디스플레이 할 수 있다.
카메라 모듈(260)은 제 1 카메라(261) 및 제 2 카메라(262) 각각으로부터 입력되는 데이터를 통해 이미지를 획득하여 프로세서(220)로 전달한다.
제 1 카메라(261) 및 제 2 카메라(262)는 사용자 제어에 따라 특정 객체의 이미지를 촬영할 수 있다. 제 1 카메라(261) 및 제 2 카메라(262)는 서로 다른 위치에 구비된 카메라일 수 있으며, 사용자 제어에 따라 동시에 구동되거나 서로 다른 시점에 구동될 수 있다. 예를 들어, 제 1 카메라(261)는 전자 장치(200)의 후면에 위치한 카메라일 수 있으며, 제 2 카메라(262)는 전자 장치(200)의 전면에 위치한 카메라일 수 있다. 도 2는 제 1 및 제 2 카메라를 도시하고 있지만, 본 발명의 다양한 실시예에 따르면 전자 장치(200)에는 다양한 개수의 카메라가 구비될 수 있으며, 카메라가 구비 되지 않을 수도 있다.
도 2에서는, 전자 장치(200)의 프로세서(220)가 메모리(230)에 저장된 프로그램들(231, 232, 233)을 실행하는 방식을 기반으로, 이미지 합성 기능을 수행하는 것을 설명하였다. 그러나, 다른 실시 예로 도 3에 나타낸 바와 같이, 전자 장치(200)의 프로세서(220)가 직접 이미지 합성 기능을 수행할 수도 있다.
도 3은 본 발명의 실시 예에 따라 제 1 이미지 및 제 2 이미지를 오브젝트의 뒤틀림 값에 따라 합성하는 전자 장치의 프로세서를 도시하고 있다.
도 3을 참조하면, 프로세서(220)는 영상 분석부(300), 영상 변형부(310) 및 영상 합성부(320)를 포함할 수 있다.
영상 분석부(300)는 획득된 제 1 이미지 내에서 오브젝트 영역을 결정하고, 해당 오브젝트 영역의 뒤틀림 값을 결정하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 영상 분석부(300)는 전자 장치(200)의 전면에 구비된 제 1 카메라(261)를 통해 획득된 제 1 이미지를 분석하여, 제 1 이미지와 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정하고, 해당 오브젝트가 정면 대비 어느 정도 뒤틀려있는지 여부를 나타낼 수 있는 뒤틀림 값을 결정할 수 있다.
먼저, 영상 분석부(300)는 사용자의 입력 수신 시 혹은 제 1 이미지 획득 시 제 1 이미지 내에 존재하는 오브젝트의 영역을 검출할 수 있다. 예를 들어, 영상 분석부(300)는 제 1 카메라(261)를 통해 제 1 이미지가 획득된 후, 오브젝트 영역 검출을 위한 사용자 입력이 수신된 경우, 제 1 이미지 내에서 검출 가능한 모든 오브젝트 영역을 검출할 수 있다. 다른 예를 들어, 영상 분석부(300)는 제 1 카메라(261)를 통해 제 1 이미지가 획득된 경우, 사용자 입력 없이, 자동으로 제 1 이미지 내에서 미리 설정된 조건을 만족하는 하나 이상의 오브젝트 영역을 검출할 수 있다. 또 다른 예를 들어, 영상 분석부(300)는 제 1 카메라(261)를 통해 제 1 이미지가 획득된 후, 오브젝트 영역 검출을 위한 사용자 입력이 수신된 경우, 제 1 이미지 내에서 사각형 형태의 모든 오브젝트 영역을 검출할 수 있다. 또 다른 예를 들어, 영상 분석부(300)는 제 1 카메라(261)를 통해 제 1 이미지가 획득된 경우, 제 1 이미지 내에서 사각형 형태의 모든 오브젝트 영역을 검출할 수 있다. 또 다른 예를 들어, 영상 분석부(300)는 제 1 카메라(261)를 통해 제 1 이미지가 획득된 후, 제 1 이미지 내에서 사용자 입력에 의해 특정 영역이 선택된 경우, 선택된 특정 영역으로부터 임계 거리 내에서 검출 가능한 오브젝트의 영역을 검출할 수 있다. 만약, 사용자에 의해 선택된 특정 영역 내에 특정 형태의 오브젝트가 존재하는 경우, 영상 분석부(300)는 해당 오브젝트의 형태와 유사한 오브젝트 형태가 미리 저장된 오브젝트 형태 DB에 존재하는지 여부에 따라 오브젝트 영역을 검출할 수 있다. 특히, 제 1 카메라(261)를 통해 동영상을 촬영하는 경우, 영상 분석부(300)는 획득되는 이미지들을 이용하여 오브젝트 영역을 실시간으로 검출할 수 있다.
영상 분석부(300)는 제 1 이미지 내에서 오브젝트 영역이 검출된 경우, 해당 오브젝트의 뒤틀림 정도를 나타내는 뒤틀림 값을 결정할 수 있다. 예를 들어, 영상 분석부(300)는 제 1 이미지 촬영 시, 해당 오브젝트와 전자 장치(200) 사이의 각도 정보와 거리 정보, 해당 오브젝트의 크기 정보, 및 아핀 특성 중 적어도 하나를 이용하여 뒤틀림 값을 결정할 수 있다. 영상 분석부(300)는 이미지를 촬영한 카메라와 촬영된 오브젝트 사이의 각도를 계산할 수 있는 모듈이 구비된 경우, 획득된 제 1 이미지를 분석하여 각도 정보를 결정할 수 있고, 이미지 촬영 시, 카메라와 오브젝트 사이의 각도를 계산할 수 있는 센서가 구비된 경우, 해당 센서를 이용하여 각도 정보를 결정할 수 있다. 만약, 제 1 이미지 내에서 다수개의 오브젝트 영역이 검출된 경우, 영상 분석부(300)는 전자 장치(200)와 각각의 오브젝트 사이의 각도 정보와 거리 정보, 각 오브젝트의 크기 정보 및 아핀 특성 중 적어도 하나를 기반으로 상기 다수 개의 오브젝트 영역 중 일부 또는 전부 각각의 오브젝트 영역에 대한 뒤틀림 값을 결정할 수 있다. 특히, 제 1 카메라(261)를 통해 동영상을 촬영하는 경우, 영상 분석부(300)는 실시간으로 검출되는 오브젝트 영역을 바탕으로 뒤틀림 값을 갱신할 수 있다.
영상 변형부(310)는 획득된 제 2 이미지를 영상 분석부(300)를 통해 결정된 뒤틀림 값을 기반으로 변형하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 영상 변형부(310)는 전자 장치(100)의 후면에 구비된 제 2 카메라(262)를 통해 획득된 제 2 이미지를 영상 분석부(300)를 통해 결정된 뒤틀림 값을 기반으로 변형할 수 있다. 영상 변형부(310)는 이미지 합성 시, 합성된 이미지에서 원근감 및 뒤틀림이 이질감 없이 표현되도록 제 2 이미지를 변형할 수 있다. 예를 들어, 영상 변형부(310)는 하나의 오브젝트 영역 내에서도 상대적으로 멀리 위치한 영역은 크기가 작게 표현되고, 상대적으로 가까이 위치한 영역은 크기가 크게 표현되도록 제 2 이미지를 변형할 수 있다.
영상 합성부(320)는 제 1 이미지 내에서 검출된 오브젝트 영역에 변형된 제 2 이미지를 합성하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 자세히 말해, 영상 합성부(320)는 영상 분석부(300)에 의해 검출된 오브젝트 영역에 영상 변형부(310)에 의해 변형된 제 2 이미지를 합성할 수 있다. 만약, 합성 가능한 오브젝트 영역이 다수 개 존재하는 경우, 영상 합성부(320)는 사용자에 의해 선택된 오브젝트 영역에 제 2 이미지를 합성하거나 혹은 모든 오브젝트 영역에 제2 이미지를 합성하거나 혹은 임의의 오브젝트 영역에 제 2 이미지를 합성할 수 있다.
도 4a는 본 발명의 실시 예에 따른 전자 장치에서 결정된 오브젝트 영역의 뒤틀림 값을 기반으로 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하고 있다.
도 4a를 참조하면, 전자 장치(200)는 401동작에서 제 1 이미지 및 제 2 이미지를 획득한다. 예를 들어, 전자 장치(200)는 전자 장치(200)의 서로 다른 위치에 구비된 제 1 카메라 및 제 2 카메라를 통해 제 1 이미지 및 제 2 이미지를 획득할 수 있다. 예를 들어, 제 1 카메라는 전자 장치(200)의 후면에 구비된 카메라일 수 있고, 제 2 카메라는 전자 장치(200)의 전면에 구비된 카메라일 수 있다.
전자 장치(200)는 403동작에서, 획득된 제 1 이미지 내에서 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정할 수 있다. 예를 들어, 전자 장치(200)는 제 1 이미지 획득 시, 제 1 이미지 내에서 검출 가능한 적어도 하나의 오브젝트 영역을 제 2 이미지를 합성하기 위한 오브젝트 영역으로 결정할 수 있다. 다른 예를 들어, 전자 장치(200)는 제 1 이미지 내에서 사용자 입력에 의해 선택된 영역으로부터 임계 거리 혹은 임계 범위 내에 위치한 적어도 하나의 오브젝트 영역을 제 2 이미지를 합성하기 위한 오브젝트 영역으로 결정할 수 있다.
전자 장치(200)는 405동작에서, 결정된 오브젝트 영역의 뒤틀림(warping) 값을 결정할 수 있다. 다시 말해, 전자 장치(200)는 검출된 오브젝트 영역이 정면 대비 어느 정도 뒤틀려있는지 여부를 나타내는 뒤틀림 값을 결정할 수 있다. 전자 장치(200)는 전자 장치(200)와 검출된 오브젝트 영역 사이의 각도 정보와 거리 정보, 검출된 오브젝트의 크기 정보, 및 아핀 정보 중 적어도 하나를 기반으로 뒤틀림 값을 결정할 수 있다. 더하여, 전자 장치(200)는 검출된 오브젝트 영역이 다수 개인 경우, 오브젝트 영역 각각에 대한 뒤틀림 값을 결정할 수 있다. 더하여, 전자 장치(200)는 검출된 오브젝트 영역의 형상(예 : 가로 크기와 세로 크기의 비율)이 제 2 이미지와 소정수준 이상 차이가 발생할 경우, 제 2 이미지의 적어도 일부를 검출된 오브젝트 영역의 형상에 맞도록 형상을 조절(예 : 크롭)할 수 있다.
이후, 전자 장치(200)는 407동작에서, 결정된 뒤틀림 값에 따라 변형된 제 2 이미지를 오브젝트 영역에 합성할 수 있다. 예를 들어, 전자 장치(200)는 제 1 이미지의 검출된 오브젝트 영역에 뒤틀림 값을 기반으로 변형된 제 2 이미지를 합성할 수 있다. 이에 따라, 전자 장치(200)는 사용자에게 이질감 없는 합성 이미지를 제공할 수 있다.
도 4b는 본 발명의 실시 예에 따른 전자 장치에서 결정된 오브젝트 영역의 뒤틀림 값을 기반으로 제 1 이미지 및 제 2 이미지를 합성하는 수단을 도시하고 있다.
도 4b를 참조하면, 전자 장치(200)는 제 1 이미지 내에서, 제 2 이미지를 합성하기 위한 오브젝트 영역을 결정하는 수단(411)을 포함할 수 있다. 더하여, 전자 장치(200)는 이미지 내에서 특정 오브젝트의 특징점을 추출하는 수단 및 추출된 특징점을 기반으로 오브젝트의 영역을 검출하는 수단을 포함할 수 있다. 더하여, 전자 장치(200)는 오브젝트 형태에 대한 정보를 저장한 DB(Data Base) 및 이미지 내의 오브젝트 형태와 해당 DB 내의 오브젝트 형태를 비교하여, 유사한 오브젝트 형태를 검출하는 수단을 포함할 수 있다.
또한, 전자 장치(200)는 오브젝트 영역의 뒤틀림(warping) 값을 결정하는 수단(413)을 포함할 수 있다. 전자 장치(200)는 이미지 촬영 시, 전자 장치(200)와 촬영 대상 사이의 각도와 거리, 촬영 대상의 크기 및 아핀 특성 중 적어도 하나를 계산하는 수단을 포함할 수 있다.
더하여, 전자 장치(200)는 뒤틀림 값에 따라 변형된 제 2 이미지를 오브젝트 영역에 합성하는 수단(415)을 포함할 수 있다. 또한, 제 1 카메라를 통해 동영상을 촬영하는 경우, 전자 장치(200)는 획득되는 이미지들을 이용하여 오브젝트 영역을 실시간으로 검출하는 수단 및 실시간으로 검출되는 오브젝트 영역을 이용하여 뒤틀림 값을 갱신하는 수단을 포함할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 전자 장치에서 제 1 이미지 내에 존재하는 오브젝트 영역의 형태가 사각형인 경우, 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하고 있다.
도 5를 참조하면, 전자 장치(200)는 501동작에서 제 1 카메라(261) 및 제 2 카메라(262)를 구동할 수 있다. 여기서, 제 1 카메라(261) 및 제 2 카메라(262)는 전자 장치(200)의 서로 다른 위치에 구비된 카메라일 수 있다. 예를 들어, 제 1 카메라(261)는 전자 장치(200)의 후면에 구비된 카메라일 수 있고, 제 2 카메라(262)는 전자 장치(200)의 전면에 구비된 카메라일 수 있다.
전자 장치(200)는 503동작에서 제 1 카메라(261) 및 제 2 카메라(262)를 이용하여 제 1 이미지 및 제 2 이미지를 획득할 수 있다. 여기서, 제 1 이미지는 제 1 카메라(261)를 통해 획득된 이미지를 의미하고, 제 2 이미지는 제 2 카메라(262)를 통해 획득된 이미지를 의미한다.
전자 장치(200)는 505동작에서 제 1 이미지를 분석하여 제 1 이미지 내에서 사각형 형태의 오브젝트 영역을 검출할 수 있다. 이때, 전자 장치(200)는 미리 공지된 오브젝트 검출 기술을 이용하여, 이미지 내에서 특정 형태를 가지는 오브젝트의 특징점들을 추출하고, 추출된 특징점들을 바탕으로 오브젝트의 영역을 검출할 수 있다. 예를 들어, 전자 장치(200)는 제 1 이미지 내에서 검출 가능한 사각형 형태의 오브젝트 영역을 모두 검출할 수 있다. 다른 예를 들어, 전자 장치(200)는 제 1 이미지 내에서 사용자 입력에 의해 특정 영역이 선택된 경우, 선택된 특정 영역으로부터 임계 거리 내에서 검출 가능한 오브젝트의 영역을 검출할 수 있다.
전자 장치(200)는 507동작에서, 전자 장치(200)와 해당 오브젝트 사이의 각도 정보를 기반으로 오브젝트 영역의 뒤틀림 값을 결정할 수 있다. 예를 들어, 전자 장치(200)는 검출된 오브젝트가 정면 대비 어느 정도 뒤틀려있는지 여부를 확인하기 위해, 전자 장치(200)의 전면에 구비된 카메라(262)를 통해 획득된 이미지(뒤틀리지 않은 이미지)와 후면에 구비된 카메라(261)를 통해 획득된 이미지(뒤틀린 이미지)를 형태 분석하여(예를 들어, 호모 그래피), 전자 장치(200)와 오브젝트 사이의 각도 정보를 획득하고, 전자 장치(200)와 오브젝트 사이의 획득된 각도 정보를 기반으로 오브젝트 영역의 뒤틀림 값을 결정할 수 있다. 더하여, 전자 장치(200)는 전자 장치(200)와 사이의 거리 정보를 포함하여 뒤틀림 값을 결정할 수 있다.
이후, 전자 장치(200)는 509동작에서, 결정된 뒤틀림 값을 바탕으로 제 2 이미지를 변형한 후, 511동작으로 진행하여 변형된 제 2 이미지를 사용자 제어에 따라 제 1 이미지의 오브젝트 영역에 합성할 수 있다. 이후, 전자 장치(200)는 본 발명의 일 실시 예에 따른 절차를 종료할 수 있다.
도 6a 내지 6c는 본 발명의 일 실시 예에 따른 전자 장치에서 제 1 이미지 내에 존재하는 사각형 형태의 오브젝트 영역에 제 2 이미지를 캡쳐하여 합성하는 예를 도시하고 있다. 전자 장치(200)는 도 6a에 도시된 바와 같이, 제 1 이미지 내에서 검출 가능한 모든 오브젝트 영역(601 내지 613)을 검출할 수 있다. 이후, 전자 장치(200)는 각각의 오브젝트 영역의 뒤틀림 값을 결정하고, 도 6b에 도시된 바와 같이, 사용자 제어에 따라 특정 오브젝트 영역이 선택되면, 선택된 오브젝트 영역에 대한 뒤틀림 값을 바탕으로 제 2 이미지를 변형하여 해당 오브젝트 영역(621)에 합성할 수 있다. 만약, 제 1 오브젝트 영역에 이미지가 합성된 후, 제 1 오브젝트 영역이 다시 선택된 경우, 전자 장치(200)는 다시 선택된 제 1 오브젝트 영역에 다시 선택된 시점에 획득된 제 2 이미지를 합성시켜 합성 이미지를 갱신할 수 있다. 반면, 제 1 오브젝트 영역에 이미지가 합성된 후, 제 2 오브젝트 영역이 선택된 경우, 전자 장치(200)는 도 6c에 도시된 바와 같이 제 1 오브젝트 영역에 합성된 이미지(621)를 그대로 유지하고, 제 2 오브젝트 영역이 선택된 시점에 획득된 제 2 이미지를 제 2 오브젝트 영역(623)에 합성할 수 있다.
도 7a 내지 7d는 본 발명의 일 실시 예에 따른 전자 장치에서 제 1 이미지 내에서 사용자에 의해 선택된 사각형 형태의 오브젝트 영역에 제 2 이미지를 합성하는 예를 도시하고 있다. 전자 장치(200)는 도 7a에 도시된 바와 같이, 제 1 카메라(261)를 통해 제 1 이미지(701)를 획득할 수 있다. 전자 장치(200)는 도 7b에 도시된 바와 같이, 사용자 입력에 따라 특정 영역이 선택(703)된 경우, 선택된 특정 영역으로부터 임계 거리 내에서 검출 가능한 오브젝트의 영역을 검출할 수 있다. 전자 장치(200)는 검출된 오브젝트 영역에 대한 뒤틀림 값을 결정하여, 도 7c에 도시된 바와 같이, 결정된 뒤틀림 값을 바탕으로 제 2 이미지를 변형시킬 수 있다. 전자 장치(200)는 도 7d에 도시 도시된 바와 같이, 검출된 오브젝트 영역(705)에 변형된 제 2 이미지를 합성할 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 전자 장치에서 제 1 이미지 내에 존재하는 오브젝트 영역의 형태가 사각형이 아닌 경우, 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하고 있다.
도 8을 참조하면, 전자 장치(200)는 801동작에서 제 1 카메라(261) 및 제 2 카메라(262)를 구동한 후, 803동작에서 제 1 카메라(261) 및 제 2 카메라(262)를 이용하여 제 1 이미지 및 제 2 이미지를 획득할 수 있다.
전자 장치(200)는 805동작에서 제 1 이미지의 특정 영역이 선택되는지 여부를 확인한다. 예를 들어, 전자 장치(200)는 특정 영역에 대해 미리 정의된 입력(예를 들어, 탭, 더블 탭 혹은 드래그)이 수신되는지 여부를 확인할 수 있다. 다른 예를 들어, 전자 장치(200)는 이미지 획득 시, 미리 설정된 조건을 만족하는 특정 영역이 자동으로 선택되는지 여부를 확인할 수 있다.
만약, 제 1 이미지의 특정 영역이 선택된 경우, 전자 장치(200)는 807동작에서, 선택된 영역으로부터 임계 거리 내에서 오브젝트 영역을 검출할 수 있다. 예를 들어, 전자 장치(200)는 사용자에 의해 특정 영역이 선택된 경우, 선택된 특정 영역 주변에 위치한 오브젝트의 영역을 검출할 수 있다. 다른 예를 들어, 전자 장치(200)는 미리 설정된 조건을 만족하는 특정 오브젝트의 영역을 자동으로 검출할 수 있다.
반면, 제 1 이미지의 특정 영역이 선택되지 않은 경우, 전자 장치(200)는 805동작으로 되돌아가 이하 동작을 재수행한다.
807동작 이후, 전자 장치(200)는 809동작에서, 검출된 오브젝트 영역의 형태가 오브젝트 형태 DB에 존재하는지 여부를 확인한다. 예를 들어, 전자 장치(200)는 사용자 제어에 따라 선택된 영역 내에서 검출된 오브젝트의 형태와 유사한 오브젝트 형태를 미리 저장된 오브젝트 형태 DB에서 검색하고, 검색 결과를 기반으로 오브젝트 형태를 검출할 수 있다. 사용자 제어에 따라 선택된 영역 내에서 원형의 오브젝트가 검출된 경우, 전자 장치(200)는 미리 저장된 오브젝트 형태 DB에서 원형과 유사한 오브젝트 형태가 존재하는지 여부를 확인하고, 원형과 유사한 오브젝트 형태가 존재하는 경우, 선택된 영역 내에서 해당 형태를 기반으로 오브젝트 영역을 검출할 수 있다. 여기서, 오브젝트 형태 DB는 전자 장치(200)의 메모리에 미리 저장되어 있을 수 있고, 전자 장치(200)를 제외한 다른 외부 장치(예: 외부 서버 및 다른 전자 장치)에 저장되어 있을 수 있다. 예를 들어, 전자 장치(200)에 데이터 통신을 수행할 수 있는 통신부가 구비된 경우, 전자 장치(200)는 통신부를 통해 다른 외부장치의 오브젝트 DB를 검색할 수 있다.
만약, 검출된 오브젝트 영역의 형태가 오브젝트 형태 DB에 존재하는 경우, 전자 장치(200)는 811동작에서, 카메라와 해당 오브젝트 사이의 각도 정보를 기반으로 오브젝트 영역의 뒤틀림 값을 결정할 수 있다. 자세히 말해, 전자 장치(200)의 전면에 구비된 카메라(261)를 통해 획득된 이미지(뒤틀리지 않은 이미지)와 후면에 구비된 카메라(262)를 통해 획득된 이미지(뒤틀린 이미지)를 형태 분석하여(예를 들어, 호모 그래피), 전자 장치(200)와 오브젝트 사이의 각도 정보를 획득하고, 전자 장치(200)와 오브젝트 사이의 획득된 각도 정보를 기반으로 오브젝트 영역의 뒤틀림 값을 결정할 수 있다. 더하여, 전자 장치(200)는 전자 장치(200)와 사이의 거리 정보를 포함하여 뒤틀림 값을 결정할 수 있다.
반면, 검출된 오브젝트 영역의 형태가 오브젝트 형태 DB에 존재하지 않는 경우, 전자 장치(200)는 805동작으로 되돌아가 이하 동작을 재수행한다.
811동작 이후, 전자 장치(200)는 813동작에서, 결정된 뒤틀림 값을 바탕으로 제 2 이미지를 변형한 후, 815동작에서 변형된 제 2 이미지를 제 1 이미지의 오브젝트 영역에 합성할 수 있다. 이후, 전자 장치(200)는 본 발명의 다른 실시 예에 따른 절차를 종료할 수 있다.
도 9a 내지 9d는 제 1 이미지 내에 존재하는 오브젝트 영역의 형태가 사각형이 아닌 경우, 제 1 이미지 및 제 2 이미지를 합성하는 하는 예를 도시하고 있다. 전자 장치(200)는 도 9a에 도시된 바와 같이, 사용자에 의해 제 1 이미지의 특정 영역(901)이 선택된 경우, 선택된 영역(901)으로부터 임계 거리 내에서 오브젝트 영역을 검출한다. 검출된 오브젝트 영역의 형태가 원형인 경우, 전자 장치(200)는 미리 저장된 오브젝트 형태 DB에 원형과 유사한 오브젝트 형태가 존재하는지 여부를 확인한다. 오브젝트 형태 DB에 원형과 유사한 오브젝트 형태가 존재하는 경우, 전자 장치(200)는 도 9b에 도시된 바와 같이, 해당 형태(911)를 기반으로 제 1 이미지의 오브젝트 영역 내에 제 1 이미지를 합성함으로써, 합성 이미지(913)를 획득할 수 있다. 이때, 전자 장치(200)는 해당 오브젝트의 뒤틀림 값을 결정하여, 결정된 뒤틀림 값을 바탕으로 제 2 이미지를 변형한 후, 제 1 이미지의 오브젝트 영역에 변형된 제 2 이미지를 합성함으로써, 합성 이미지를 획득할 수 있다. 전자 장치(200)는 도 9c에 도시된 바와 같이, 오브젝트 형태 DB를 기반으로 합성된 이미지를 제 1 이미지의 오브젝트 영역에 합성함으로써, 최종적으로 합성 이미지(921)를 획득할 수 있다. 만약, 오브젝트 형태 DB에 3차원 오브젝트 형태가 저장된 경우, 전자 장치(200)는 오브젝트 형태 DB에서 3차원 오브젝트 형태를 검색하고, 해당 오브젝트의 뒤틀림 값을 결정하여, 결정된 뒤틀림 값을 기반으로 이미지를 합성할 수 있다. 예를 들어, 전자 장치(200)는 도 9d에 도시된 바와 같이, 오브젝트 형태 DB에서 3차원 구의 형태를 검색하고, 검색된 3차원 구의 형태(931)의 뒤틀림 값을 결정하여, 결정된 뒤틀림 값을 바탕으로 변형된 제 2 이미지(933)를 제 1 이미지에 합성할 수 있다.
도 10은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는 경우, 제 1 이미지 및 제 2 이미지를 합성하는 절차를 도시하고 있다.
도 10을 참조하면, 전자 장치(200)는 1001동작에서 제 1 카메라(261) 및 제 2 카메라(262)를 구동한 후, 1003동작에서 제 1 카메라(261) 및 제 2 카메라(262)를 이용하여 제 1 이미지 및 제 2 이미지를 획득할 수 있다.
전자 장치(200)는 1005동작에서 사용자로부터 제 1 이미지의 특정 영역이 선택되는지 여부를 확인한다. 다시 말해, 전자 장치(200)는 특정 영역에 대해 미리 정의된 입력(예를 들어, 탭, 더블 탭 혹은 드래그)이 수신되는지 여부를 확인한다.
만약, 사용자로부터 제 1 이미지의 특정 영역이 선택된 경우, 전자 장치(200)는 1007동작에서, 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는지 여부를 확인한다. 예를 들어, 전자 장치(200)는 아파트 유리창 같이, 동일한 형태의 오브젝트가 사용자에 의해 선택된 영역에 다수 개 존재하는지 여부를 확인한다.
반면, 사용자로부터 제 1 이미지의 특정 영역이 선택되지 않은 경우, 전자 장치(200)는 1005동작으로 되돌아가 이하 동작을 재수행한다.
1007동작에서, 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는 경우, 전자 장치(200)는 1009동작으로 진행하여 오브젝트의 개수 및 크기를 기반으로 제 2 이미지를 분할할 수 있다. 예를 들어, 선택된 영역에 사각형 오브젝트가 4개 존재하는 경우, 전자 장치(200)는 제 2 이미지를 4개의 이미지로 분할할 수 있다. 특히, 전자 장치(200)는 오브젝트 영역 각각의 크기에 대응되는 크기로 제 2 이미지를 분할할 수 있다.
1007동작에서 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하지 않는 경우, 전자 장치(200)는 1017동작으로 진행하여 선택된 영역에 하나의 오브젝트가 존재하는지 여부를 확인한다.
만약, 선택된 영역에 하나의 오브젝트가 존재하는 경우, 전자 장치(200)는 도 8의 807동작에서, 이하 동작을 수행한다.
반면, 선택된 영역에 하나의 오브젝트가 존재하지 않는 경우, 전자 장치(200)는 1005동작으로 되돌아가 이하 동작을 재수행한다.
1009동작 이후, 전자 장치(200)는 1011동작으로 진행하여 카메라와 해당 오브젝트 사이의 각도 정보를 기반으로 오브젝트 영역 각각의 뒤틀림 값을 결정할 수 있다. 자세히 말해, 전자 장치(200)는 이미지 촬영 시, 오브젝트를 촬영한 전자 장치(200)의 카메라와 촬영된 각각의 오브젝트 사이의 각도 정보를 각도 측정 센서를 이용하여 측정함으로써, 각각의 오브젝트 영역이 정면 대비 어느 정도 뒤틀려있는지 여부를 나타내는 뒤틀림 값을 오브젝트별로 결정할 수 있다.
전자 장치(200)는 1013동작에서, 오브젝트별 뒤틀림 값을 바탕으로 분할된 이미지 각각을 변형한 후, 1015동작에서 변형된 이미지 각각을 제 1 이미지의 오브젝트 영역에 합성할 수 있다. 이후, 전자 장치(200)는 본 발명의 또 다른 실시 예에 따른 절차를 종료할 수 있다.
도 11a 및 11b는 본 발명의 또 다른 실시 예에 따른 전자 장치에서 선택된 영역에 동일한 형태를 가지는 두 개 이상의 오브젝트가 존재하는 경우, 제 1 이미지 및 제 2 이미지를 합성하는 예를 도시하고 있다. 사용자에 의해 선택된 영역 내에 다수 개의 사각형으로 구성된 오브젝트가 존재하는 경우, 전자 장치(200)는 도 11a에 도시된 바와 같이, 오브젝트의 개수 및 크기에 따라 제 2 이미지를 다수 개로 분할하여 분할된 다수 개의 이미지 각각을 제 1 이미지 내 다수개의 오브젝트 영역에 합성할 수 있다. 더하여, 전자 장치(200)는 각각의 오브젝트에 대한 뒤틀림 값을 결정하고, 분할된 이미지 각각을 결정된 각각의 뒤틀림 값을 바탕으로 변형하여 합성할 수 있다. 선택된 영역 내에 존재하는 오브젝트의 개수가 임계 개수보다 많거나 오브젝트의 크기가 임계 크기보다 작은 경우, 전자 장치(200)는 제 2 이미지를 모자이크 처리하여 제 1 이미지 내에 다수 개의 사각형으로 구성된 오브젝트 영역에 합성할 수 있다. 다른 예를 들어, 사용자에 의해 선택된 영역(1101) 내에 사각형 오브젝트가 다수개 존재하는 경우, 전자 장치(200)는 도 11b에 도시된 바와 같이, 오브젝트의 개수 및 크기에 따라 제 2 이미지를 다수 개로 분할하여 분할된 다수개의 이미지 각각을 제 1 이미지 내 다수개의 오브젝트 영역에 합성할 수 있다. 이때, 각각의 분할된 다수 개의 이미지의 크기는 오브젝트 각각의 크기 및 위치에 대응될 수 있다.
추가로, 전자 장치(200)는 이미지 합성 전에 제 1 이미지의 오브젝트 영역에 존재하는 이미지 효과를 확인하고, 동일한 효과를 합성 영역에 적용할 수 있다.
도 12a 및 12b는 본 발명의 실시 예에 따른 전자 장치에서 제 1 이미지 및 제 2 이미지 합성 시, 합성 전에 제 1 이미지에 존재한 이미지 효과를 합성된 이미지에 적용하는 예를 도시하고 있다. 전자 장치(200)는 도 12a에 도시된 바와 같이, 제 1 이미지에서 오브젝트 영역(1201)의 밝기 정보를 확인하고, 확인된 밝기 정보와 동일한 밝기 정보를 제 2 이미지에 적용하여 제 1 이미지의 오브젝트 영역에 제 2 이미지를 합성할 수 있다. 다른 예를 들어, 전자 장치(200)는 도 12a에 도시된 바와 같이, 제 1 이미지에서 오브젝트 영역의 초점 정보를 확인하고, 확인된 초점 정보와 동일한 초점 정보를 제 2 이미지에 적용하여 제 1 이미지의 오브젝트 영역에 제 2 이미지를 합성할 수 있다. 이미지 효과는, 밝기, 명도, 휘도, 색감, 초점 등과 같이, 이미지에 가해질 수 있는 그래픽 효과를 포함할 수 있다.
추가로, 오브젝트 영역 검출 시, 검출된 오브젝트 영역의 가로 대 세로 비율이 미리 설정된 조건을 만족하지 않는 경우, 전자 장치(200)는 검출된 오브젝트 영역을 제 2 이미지의 크기에 따라 잘라내어 합성할 수 있다.
추가로, 전자 장치(200)는 이미지 합성 시, 합성된 이미지의 이질감을 최소화하기 위해 합성된 이미지의 테두리의 밝기 및 선명도를 제어할 수 있다.
본 명세서에 설명된 발명의 실시 예 및 모든 기능 동작들은 본 명세서에서 개시된 구조 및 이들의 균등 구조들을 포함하는 컴퓨터 소프트웨어, 펌웨어(firmware), 또는 하드웨어로, 또는 이들의 하나 이상의 조합으로 실시될 수 있다. 또한, 본 명세서에서 설명된 발 명의 실시 예들은 하나 이상의 컴퓨터 프로그램 제품, 즉 데이터 프로세싱 장치에 의해 실행되거나 이 장치의 동작을 제어하기 위한 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터프로그램 명령어들의 하나 이상의 모듈로 실시될 수 있다.
컴퓨터 판독가능 매체는 머신 판독가능 저장 매체, 머신 판독가능 저장 기판, 메모리 장치, 머신 판독가능 전파 스트림에 영향을 주는 물질의 구성, 또는 이들의 하나 이상의 조합이 될 수 있다. 데이터 프로세싱 장치라는 용어는 예로 프로그램 가능한 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함하는 데이터를 프로세싱하기 위한 모든 기기, 장치 및 머신을 포함한다. 기기는 하드웨어에 부가하여 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예컨대 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템 또는 하나 이상의 이들의 조합을 구성하는 코드를 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야한다.

Claims (20)

  1. 전자 장치의 제어 방법으로서,
    제 1 카메라로부터 제 1 이미지 및 제 2 카메라로부터 제 2 이미지를 획득하는 동작, 상기 제 1 카메라 및 상기 제 2 카메라는 상기 전자 장치에 포함되고 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 획득됨;
    상기 제 2 이미지를 상기 제 1 이미지로 합성하기 위한 상기 제 1 이미지 내에 완전히 있는 오브젝트 영역을 결정하는 동작;
    상기 오브젝트 영역과 상기 제 2 이미지 사이의 형상 변형을 나타내는 함수를 이용하여 상기 오브젝트 영역의 뒤틀림(warping) 값을 결정하는 동작; 및
    상기 제 1 이미지 내에 상기 제 2 이미지를 디스플레이하는 동작을 포함하고, 상기 제 2 이미지는 오브젝트 영역에서 오브젝트 영역의 뒤틀림 값에 따라 변형되는 전자 장치의 제어 방법.
  2. 제 1 항에 있어서,
    상기 오브젝트 영역을 결정하는 동작은,
    상기 제 1 이미지 내에서, 상기 전자 장치에 미리 등록된 형태에 대응하는 적어도 하나의 오브젝트 영역을 검출하는 동작과,
    상기 적어도 하나의 오브젝트 영역을 상기 제 2 이미지를 합성하기 위한 오브젝트 영역으로 결정하는 동작을 포함하는
    전자 장치의 제어 방법.
  3. 제 2 항에 있어서,
    상기 오브젝트 영역을 결정하는 동작은,
    상기 제 1 이미지 내에서 사용자 제어에 의해 선택된 영역을 감지하는 동작과,
    상기 선택된 영역으로부터 임계 거리 이내에서 적어도 하나의 오브젝트 영역을 검출하는 동작과,
    상기 적어도 하나의 오브젝트 영역을 상기 제 2 이미지를 합성하기 위한 오브젝트 영역으로 결정하는 동작을 포함하는
    전자 장치의 제어 방법.
  4. 제 1 항에 있어서,
    상기 오브젝트 영역의 뒤틀림 값은, 상기 전자 장치와 상기 오브젝트 사이의 각도, 상기 제 1 카메라와 상기 오브젝트 사이의 거리, 상기 오브젝트의 크기, 및 상기 오브젝트에 대한 아핀 특성 정보 중 적어도 하나를 기반으로 결정하는
    전자 장치의 제어 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 오브젝트 영역을 결정하는 동작은,
    상기 제 1 이미지 내에서 동일한 형태를 갖는 복수의 상기 오브젝트 영역들을 상기 제 2 이미지를 합성하기 위한 오브젝트 영역으로 결정하는 동작을 포함하는 전자 장치의 제어 방법.
  7. 제 6 항에 있어서,
    상기 제 1 이미지 내에 상기 제 2 이미지를 디스플레이 하는 동작은,
    상기 복수의 오브젝트 영역들의 수가 임계값 보다 작은 경우, 상기 복수의 오브젝트 영역들의 수 및 크기를 기반으로 상기 제 2 이미지를 복수의 이미지로 분할하는 동작과,
    상기 복수의 오브젝트 영역 각각에 분할된 상기 복수의 이미지를 디스플레이 하는 동작을 포함하는 전자 장치의 제어 방법.
  8. 제 6 항에 있어서,
    상기 제 1 이미지 내에 상기 제 2 이미지를 디스플레이 하는 동작은,
    상기 복수의 오브젝트 영역들의 수가 임계값보다 많은 경우, 상기 제 2 이미지를 모자이크 처리하는 동작과,
    상기 복수의 오브젝트 영역에 상기 모자이크 처리된 제 2 이미지를 합성하는 동작을 포함하는 전자 장치의 제어 방법.
  9. 제 1 항에 있어서,
    상기 제 2 이미지를 디스플레이 하는 동작은,
    상기 제 1 이미지에서 상기 오브젝트 영역에 적용된 이미지 효과를 상기 제 2 이미지에 적용하는 동작과,
    상기 이미지 효과가 적용된 제 2 이미지를 상기 제 1 이미지 내 상기 오브젝트 영역에 합성하는 동작을 포함하는 전자 장치의 제어 방법.
  10. 제 9 항에 있어서,
    상기 이미지 효과는, 밝기, 명도, 휘도, 색감, 초점 중 적어도 하나를 포함하는
    전자 장치의 제어 방법.
  11. 삭제
  12. 제 1항에 있어서,
    다른 전자 장치로부터 상기 제 1 이미지 및 제 2 이미지 중 적어도 하나를 획득하는 동작을 더 포함하는
    전자 장치의 제어 방법.
  13. 제 1 항에 있어서,
    다른 외부 장치로부터 상기 제 1 이미지 및 제 2 이미지 중 적어도 하나를 획득하는 동작을 더 포함하는
    전자 장치의 제어 방법.
  14. 삭제
  15. 제 1 항에 있어서,
    상기 제 1 이미지와 상기 제 2 이미지 각각을 실시간으로 동시에 획득하는 동작을 더 포함하고,
    상기 뒤틀림 값에 따라 변형된 상기 제 2 이미지를 상기 오브젝트 영역에 합성하는 동작은, 상기 제 1 이미지 내 오브젝트에 대해 상기 결정된 뒤틀림 값을, 상기 제 2 이미지에 적용하는 동작을 포함하는 전자 장치의 제어 방법.
  16. 전자 장치로서,
    디스플레이;
    제 1 카메라 및 제 2 카메라를 포함하는 복수의 카메라; 및
    상기 디스플레이에 작동적으로 결합된 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는,
    상기 제 1 카메라로부터 제 1 이미지 및 제 2 카메라로부터 제 2 이미지를 동시에 획득하고, 상기 제 2 이미지를 제 1 이미지로 합성하기 위한 상기 제 1 이미지 내에 완전히 있는 오브젝트 영역을 결정한 후, 상기 오브젝트 영역과 상기 제 2 이미지 사이의 형상 변형을 나타내는 함수를 이용하여 상기 오브젝트 영역의 뒤틀림(warping) 값을 결정하고, 상기 제 1 이미지 내에 상기 제 2 이미지를 디스플레이 하고, 상기 제 2 이미지는 상기 오브젝트 영역에서 상기 오브젝트 영역의 뒤틀림 값에 따라 변형되는 명령어를 포함하는, 전자 장치.
  17. 제 16 항에 있어서,
    다른 전자 장치와 통신하는 통신 모듈을 더 포함하고,
    제 3 이미지가 상기 통신 모듈을 통해 상기 다른 전자 장치로부터 획득되는 전자 장치.
  18. 제 16 항에 있어서,
    적어도 하나의 이미지를 저장하는 메모리를 더 포함하고,
    상기 프로세서는, 상기 복수의 카메라에 의해 획득되지 않은 상기 제 3 이미지를 상기 메모리로부터 획득하는 전자 장치.
  19. 삭제
  20. 전자 장치에 의해 실행될 경우,
    제 1 카메라로부터의 제 1 이미지 및 제 2 카메라로부터의 제 2 이미지를 동시에 획득하고, 상기 제 1 카메라 및 상기 제 2 카메라는 전자 장치에 포함되고;
    상기 제 2 이미지를 제 1 이미지로 합성하기 위한 상기 제 1 이미지 내에 완전히 있는 오브젝트 영역을 결정하는 동작과, 상기 오브젝트 영역과 상기 제 2 이미지 사이의 형상 변형을 나타내는 함수를 이용하여 상기 오브젝트 영역의 뒤틀림 값을 결정하는 동작과,
    상기 제 1 이미지 내의 상기 제 2 이미지를 상기 오브젝트 영역과 함께 표시하는 동작을 수행하도록 하고, 상기 제 2 이미지는 상기 뒤틀림 값에 따라 변형되는 명령어들을 포함하는 하나 이상의 프로그램을 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020130105579A 2013-09-03 2013-09-03 이미지 합성 방법 및 그 전자 장치 KR102124617B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130105579A KR102124617B1 (ko) 2013-09-03 2013-09-03 이미지 합성 방법 및 그 전자 장치
EP14177057.8A EP2843625B1 (en) 2013-09-03 2014-07-15 Method for synthesizing images and electronic device thereof
US14/453,067 US9756261B2 (en) 2013-09-03 2014-08-06 Method for synthesizing images and electronic device thereof
CN201410456575.4A CN104427252B (zh) 2013-09-03 2014-09-03 用于合成图像的方法及其电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130105579A KR102124617B1 (ko) 2013-09-03 2013-09-03 이미지 합성 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150026561A KR20150026561A (ko) 2015-03-11
KR102124617B1 true KR102124617B1 (ko) 2020-06-19

Family

ID=51228286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130105579A KR102124617B1 (ko) 2013-09-03 2013-09-03 이미지 합성 방법 및 그 전자 장치

Country Status (4)

Country Link
US (1) US9756261B2 (ko)
EP (1) EP2843625B1 (ko)
KR (1) KR102124617B1 (ko)
CN (1) CN104427252B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
CN105163025B (zh) * 2015-08-31 2020-01-31 联想(北京)有限公司 图像捕获方法和电子设备
JP6332212B2 (ja) * 2015-09-18 2018-05-30 カシオ計算機株式会社 姿勢推定装置、姿勢推定方法及びプログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR101781028B1 (ko) * 2016-08-02 2017-10-23 주식회사 씨투몬스터 콘티 작성 장치 및 방법
CN110214445A (zh) * 2017-01-23 2019-09-06 株式会社Ntt都科摩 信息处理系统及信息处理装置
CN106971384A (zh) * 2017-03-16 2017-07-21 福建中金在线信息科技有限公司 一种图像处理方法及装置
JP6764533B2 (ja) * 2017-06-20 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
KR102384054B1 (ko) 2017-08-01 2022-04-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102459717B1 (ko) 2018-03-29 2022-10-27 삼성전자 주식회사 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
CN109361850B (zh) * 2018-09-28 2021-06-15 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及存储介质
CN110572578A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置、计算设备以及介质
JP7059239B2 (ja) * 2019-11-15 2022-04-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN110798634B (zh) * 2019-11-28 2020-10-09 东北大学 图像自适应合成方法、装置及计算机可读存储介质
JP7400424B2 (ja) * 2019-12-10 2023-12-19 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236513A1 (en) * 2006-04-06 2007-10-11 Freemantlemedia Limited Image Blending System, Method and Video Generation System
US20120274808A1 (en) * 2011-04-26 2012-11-01 Sheaufoong Chong Image overlay in a mobile device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
TWI361396B (en) * 2008-01-18 2012-04-01 Univ Nat Chiao Tung Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
KR101764372B1 (ko) * 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US20150070347A1 (en) * 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
KR102028952B1 (ko) * 2013-02-21 2019-10-08 삼성전자주식회사 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236513A1 (en) * 2006-04-06 2007-10-11 Freemantlemedia Limited Image Blending System, Method and Video Generation System
US20080043041A2 (en) 2006-04-06 2008-02-21 Fremantlemedia Limited Image Blending System, Method and Video Generation System
US20120274808A1 (en) * 2011-04-26 2012-11-01 Sheaufoong Chong Image overlay in a mobile device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Scholz et al. Garment motion capture using color coded patterns. Computer Graphics Forum, 2005년 9월, pp. 439-447. 1부.*

Also Published As

Publication number Publication date
KR20150026561A (ko) 2015-03-11
US20150062381A1 (en) 2015-03-05
US9756261B2 (en) 2017-09-05
EP2843625B1 (en) 2017-12-20
EP2843625A1 (en) 2015-03-04
CN104427252B (zh) 2019-06-07
CN104427252A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
KR102124617B1 (ko) 이미지 합성 방법 및 그 전자 장치
US9811910B1 (en) Cloud-based image improvement
EP3072103B1 (en) User feedback for real-time checking and improving quality of scanned image
US9894298B1 (en) Low light image processing
KR101992306B1 (ko) 카메라를 실행하기 위한 방법 및 그 전자 장치
KR100796849B1 (ko) 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US20180367732A1 (en) Visual cues for managing image capture
US9414037B1 (en) Low light image registration
CN109691080B (zh) 拍摄图像方法、装置和终端
KR20120118583A (ko) 휴대용 단말기에서 영상 합성 방법 및 장치
CN109582122B (zh) 增强现实信息提供方法、装置及电子设备
US20120236180A1 (en) Image adjustment method and electronics system using the same
CN112911159B (zh) 图像呈现方法、图像获取设备及终端装置
CN108124102B (zh) 图像处理方法、装置及计算机可读存储介质
US10810801B2 (en) Method of displaying at least one virtual object in mixed reality, and an associated terminal and system
EP2755164A2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
US20170046813A1 (en) An apparatus and associated methods for image capture
CN115278084B (zh) 图像处理方法、装置、电子设备及存储介质
KR101674099B1 (ko) 얼굴 인증을 위한 영상 생성 장치 및 그 방법
US9088720B2 (en) Apparatus and method of displaying camera view area in portable terminal
JP2010072813A (ja) 画像処理装置および画像処理プログラム
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
US8970483B2 (en) Method and apparatus for determining input
JP6777507B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right