KR20170027266A - 영상 촬영 장치 및 그 동작 방법 - Google Patents

영상 촬영 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20170027266A
KR20170027266A KR1020160062168A KR20160062168A KR20170027266A KR 20170027266 A KR20170027266 A KR 20170027266A KR 1020160062168 A KR1020160062168 A KR 1020160062168A KR 20160062168 A KR20160062168 A KR 20160062168A KR 20170027266 A KR20170027266 A KR 20170027266A
Authority
KR
South Korea
Prior art keywords
virtual image
dimensional
posture
image
dimensional virtual
Prior art date
Application number
KR1020160062168A
Other languages
English (en)
Other versions
KR102407190B1 (ko
Inventor
쉬 쟝
껑위 마
야 루
후이 쟝
차현희
정문식
배수정
정민효
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2016/009784 priority Critical patent/WO2017039348A1/en
Priority to US15/254,515 priority patent/US10165199B2/en
Publication of KR20170027266A publication Critical patent/KR20170027266A/ko
Application granted granted Critical
Publication of KR102407190B1 publication Critical patent/KR102407190B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H04N5/23222—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • H04N13/0296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H04N5/23219—
    • H04N5/23225—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실시예들에 따라 영상 촬영 장치 및 영상 촬영 장치의 동작 방법이 개시된다. 영상 촬영 장치는, 이미지를 촬영하는 촬영부; 및 상기 촬영부에 연결된 제어부를 포함하고, 상기 제어부는, 깊이 정보가 있는 배경 이미지를 획득하고, 상기 배경 이미지에 오브젝트를 나타내는데 이용되는 3차원 가상 이미지를 배치하고, 상기 배치된 3차원 가상 이미지에 기초하여 상기 오브젝트를 촬영하도록 상기 촬영부를 제어한다.

Description

영상 촬영 장치 및 그 동작 방법{Image capture apparatus and method for operating the image capture apparatus}
다양한 실시예들은 영상 촬영 장치 및 그 동작 방법에 관한 것이다.
최근에는 전자 카메라가 널리 보급되고 있다. 전자 카메라에서는, 피사체 상을 촬영 광학계를 통해서 반도체 촬상 소자, 예를 들어 이미지 센서 위에 결상한다. 이 피사체 상은 전기신호로 변환되고 이에 따라 획득된 정지 화상의 화상 데이터를 반도체 메모리 또는 자기 디스크와 같은 기록 매체에 기록한다.
촬영 장치(예컨대, 카메라, 스마트폰, 태블릿 컴퓨터, 스마트 웨어러블 디바이스)의 인기가 높아짐에 따라서, 사람들은 자세를 단순히 촬영하는 것에 만족하지 못하고, 다른 시간, 다른 장소, 다른 시나리오에 따라서(예컨대, 장소를 이용한 촬영) 복잡한 촬영 자세나 재미있는 좔영 자세를 잡기 희망한다.
도 1은 위치를 이용한 촬영의 예를 나타낸다.
도 1의 101은 태양의 위치를 이용한 오브젝트 촬영 자세를 예시한다. 도 1의 102는 원격 오브젝트의 위치를 이용한 근접 촬영 오브젝트의 자세를 예시한다.
하지만, 촬영 오브젝트만을 통해서는 복잡한 자세를 촬영하거나 재미있는 자세를 촬영하는 것은 일반적으로 어렵다. 비록 촬영 자세를 조정하여 촬영 오브젝트를 보조할 수 있지만, 촬영 효과를 보장하기 어렵고, 사용자 경험이 나쁘다. 더욱이, 촬영 오브젝트 및/또는 사진사는 효과적인 조정을 위한 최종 촬영 효과를 미리 알기 어렵다.
다양한 실시예들은, 오브젝트의 복잡한 촬영 자세나 재미있는 촬영 자세를 효과적으로 촬영할 수 있도록 하는 촬영 장치 및 촬영 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 영상 촬영 장치는, 이미지를 촬영하는 촬영부; 및 상기 촬영부에 연결된 제어부를 포함하고, 상기 제어부는, 깊이 정보가 있는 배경 이미지를 획득하고, 상기 배경 이미지에 오브젝트를 나타내는데 이용되는 3차원 가상 이미지를 배치하고, 상기 배치된 3차원 가상 이미지에 기초하여 상기 오브젝트를 촬영하도록 상기 촬영부를 제어한다.
일 실시예에 따라 제어부는, 상기 3차원 가상 이미지의 3차원 가상 공간 위치 및/또는 3차원 자세(posture)를 결정할 수 있다.
일 실시예에 따라 제어부는, 촬영 부속물을 결정하고, 및 상기 배경 이미지에 상기 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세를 더 구성할 수 있다.
일 실시예에 따라 제어부는, 상기 3차원 가상 이미지를, 상기 배경 이미지 내 상기 3차원 가상 이미지의 상기 촬영 부속물(shooting appendage)에 기초하여 배치하고, 상기 3차원 가상 이미지와 이 3차원 가상 이미지의 상기 촬영 부속물 사이의 관계는 미리 구성된 촬영 시나리오 템플릿(pre-configured shooting scenario template)에 의해 정의될 수 있다.
일 실시예에 따라 제어부는, 상기 3차원 가상 이미지의 3차원 자세(posture)를, 상기 3차원 가상 이미지의 결합점(joint point)의 3차원 공간 위치를 배치함으로써 구성할 수 있다.
일 실시예에 따라 제어부는, 상기 오브젝트와 상기 3차원 가상 이미지 사이의 차이를 결정하고, 상기 결정된 차이에 기초하여 촬영 가이드를 상기 촬영 장치 및/또는 웨어러블 디바이스(wearable device)를 통해 출력할 수 있다.
일 실시예에 따라 제어부는, 상기 오브젝트를 상기 3차원 가상 이미지의 3차원 자세에 기초하여 검출하거나, 또는 상기 웨어러블 디바이스가 제공한 3차원 공간 위치 정보에 기초하여 검출하거나, 또는 사용자가 선택한 오브젝트에 대한 타겟 트랙킹(target tracking)에 기초하여 검출할 수 있다.
일 실시예에 따라 상기 오브젝트와 상기 3차원 가상 이미지 사이의 차이는 3차원 공간 위치 차이 및/또는 상기 오브젝트와 상기 3차원 가상 이미지 사이의 3차원 자세 차이를 포함할 수 있다.
일 실시예에 따라 제어부는, 상기 오브젝트와 상기 3차원 가상 이미지 사이의 상기 3차원 자세 차이를, 상기 오브젝트의 결합점의 3차원 공간 위치와 상기 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치를 비교함으로써 결정할 수 있다.
일 실시예에 따라 제어부는, 상기 배경 이미지 내 상기 오브젝트의 자세를 검출하고, 상기 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하고, 상기 검출된 오브젝트의 자세가 상기 포커싱 자세와 일치하면 상기 오브젝트를 포커스하고 촬영하도록 상기 촬영부를 제어할 수 있다.
일 실시예에 따라 포커싱 자세는 상기 촬영 오브젝트의 소망하는 촬영 자세를 나타내는데 사용되는 미리-구성된 자세이거나, 미리-구성된 촬영 자세 데이터베이스 내 임의의 촬영 자세일 수 있다.
일 실시예에 따라 제어부는, 캡처되기 소망되는 상기 오브젝트 자세의 출현을 예상하는데 사용되는 상기 3차원 가상 이미지의 예상 자세를 결정하고, 상기 오브젝트가 상기 예상 자세를 취한다고 검출할 때 상기 오브젝트를 자동적으로 포커스하고 캡처하도록 상기 촬영부를 제어할 수 있다.
일 실시예에 따라 제어부는, 연속적으로 촬영되기 소망되는 일련의 오브젝트 자세를 나타내는데 사용되는 상기 3차원 가상 이미지의 다중 자세를 결정하고, 상기 오브젝트가 미리 설정된 시간 동안 상기 배경 이미지 내 상기 3차원 가상 이미지와 연속적으로 일치하면, 상기 오브젝트를 자동적으로 포커스하고 연속적으로 촬영하도록 상기 촬영부를 제어할 수 있다.
일 실시예에 따라 상기 오브젝트는 다중 오브젝트를 포함하고, 상기 제어부는, 상기 오브젝트가 포커스되고 촬영되기 전 또는 후에, 상기 3차원 가상 이미지와 일치하지 않는 오브젝트를 제거할 수 있다.
일 실시예에 따라 촬영 장치의 동작 방법은, 깊이 정보가 있는 배경 이미지를 획득하는 동작, 상기 배경 이미지에 오브젝트를 나타내는데 이용되는 3차원 가상 이미지를 배치하는 동작, 및 상기 배치된 3차원 가상 이미지에 기초하여 상기 오브젝트를 촬영하는 동작을 포함한다.
일 실시예에 따라 촬영 방법을 실행하는 하는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체가 개시된다.
다양한 실시예들에 따르면, 사용자는 오브젝트의 복잡한 촬영 자세나 재미있는 촬영 자세를 효과적으로 촬영할 수 있다.
도 1은 위치를 이용한 촬영의 예를 나타낸다.
도 2는 일 실시예에 따른 촬영 장치 100의 개략적인 블록도이다.
도 3a는 일 실시예에 따른 촬영 장치의 구성의 세부적인 블록도이다.
도 3b는 일 실시예에 따른 촬영 장치의 동작 방법을 수행하기 위해 도 3a에 도시된 프로그램 저장부 170에 저장될 수 있는 모듈의 구성도이다.
도 4는 일 실시예에 따른 촬영 방법을 설명하는 흐름도이다.
도 5는 실시예에 따른 3차원 가상 이미지를 예시한다.
도 6은 일 실시예에 따라서 3차원 가상 이미지를 선택하는 예를 나타낸다.
도 7은 일 실시예에 따라서 3차원 가상 이미지를 선택하는 다른 예를 나타낸다.
도 8과 9는 일 실시예에 따라서 사용자에게 위치 영역을 통지하는 예를 나타낸다.
도 10은 일 실시예에 따라서 3차원 가상 이미지의 3차원 공간 위치를 자동적으로 구성하는 예를 나타낸다.
도 11은 일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치를 구성하는 예를 나타낸다.
도 12는 일 실시예에 따라 3차원 가상 이미지의 회전각을 구성하는 예를 나타낸다.
도 13은 일 실시예에 따라 3차원 가상 이미지의 결합점을 선택하는 예를 나타낸다.
도 14는 일 실시예에 따라서 3차원 가상 이미지의 결합점의 3차원 공간 위치를 구성하는 예를 나타낸다.
도 15는 일 실시예에 따라서, 결합점의 3차원 공간 위치가 잘못 구성되었음을 사용자에게 알리는 예를 나타낸다.
도 16은 일 실시예에 따라서, 3차원 가상 이미지 및 이 3차원 가상 이미지의 결합점을 함께 선택하고 구성하는 예를 나타낸다.
도 17은 일 실시예에 따라서 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 방법을 나타내는 흐름도이다.
도 18은 일 실시예에 따라, 이미지 가이드를 이용하여 지정된 위치에 도달하도록 촬영 오브젝트를 가이드하는 예를 나타낸다.
도 19는 일 실시예에 따른, 다수의 촬영 오브젝트들이 지정된 위치들에 도달하도록 가이드하는 예를 나타낸다.
도 20은 일 실시예에 따라, 촬영 오브젝트의 자세를 조정하기 위해 촬영 오브젝트를 가이드하는 예를 나타낸다.
도 21은 일 실시예에 따라 다수 촬영 오브젝트의 자세를 조정하기 위하여 다수 촬영 오브젝트를 가이드하는 예를 나타낸다.
도 22는 일 실시예에 따른 접속형 전자 디바이스의 예를 나타낸다.
도 23은 일 실시예에 따라서, 접속형 전자 디바이스 상에 디스플레이하는 다른 예를 나타낸다.
도 24는 다른 실시예에 따라서, 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 방법을 나타내는 흐름도이다.
도 25는 일 실시예에 따라 다수의 오브젝트 각각을 포커스하는 예를 나타낸다.
도 26은 일 실시예에 따라 다수의 촬영 오브젝트 각각을 포커스하는 다른 예를 나타낸다.
도 27은 일 실시예에 따라 촬영 오브젝트를 캡처하는 예를 나타낸다.
도 28은 일 실시예에 따라서 타겟 오브젝트와 비타겟 오브젝트를 인식하는 예를 나타낸다.
도 29는 일 실시예에 따라서 비타겟 오브젝트를 제거하는 예를 나타낸다.
도 30은 일 실시예에 따라서 촬영 부속물을 선택하고, 그 촬영 부속물의 3차원 공간 위치를 구성하는 예를 나타낸다.
도 31은 일 실시예에 따라서 촬영 부속물의 3차원 공간 위치를 구성하는 예를 나타낸다.
도 32는 일 실시예에 따라서 촬영 부속물의 회전각을 구성하는 예를 나타낸다.
도 33은 일 실시예에 따른 촬영 방법의 과정을 흐름도를 나타낸다.
도 34는 다른 실시예에 따른 촬영 방법을 설명하는 흐름도이다.
도 35는 일 실시예에 따라서 촬영 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하는 예를 나타낸다.
도 36은 일 실시예에 따라 촬영 오브젝트를 캡처하는 또 다른 예를 나타낸다.
도 37은 일 실시예에 따라 비타겟 오브젝트를 제거하는 다른 예를 나타낸다.
도 38은 일 실시예에 따른 촬영 방법을 나타내는 흐름도이다. 본 방법은 단일 촬영 오브젝트에 대하여 사용된다.
도 39는 일 실시예에 따른 촬영 방법을 나타내는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 <포함>한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 <...부>, <모듈> 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 2 내지 도 39를 참조하여, 다양한 실시예들에 따른 촬영 방법들이 설명된다. 촬영 방법들은 촬영 장치를 통해 구현되거나, 컴퓨터 프로그램을 통해 구현될 수 있다. 예컨대, 방법은 촬영 장치에 설치된 카메라를 통해 구현되거나, 촬영 장치의 운영 시스템 내 기능 프로그램을 통해 구현될 수 있다.
도 2는 일 실시예에 따른 촬영 장치 100의 개략적인 블록도이다.
일 실시예에 따른 촬영 장치 100는 예를 들어, 카메라, 이동통신단말(예컨대, 스마트폰), 스마트 웨어러블 디바이스(예컨대, 스마트 시계, 스마트 팔찌, 스마트 안경 등), 개인용 컴퓨터, 태블릿 컴퓨터와 같이, 촬영 기능이 있는 전자 단말일 수 있다. 촬영 장치에 포함된 모듈은 특정 구성요소(예컨대, 센서)와 함께 구현될 수 있다. 일 예로서, 모듈은 디지털 신호 프로세서, FPGA(field programmable gate array)와 같은 범용 하드웨어 프로세서 또는 전용 칩과 같은 전용 하드웨어 프로세서, 또는 컴퓨터 프로그램과 같은 소프트웨어로 구현될 수 있다. 예를 들어, 컴퓨터 프로그램은 촬영 장치의 카메라 애플리케이션에 인스톨된 모듈로서 구현되거나, 촬영 장치 운영 시스템 내 기능 프로그램으로서 구현된다.
도 2를 참조하면, 촬영 장치 100는 촬영부 110, 제어부 120, 디스플레이부 130을 포함할 수 있다.
촬영부 110는 적어도 하나의 카메라를 포함할 수 있으며, 적외선(IR) 카메라를 포함할 수 있다. 또한, 촬영부 110는 광학계가 이동하는 경우, 동일한 방향으로 같이 이동할 수 있다.
디스플레이부 130는 적어도 하나의 객체를 표시할 수 있다. 디스플레이부 130는 촬영의 대상이 되는 피사체의 구도와 촬영 조건을 확인할 수 있도록 뷰 파인더 영상을 표시할 수 있다.
또한, 디스플레이부 130는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다.
일 실시예에 따라 디스플레이부 130는 사용자 입력을 수신할 수 있는 터치 센서티브 디스플레이로 구현될 수 있다.
제어부 120는 촬영부 110과 디스플레이부 130 등 촬영 장치 100의 구성요소를 제어한다.
일 실시예에 따라 제어부 120는 깊이 정보가 있는 배경 이미지를 획득하고, 상기 배경 이미지에 오브젝트를 나타내는데 이용되는 3차원 가상 이미지를 배치하고, 상기 배치된 3차원 가상 이미지에 기초하여 상기 오브젝트를 촬영하도록 촬영부 110을 제어할 수 있다.
일 실시예에 따라 제어부 120는 상기 3차원 가상 이미지의 3차원 가상 공간 위치 및/또는 3차원 자세(posture)를 결정할 수 있다.
일 실시예에 따라 제어부 120는 촬영 부속물을 결정하고, 배경 이미지에 상기 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세를 더 구성할 수 있다.
일 실시예에 따라 제어부 120는, 상기 3차원 가상 이미지를, 상기 배경 이미지 내 상기 3차원 가상 이미지의 상기 촬영 부속물(shooting appendage)에 기초하여 배치하고, 상기 3차원 가상 이미지와 이 3차원 가상 이미지의 상기 촬영 부속물 사이의 관계는 미리 구성된 촬영 시나리오 템플릿(pre-configured shooting scenario template)에 의해 정의될 수 있다.
일 실시예에 따라 제어부 120는 상기 3차원 가상 이미지의 3차원 자세(posture)를, 상기 3차원 가상 이미지의 결합점(joint point)의 3차원 공간 위치를 배치함으로써 구성할 수 있다.
일 실시예에 따라 제어부 120는 상기 오브젝트와 상기 3차원 가상 이미지 사이의 차이를 결정하고, 상기 결정된 차이에 기초하여 촬영 가이드를 상기 촬영 장치 및/또는 웨어러블 디바이스(wearable device)를 통해 출력할 수 있다.
일 실시예에 따라 제어부 120는 상기 오브젝트를 상기 3차원 가상 이미지의 3차원 자세에 기초하여 검출하거나, 또는 상기 웨어러블 디바이스가 제공한 3차원 공간 위치 정보에 기초하여 검출하거나, 또는 사용자가 선택한 오브젝트에 대한 타겟 트랙킹(target tracking)에 기초하여 검출할 수 있다.
일 실시예에 따라 제어부 120는, 상기 오브젝트와 상기 3차원 가상 이미지 사이의 상기 3차원 자세 차이를, 상기 오브젝트의 결합점의 3차원 공간 위치와 상기 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치를 비교함으로써 결정할 수 있다.
일 실시예에 따라 제어부 120는 상기 배경 이미지 내 상기 오브젝트의 자세를 검출하고, 상기 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하고, 상기 검출된 오브젝트의 자세가 상기 포커싱 자세와 일치하면 상기 오브젝트를 포커스하고 촬영하도록 상기 촬영부 110을 제어할 수 있다.
일 실시예에 따라 제어부 120는 캡처되기 소망되는 상기 오브젝트 자세의 출현을 예상하는데 사용되는 상기 3차원 가상 이미지의 예상 자세를 결정하고, 상기 오브젝트가 상기 예상 자세를 취한다고 검출할 때 상기 오브젝트를 자동적으로 포커스하고 캡처하도록 상기 촬영부를 제어할 수 있다.
일 실시예에 따라 제어부 120는 연속적으로 촬영되기 소망되는 일련의 오브젝트 자세를 나타내는데 사용되는 상기 3차원 가상 이미지의 다중 자세를 결정하고, 상기 오브젝트가 미리 설정된 시간 동안 상기 배경 이미지 내 상기 3차원 가상 이미지와 연속적으로 일치하면, 상기 오브젝트를 자동적으로 포커스하고 연속적으로 촬영하도록 상기 촬영부를 제어할 수 있다.
일 실시예에 따라 제어부 120는, 상기 오브젝트가 포커스되고 촬영되기 전 또는 후에, 상기 3차원 가상 이미지와 일치하지 않는 오브젝트를 제거할 수 있다.
도 3a는 일 실시예에 따른 촬영 장치의 구성의 세부적인 블록도이다.
도 3a를 참조하면, 촬영 장치 100는 촬영부 110, 제어부 120, 디스플레이부 130, 디스플레이 구동부 131, 아날로그 신호 처리부 140, 이미지 신호 처리부 141, 메모리 150, 저장/판독 제어부 160, 메모리 카드 161, 프로그램 저장부 170, 조작부 180, 통신부 190를 포함한다.
촬영부 110는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 촬영 렌즈 1, 조리개 2, 포커스 렌즈 3, 광분할부 4, 셔터 5, 촬상 센서 6, 촬상 센서 제어부 7, AF 디바이스 8, 포커스 렌즈 구동부 9, 렌즈 구동부 10, 초점거리 검출부 11을 포함한다.
촬영 렌즈 1는 피사체를 촬영하는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈 1은 렌즈 구동부 10에 의해 그 위치가 조절된다. 렌즈 구동부 10는 제어부 120에서 제공된 제어 신호에 따라 렌즈 1의 위치를 조절한다.
조리개 2는 조리개 구동부(미도시)에 의해 그 개폐 정도가 조절되며 촬상 센서 6로 입사되는 광량을 조절한다.
포커스 렌즈 3는 포커스 렌즈 구동부 9에 의해 그 위치가 조절되며 포커싱 조절을 수행한다.
광분할부 4는 촬영 렌즈 및 포커스 렌즈를 통과한 광 빔을 촬영 광 빔과 AF(오토 포커스)계쪽으로의 광 빔으로 분할한다. 예를 들어 광분할부 4는 하프 미러(half-mirror)가 될 수 있다. 광분할부 4에 의해 분할된 광 빔의 하나는 촬상 센서 6으로 입사된다.
광분할부 4를 투과한 광학 신호는 촬상 센서6의 수광면에 이르러 피사체의 상을 결상한다. 촬상 센서6는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 촬상 센서 제어부7는 촬성 센서 6에 포함된 셔터 5를 제어함으로써 촬상 센서 6에 대한 광량을 시간적으로 제한한다. 촬상 센서 6으로부터 데이터를 판독할 때는 셔터 5가 폐쇄된다. 촬상 센서 제어부7는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 센서6를 제어할 수 있다.
위상차 AF 디바이스 8은 광분할부 4를 투과한 빛을 수신한 후에 피사체까지의 거리를 측정하는 포커스 검출 디바이스로서 기능하는 위상차 타입의 거리 측정 장치를 나타낸다. 위상차 AF 디바이스 8는 AF 광축의 방향을 변경하는 AF 미러, AF 광 빔의 동공을 분할하기 위한 세퍼레이터 렌즈, 위상차 타입의 거리 특정(위상차 AF)을 수행하는 AF 센서를 포함할 수 있다.
AF 디바이스 8로부터의 출력은 제어부 120에 입력되어 AF 제어부 121에 의해 위상차 AF의 AF 제어에 사용된다. 제어부 120 내의 AF 제어부 121는 촬상소자로부터의 출력에 근거하여 콘트라스트 AF의 AF 제어도 수행할 수 있다.
아날로그 신호 처리부 140는 촬상 센서 6으로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부 141는 아날로그 신호 처리부 140에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색 보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부 141는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다.
이미지 신호 처리부141로부터 출력된 이미지 데이터는 메모리150를 통하여 또는 직접 저장/판독 제어부160에 입력되는데, 저장/판독 제어부160는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 메모리 카드161에 저장한다. 또한 저장/판독 제어부160는 메모리 카드161에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리150를 통해 또는 다른 경로를 통해 디스플레이 구동부 131에 입력하여 디스플레이부130에 이미지가 표시되도록 할 수도 있다. 메모리 카드161는 탈착 가능한 것일 수도 있고 촬영 장치 100에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드161는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
아울러, 이미지 신호 처리부141는 디스플레이부130에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
일 실시예에 따른 이미지 신호 처리부141는 입력된 이미지 데이터로부터 영상 인식 처리로서 얼굴 인식 등을 수행하여 타겟 오브젝트를 검출할 수 있다.
한편, 이미지 신호 처리부141에 의해 처리된 신호는 메모리150를 거쳐 제어부120에 입력될 수 도 있고, 메모리150를 거치지 않고 제어부120에 입력될 수도 있다. 여기서 메모리150는 촬영 장치 100의 메인 메모리로서 동작하고, 이미지 신호 처리부141 또는 제어부120가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부170는 촬영 장치 100를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
촬영 장치 100는 촬영 장치 100의 동작 상태 또는 촬영 장치 100에서 촬영한 영상 정보를 표시하도록 디스플레이부130를 포함한다. 디스플레이부130는 시각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부130는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다.
일 실시예에 따라, 디스플레이부130는 터치 입력을 인식할 수 있는 터치스크린일 수 있다. 따라서 촬영 장치 100는 디스플레이부 130를 통해 가상 이미지 선택 등과 같은 메뉴를 디스플레이하고 이러한 디스플레이부 130를 통해 사용자 선택을 수신할 수 있다.
디스플레이 구동부 131는 디스플레이부130에 구동 신호를 제공한다.
영상 촬영 장치 100의 전체 동작은 제어부120에 의해 제어될 수 있다. 제어부120는 렌즈 구동부10, 포커스 렌즈 구동부9, 촬상 센서 제어부7 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
제어부120는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성 요소들을 제어할 수 있다. 제어부120는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부120는 프로그램 저장부170에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부10, 포커스 렌즈 구동부 9및 촬상 센서 제어부 7에 제공하고, 셔터, 스트로보 등 촬영 장치 100에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한 제어부120는 외부 모니터와 연결되어, 이미지 신호 처리부141로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
일 실시예에 따라 제어부 120는 프로그램 저장부 170에 저장된 프로그램의 하나 이상의 인스트럭션을 실행함으로써 촬영 장치 100가 가상 이미지를 이용하여 오브젝트를 촬영하게 할 수 있다. 프로그램 저장부 170에 저장된 프로그램은 도 3B를 참조하여 후술한다.
조작부 180는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부 180는 정해진 시간 동안 촬상 센서 6를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼 181, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼 182, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼 183, 그외 모드 선택 버튼, 기타 촬영 설정값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부 180는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
릴리즈 버튼 181은 영상 촬영 장치의 촬영 준비 시동용의 스위치 SW1과 촬영 시작용의 스위치 SW2를 가진 2단 스위치 구조를 갖는다. 줌 버튼 182은 촬영 장치의 초점 거리를 변경하기 위한 조작 스위치이다. 그리고, 위상차 AF 및 콘트라스트 AF의 결과에 의거해서, 포커스 렌즈 구동부 9을 통해서 AF 제어부 121에 의해 포커스 렌즈 3을 제어한다. 또한, 줌 버튼의 조작에 따라 제어부 120에 의해 렌즈 구동부 10를 통해서 초점 거리의 변경과 관계되는 촬영 렌즈 1을 제어한다. 이때, 촬영 렌즈 1의 위치는 초점 거리 검출부 11로부터 제어부 120로 전송되므로, 촬영렌즈 1의 초점 거리가 항상 검출될 수 있다.
통신부190는 일 실시예에 따라 와이파이, 블루투스, 블루투스 로우 에너지, 적외선 통신, 또는 레이저 빔 통신 중 적어도 하나를 이용하여 외부 디바이스와 페어링을 수행함으로써 스마트 와치 또는 스마트 글래스와 같은 외부 디바이스로 촬영 가이드에 대한 정보를 전송할 수 있다. 또한 일 실시예에 따라 통신부 190은 3G, 3GPP, 4G, 와이파이 중 적어도 하나를 이용하여 컨텐츠를 제공하는 서버에 접속하여 가상 이미지를 수신할 수 있다.
도 3b는 일 실시예에 따른 촬영 장치의 동작 방법을 수행하기 위해 도 3a에 도시된 프로그램 저장부 170에 저장될 수 있는 모듈의 구성도이다.
도 3b를 참조하면, 프로그램 저장부 170은 가상 이미지 결정 모듈 171, 이미지 획득 모듈 172, 가상 이미지 구성 모듈 173, 촬영 모듈 174, 촬영 부속물 관리 모듈 175, 자세 검출 모듈 176, 결정 모듈 177, 포커싱 및 촬영 모듈 178, 이미지 결합 모듈 179를 포함한다.
가상 이미지 결정 모듈 171은 선택적이다.
가상 이미지 결정 모듈 1701은 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 결정하는 하나 이상의 인스트럭션을 포함할 수 있다. 가상 이미지 결정 모듈 171은 사용자 입력에 따라서 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 선택하는 하나 이상의 인스트럭션을 포함할 수 있다. 촬영 장치는 디폴트로 구성된 3차원 가상 이미지를 사용하여 촬영 오브젝트를 나타낼 수 있다. 디폴트로 구성된 3차원 가상 이미지를 사용하여 촬영 오브젝트를 나타낼 때, 가상 이미지 결정 모듈 171은 요구되지 않는다.
이미지 획득 모듈 172은 깊이 정보가 있는 배경 이미지를 획득하는 하나 이상의 인스트럭션을 포함할 수 있다.
가상 이미지 구성 모듈 173은 배경 이미지 내 3차원 가상 이미지를 구성하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 가상 이미지 구성 모듈 173은 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세를 구성한다.
일 예에서, 가상 이미지 구성 모듈 173은 3차원 가상 이미지의 3차원 공간 위치를 배경 이미지 내에 사용자 동작에 따라서 구성한다. 콘텐츠 각각이 위치한 영역이 3차원 가상 이미지를 위치시키기 적절한 영역인지 여부가 사용자에게 통지된다.
일 예에서, 가상 이미지 구성 모듈 173은 3차원 가상 이미지의 촬영 부속물에 기초하여 3차원 가상 이미지를 배경 이미지 내에 구성한다. 3차원 가상 이미지와 그 3차원 가상 이미지의 촬영 부속물 사이의 관계는 미리 구성된 촬영 시나리오 템플릿으로 한정된다.
일 예에서, 가상 이미지 구성 모듈 173은 3차원 가상 이미지의 3차원 자세를, 그 3차원 가상 이미지의 결합점의 3차원 공간 위치를 구성함으로써 구성한다.
촬영 모듈 174은 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 하나 이상의 인스트럭션을 포함할 수 있다. 즉, 촬영 모듈 174은 촬영 구도가 3차원 가상 이미지를 이용해 완성된 후 그 구성된 3차원 가상 이미지에 기초하여 촬영을 수행한다.
바람직하게는, 촬영 모듈 174은 또한 배경 이미지 내 구성된 3차원 가상 이미지에 기초하여 조정을 수행하기 위하여 촬영 오브젝트를 가이드한다. 촬영 모듈 174는 차이 결정 모듈 174-1 및 촬영 가이드 모듈 174-2을 포함한다.차이 결정 모듈 174-1은 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트 사이의 차이를 결정하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 차이 결정 모듈 174-1은 3차원 가상 이미지의 3차원 자세에 기초하여 촬영 오브젝트를 검출하거나, 웨어러블 디바이스가 제공한 3차원 공간 위치에 기초하여 촬영 오브젝트를 검출하거나, 또는 사용자가 선택한 오브젝트에 대한 타겟 트랙킹에 기초하여 촬영 오브젝트를 결정한다.
일 예에서, 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트 사이의 차이는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이 및/또는 3차원 자세 차이를 포함한다.
일 예에서, 차이 결정 모듈 174-1은 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이를, 촬영 오브젝트의 결합점의 3차원 공간 위치와 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치를 비교함으로써 결정한다.
촬영 가이드 모듈 174-2는 결정된 차이에 기초하여 촬영 가이드를 출력하고, 촬영을 수행하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 촬영 가이드 모듈 174-2는 촬영 장치 및/또는 웨어러블 디바이스를 통하여 촬영 가이드를 출력한다.
바람직하게는, 촬영 모듈 174은 적절한 경우에 촬영 오브젝트를 포커스하고 촬영한다. 일 예에서, 촬영 모듈 174은 촬영 오브젝트가 배경 이미지 내 3차원 가상 이미지와 일치할 때 그 촬영 오브젝트를 포커스하고 촬영한다.
일 예에서, 3차원 가상 이미지는 캡처하기 소망하는 촬영 오브젝트 자세의 출현을 예측하는데 사용되는 자세를 가지고 있고, 촬영 모듈 174은 자동으로 촬영 오브젝트를 포커스하고 촬영한다.
일 예에서, 촬영 오브젝트는 다수의 오브젝트를 포함하고, 각 오브젝트에 대하여, 촬영 모듈 174은 그 오브젝트가 배경 이미지 내 3차원 가상 이미지와 일치할 때 그 오브젝트를 포커스하고 촬영한다. 촬영 장치는 오브젝트들에 상응하는 촬영 이미지들에서 그 오브젝트들을 추출하고, 모든 추출된 오브젝트들과 배경 이미지를 결합하는 이미지 결합 모듈(도시하지 않음)을 더 포함한다.
일 예에서, 3차원 가상 이미지는 연속적으로 촬영되기 소망되는 일련의 촬영 오브젝트자세를 나타내는데 사용되는 다중 자세를 가지고, 촬영 오브젝트가 미리 설정된 시간 기간 동안 배경 이미지 내 3차원 가상 이미지와 연속적으로 일치하면, 촬영 모듈 174은 촬영 오브젝트를 자동으로 포커스하고 연속으로 촬영한다.
일 예에서, 촬영 오브젝트는 다수의 오브젝트를 포함하고, 촬영 모듈 174은 촬영 오브젝트가 포커스되고 촬영되기 전에, 3차원 가상 이미지와 일치하지 않는 오브젝트를 촬영 미리보기 이미지에서 제거하거나; 또는 촬영 오브젝트가 포커스되고 촬영된 후에, 3차원 가상 이미지와 일치하지 않는 오브젝트를 촬영 이미지에서 제거한다.
일 예에서, 프로그램 저장부 170은 촬영 부속물 관리 모듈 175를 더 포함할 수 있다. 촬영 부속물 관리 모듈 17는 촬영 부속물 결정 모듈 175-1 및 촬영 부속물 구성 모듈 175-2를 더 포함한다. 촬영 부속물 결정 모듈 175-1은 촬영 부속물을 결정하는 하나 이상의 인스트럭션을 포함할 수 있다. 촬영 부속물 구성 모듈175-2는 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세를 배경 이미지 내에 구성하는 하나 이상의 인스트럭션을 포함할 수 있다. 자세 검출 모듈 176은 배경 이미지 내 촬영 오브젝트의 자세를 검출하는 하나 이상의 인스트럭션을 포함할 수 있다.
결정 모듈 177은 촬영 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 포커싱 자세는 촬영 오브젝트의 가상 이미지의 소망하는 촬영 자세를 나타내는데 사용되는 미리-구성된 자세이거나, 또는 미리-구성된 촬영 자세 데이터베이스 내 임의의 촬영 자세이거나, 또는 촬영 오브젝트의 최선 촬영 자세이다.
포커싱 및 촬영 모듈 178은 검출된 촬영 오브젝트의 자세가 포커싱 자세와 일치하면, 그 촬영 오브젝트를 포커스하고 촬영하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 포커싱 및 촬영 모듈 178은 촬영 오브젝트를 자동으로 포커스하고 촬영하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 포커싱 자세는 캡처하기 소망하는 촬영 오브젝트자세의 출현을 예측하는데 사용되는 자세이고, 포커싱 및 촬영 모듈 178은 그 오브젝트를 자동으로 포커스하고 촬영한다.
일 예에서, 촬영 오브젝트는 다수의 오브젝트를 포함하고, 포커싱 및 촬영 모듈 178은 각 오브젝트에 대하여, 촬영 오브젝트의 자세가 포커싱 자세와 일치할 때, 그 오브젝트를 포커스하고 촬영한다.
프로그램 저장부 170는 이미지 결합 모듈 179를 더 포함하고, 이미지 결합 모듈 179는 상응하는 촬영 이미지들에서 오브젝트들을 추출하고, 모든 추출된 오브젝트들과 배경 이미지를 결합하는 하나 이상의 인스트럭션을 포함할 수 있다.
일 예에서, 포커싱 자세는 연속적으로 촬영되기 소망되는 일련의 촬영 오브젝트자세를 나타내는데 사용되는 자세들을 포함하고, 자세 검출 모듈 176은 배경 이미지 내 촬영 오브젝트의 자세를 연속으로 검출하고, 포커싱 및 촬영 모듈 178은 촬영 오브젝트의 자세가 포커싱 자세와 미리 설정된 시간 기간 동안 연속으로 일치한다고 검출되면, 그 촬영 오브젝트를 자동으로 포커스하고 연속으로 촬영한다.
일 예에서, 촬영 오브젝트는 다수의 오브젝트를 포함하고, 포커싱 및 촬영 모듈 178은 촬영 오브젝트가 포커스되고 촬영되기 전에, 포커싱 자세와 일치하지 않는 오브젝트를 촬영 미리보기 이미지에서 제거하거나, 또는 촬영 오브젝트가 포커스되고 촬영된 후에, 포커싱 자세와 일치하지 않는 오브젝트를 촬영 이미지에서 제거한다.
<전체적인 동작>
도 4는 일 실시예에 따른 촬영 방법을 설명하는 흐름도이다.
도 4를 참조하면, 동작 410에서, 촬영 장치 100는 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 결정할 수 있다. 일 예에 따라 3차원 가상 이미지는 사용자 입력에 따라서 선택될 수 있다. 선택적으로, 촬영 장치 100는 디폴트로 구성된 3차원 가상 이미지를 사용하여 촬영 오브젝트를 나타낼 수 있다. 디폴트로 구성된 3차원 가상 이미지가 촬영 오브젝트를 나타내는데 사용되면, 동작 410의 절차는 수행되지 않을 수 있다.
동작 420에서, 촬영 장치 100는 깊이 정보가 있는 배경 이미지를 획득할 수 있다.
배경 이미지는 촬영이 수행된 시나리오의 실제 이미지, 즉, 촬영이 완료된 시나리오 이미지이거나, 또는 촬영이 수행된 시나리오의 미리보기 이미지 즉, 카메라가 실시간으로 캡처한 미리보기 시나리오 이미지일 수 있다.
동작 430에서, 촬영 장치 100는 3차원 가상 이미지를 배경 이미지에 배치할 수 있다. 예컨대, 촬영 장치 100는 깊이 정보가 있는 배경 이미지에 3차원 가상 이미지를 구성한다. 촬영 오브젝트의 촬영 효과는, 사진작가 및/또는 촬영 오브젝트가 촬영 수행 전에 미리 촬영 효과를 달성하도록, 시뮬레이션될 수 있다.
동작 440에서, 촬영 장치 100는 구성된 3차원 가상 이미지에 기초하여 오브젝트 촬영을 수행할 수 있다. 즉, 3차원 가상 이미지를 이용해 촬영 구도 잡기가 미리 수행된 후 촬영은 구성된 3차원 가상 이미지에 기초하여 수행될 수 있다.
<3차원 가상 이미지 결정>
동작 410에서 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 결정하는 절차는 아래에 상세히 기술된다.
일 실시예에 따라, 3차원 가상 이미지는 지정된 자세의 3차원 캐릭터 모델일 수 있다. 예를 들어, 3차원 가상 이미지는 사용자, 카툰, 유명인(star), 연예인, 영화 배역 등의 3차원 가상 이미지일 수 있다.
도 5는실시예에 따른 3차원 가상 이미지를 예시한다. 도 5의 510은 카툰의 3차원 가상 이미지를 예시하고, 도 5의 520은 유명인의 3차원 가상 이미지를 예시하고, 도 5의 530은 영화 배역의 3차원 가상 이미지를 예시한다.
일 실시예에 따라, 3차원 가상 이미지는 미리 저장된 3차원 가상 이미지이거나, 다른 이미지에 따라서 제작된 3차원 가상 이미지일 수 있다. 예를 들어, 사용자가 기 저장된 3차원 가상 이미지들중에서 3차원 가상 이미지를 선택할 수 있도록, 소정 량의 3차원 가상 이미지를 저장하는 데이터베이스가 구축될 수 있다. 선택적으로, 3차원 가상 이미지는 사용자의 조작에 따라서 인터넷 등을 통해서 얻어질 수 있다. 선택적으로, 3차원 가상 이미지는 사용자가 선택한 이미지에 따라서 3D 모델링을 통해 제작될 수 있다. 사용자가 선택한 이미지는 로컬에 저장된 이미지이거나, 인터넷 등을 통해 얻은 이미지이거나, 사용자가 타겟 인물로서 촬영된 이미지이거나, 다른 사람이 타겟 인물로서 촬영된 이미지일 수 있다. 이미지가 다수의 인물을 포함하면, 사용자는 3차원 가상 이미지를 제작하기 위하여 타겟 인물을 선택할 수 있다. 예를 들어, 사용자는 로컬 스토리지에 저장된 이미지로서, 인물 A, 인물 B 및 인물 C를 포함하는 이미지를 선택한 후, 타겟 인물로서 인물 A를 선택하여, 상응하는 3차원 가상 이미지를 제작할 수 있다. 인터넷 등을 통해 얻은 3차원 가상 이미지 및 사용자가 제공한 이미지에 따라서 제작된 3차원 가상 이미지는 촬영 자세 데이터베이스에 저장될 수 있고, 따라서 사용자는 3차원 가상 이미지를 사용해 다음 번 촬영을 수행할 수 있다.
더욱이, 특정 촬영 자세를 취한 촬영 오브젝트의 촬영 이미지는 3차원 가상 이미지로서 촬영 자세 데이터베이스에 자동적으로 저장될 수 있다. 예를 들어, 사용자 승인에 따라서, 촬영 오브젝트의 촬영 이미지가 공통 촬영 자세 데이터베이스에 저장되는지 여부가 결정된다. 촬영 자세 데이터베이스에서, 촬영 오브젝트의 이미지는 외모와 같은 특징이 디스플레이되지 않는 방식으로 디스플레이될 수 있다.
촬영 오브젝트가 단일 오브젝트이면, 단일 3차원 가상 이미지 또는 일련의 자세가 있는 3차원 가상 이미지가 결정될 수 있다. 촬영 오브젝트가 복수개이면, 다수의 3차원 가상 이미지 각각이 결정되거나 또는 다수 3차원 가상 이미지의 조합이 결정될 수 있다.
일 실시예에 따라, 일련의 촬영 오브젝트 자세가 연속적으로 촬영되는 연속 촬영 상태에서, 일련의 자세가 있는 3차원 가상 이미지가 결정될 수 있다. 예를 들어, 촬영 자세 데이터베이스는 3차원 가상 이미지의 자세 시퀀스를 저장하고, 3차원 가상 이미지 및 이 3차원 가상 이미지의 일련의 자세는 자세 시퀀스를 선택함으로써 결정될 수 있다. 선택적으로3차원 가상 이미지가 먼저 결정된 후 3차원 가상 이미지의 일련의 자세가 3차원 가상 이미지의 여러 다른 자세로부터 선택될 수 있다. 더욱이, 사용자를 캡처링하는 경우(즉, 촬영 오브젝트의 소망하는 자세가 캡처됨), 일련의 자세가 있는 3차원 가상 이미지가 결정될 수 있다. 예를 들어, 3차원 가상 이미지의 자세 시퀀스(posture sequence)가 먼저 결정된 후 캡처되기 소망되는 자세가 그 자세 시퀀스에서 결정될 수 있다. 따라서 자세 시퀀스에서 원하는 자세가 나오기 전에 촬영하기 희망하는 자세의 발생을 예측하는데 소정 자세가 이용됨으로써, 촬영 오브젝트의 자세가 촬영 오브젝트의 소정 자세와 일치한다고 결정될 때, 촬영 오브젝트가 포커스되고 촬영되어, 캡처되기 소망되는 자세에 있는 촬영 오브젝트의 이미지가 캡처될 수 있다.
일 실시예에 따라, 촬영 오브젝트가 다수의 오브젝트를 포함하는 경우, 단일의 3차원 가상 이미지가 각각의 오브젝트에 대하여 연속적으로 결정될 수 있다. 선택적으로, 일련의 자세가 있는 3차원 가상 이미지는 오브젝트들에 대하여 각각 결정된다. 따라서 다수의 3차원 가상 이미지는 다수의 오브젝트에 대하여 각각 결정된다. 다른 예에서, 다수의 3차원 가상 이미지를 포함하는 조합(combination)이 결정된 후 그 조합 내 어느 3차원 가상 이미지가 각 오브젝트에 대하여 결정되었는지 결정된다. 예컨대, 촬영 자세 데이터베이스는 다수의 3차원 가상 이미지를 포함하는 다수의 조합을 저장할 수 있고, 조합 내 다수의 3차원 가상 이미지의 자세들은 서로와 관련될 수 있다(예컨대, 다수의 3차원 가상 이미지의 자세들은 서로 조직화될 수 있다).
일 실시예에 따라, 촬영 자세 데이터베이스는 촬영 시나리오 템플릿을 더 포함할 수 있다. 촬영 시나리오 템플릿은 한정된 3차원 공간 위치와 한정된 3차원 자세를 갖는 3차원 가상 이미지를 포함한다. 이 촬영 시나리오 템플릿이 선택되면 3차원 공간 위치와 3차원 자세는 추가적으로 구성되지 않고, 촬영 시나리오 템플릿 내 3차원 가상 이미지에 기초하여 촬영이 직접 수행될 수 있다. 예를 들어, 촬영 시나리오 템플릿이 선택된 후, 이 촬영 시나리오 템플릿 내 3차원 가상 이미지는 변경될 수 있고, 변경된 3차원 가상 이미지는 촬영 시나리오 템플릿 내 오리지널 3차원 가상 이미지의 3차원 공간 위치와 3차원 자세를 여전히 가질 수 있다.
또한, 촬영 시나리오 템플릿은 3차원 가상 이미지 뿐만 아니라 보조 옵션(예컨대, 촬영 관련 오브젝트)을 또한 포함할 수 있다. 따라서 촬영 시나리오 템플릿은 3차원 가상 이미지와 보조 옵션 사이의 여러 관계를 제한함으로써 상응하는(corresponding) 촬영 시나리오를 나타낼 수 있다. 예컨대, 장소의 도움을 받아 촬영한 일부 자세는 특정 환경 또는 특정 오브젝트(예컨대, 태양, 동상, 건물 등)에 의해 지원을 받을 수 있다. 이러한 환경이나 오브젝트는 촬영 관련 오브젝트다. 촬영 시나리오 템플릿은 실제 이미지이거나, 또는 사람 자세 뼈대(person posture skeleton)와 실제 배경의 조합을 나타내는 개략도이거나, 또는 사람 자세 뼈대와 촬영 관련 오브젝트를 나타내는 개략도일 수 있다. 전통적 촬영 자세는 인터넷 등을 통해 얻어질 수 있고, 환경 또는 오브젝트의 지원을 받는 촬영 자세는 이 전통적 촬영 자세에서 결정될 수 있다. 이 환경이나 오브젝트는 촬영 관련 오브젝트로서 마크되고, 촬영 관련 오브젝트의 속성(예컨대, 색, 선명도)은 촬영 자세 데이터베이스에 저장된다.
일 실시예에 따라, 촬영 장치 100는 촬영 오브젝트를 나타내는데 사용된 3차원 가상 이미지가 촬영 장치에서 디폴트로 구성되어, 자동적으로 결정할 수 있거나, 또는 촬영 오브젝트를 나타내는데 사용된 3차원 가상 이미지를 사용자 입력에 따라서 선택할 수 있다.
촬영 오브젝트를 나타내는데 사용된 3차원 가상 이미지를 사용자 입력에 따라서 선택하는 예에 있어서, 촬영 오브젝트를 나타내는데 사용된 3차원 가상 이미지는 사용자 음성 동작(user voice operation), 물리 버튼 동작, 터치 스크린 동작, 제스처 동작, 증강-현실 사람-컴퓨터 상호작용 인터페이스용 동작, 외부 컨트롤러용 동작 중 적어도 하나에 따라서 선택될 수 있다.
사용자 음성 동작에 따라 3차원 가상 이미지를 선택하는 예에서, "제1의 3차원 가상 이미지를 선택"하라는 음성 명령이 수신되면, 그 음성 명령에 대하여 음성 인식이 수행되어, 촬영 오브젝트를 나타내는 제1의 3차원 가상 이미지가 선택된다.
물리 버튼 동작에 따라 3차원 가상 이미지를 선택하는 예에서, 조작되는 물리 버튼은 홈 버튼(메인 스크린 버튼), 볼륨 조정 버튼, 전원 버튼, 기타 신규로 추가된 버튼 등일 수 있다. 예를 들어, 사용자는 볼륨 조정 버튼을 통해 선택 박스를 이동시켜서 3차원 가상 이미지를 선택한 후 홈 버튼을 통해 선택할 수 있다.
터치 스크린 동작에 따라 3차원 가상 이미지를 선택하는 예에서, 사용자는 특정 3차원 가상 이미지 또는 이 특정 3차원 가상 이미지를 선택하는데 사용되는 선택 박스를 미리 정의된 방식으로 클릭할 수 있다. 미리 정의된 방식은 짧게 누르기, 길게 누르기, 미리 설정된 회수만큼 짧게 누르기, 짧게 누르기와 길게 누르기를 교대하기일 수 있다. 선택적으로는, 사용자는 특정 3차원 가상 이미지를 드래그할 수 있다.
도 6은 일 실시예에 따라서 3차원 가상 이미지를 선택하는 예를 나타낸다.
도 6을 참조하면, 촬영 장치 100의 일 예로서 스마트폰이 도시되어 있다. 촬영 장치 100의 디스플레이부 130은 디스플레이 영역 130a와 메뉴 영역 130b로 분할될 수 있다. 디스플레이 영역 130a는 획득한 배경 이미지, 결정한 3차원 가상 이미지, 촬영한 오브젝트를 디스플레이하는 데 이용될 수 있다. 메뉴 영역 130b는 실시예들에 따른 촬영 방법에 따른 메뉴를 제공하고 사용자로 하여금 선택할 수 있도록 하는 데 이용될 수 있다. 메뉴 영역 130b는 <3차원 가상 이미지 선택> 메시지 및 사용자가 선택할 수 있는 하나 이상의 3차원 가상 이미지를 표시할 수 있다. 사용자는 메뉴 영역 130b에서 2개의 3차원 가상 이미지를 포함하는 조합 610을 선택할 수 있다. . 따라서 2개의 3차원 가상 이미지의 조합을 선택하여 디스플레이 영역 130a로 드래그하는 사용자 동작에 따라서 2개의 3차원 가상 이미지가 선택될 수 있다.
사용자 제스처 동작에 따라 3차원 가상 이미지를 선택하는 예에서, 제스처 동작은 한손이나 양손으로 수행될 수 있다. 제스처 동작은 손을 흔들거나, 손으로 원을 그리거나, 손으로 사각형을 그리거나, 손으로 삼각형을 그리거나, 위로 손짓하거나, 아래로 손짓하거나, 왼쪽으로 손짓하거나 오른쪽으로 손짓하는 것과 같은 동작일 수 있다. 사용자 제스처는 현재 자세 검출 디바이스를 통해 검출되고 인식될 수 있다.
도 7은 일 실시예에 따라서 3차원 가상 이미지를 선택하는 다른 예를 나타낸다.
도 7을 참조하면, 2개의 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지들이 연속적으로 선택된다. 각각의 촬영 오브젝트에 상응하는 3차원 가상 이미지가 선택되면, 다수의 3차원 가상 이미지는 사용자의 선택을 위해 제시될 수 있고, 선택 박스 710는 위로 손짓, 아래로 손짓, 왼쪽으로 손짓 또는 오른쪽으로 손짓인 사용자 제스처 동작에 따라서 선택되고(예컨대, 위로 손짓하는 사용자 동작이 검출되면, 선택될 3차원 가상 이미지의 선택 박스 쪽으로 선택 라벨이 이동함), 손으로 원을 그리는 사용자 제스처 동작에 따라서 선택이 된다. 더욱이, 음성 동작 720을 통해 선택이 이루어질 수 있다.
일 실시예에 따라, 3차원 가상 이미지는 외부 컨트롤러용 사용자 동작에 따라 선택될 수 있다(예컨대, 촬영 장치와 연관된 수기펜(handwriting pen)에 대한 동작, 웨어러블 디바이스와 같은 원격 제어 기능을 구비한 디바이스에 대한 동작임). 즉, 3차원 가상 이미지는 외부 컨트롤러로부터의 명령에 따라서 선택된다. 예를 들어, 촬영 장치가 수기펜과 연결되면, 3차원 가상 이미지는 수기펜으로부터의 명령에 따라서 선택된다. 사용자는 3차원 가상 이미지를 선택하기 위한 선택 박스를 수기펜의 버튼을 사용해 이동시키고, 선택된 3차원 가상 이미지를 수기펜으로 클릭함으로써 선택할 수 있다.
동작 410에서, 결정되는 3차원 가상 이미지의 종류나 3차원 가상 이미지가 결정되는 방법에 상관없이, 이미 선택된 3차원 가상 이미지를 변경하기 위하여 사용자는 후속단계에서 3차원 가상 이미지를 다시 결정할 수 있음을 이해해야 한다.
<배경 이미지 획득>
깊이 정보가 있는 배경 이미지를 얻는 절차는 동작 420에 기재되어 있고, 아래에서 상세히 설명된다.
배경 이미지는 촬영이 수행된 시나리오의 실제 촬영 이미지(즉, 촬영된 시나리오 이미지)일 수 있거나, 촬영이 수행된 시나리오의 미리보기 이미지(즉, 카메라가 실시간으로 캡처한 미리보기 시나리오 이미지)일 수 있다.
깊이 정보가 있는 배경 이미지는 촬영 장치의 깊이 카메라를 통해 얻어지거나, 2개 이상의 카메라를 포함하는 카메라 어레이를 통해 얻어질 수 있다. 카메라 어레이 내 2개 이상의 카메라는 깊이 정보를 얻도록 시야각(view angles)이 중첩되어 있다.
동작 410의 절차와 동작 420의 절차는 순서대로 수행되거나, 또는 동작 420에서 절차가 먼저 수행되고 그 후 동작 410에서 절차가 수행되거나, 또는 동작 410과 동작 420에서의 절차가 동시에 수행될 수 있고, 절차의 수행 순서는 본 발명에서 제한되지 않음을 이해해야 한다.
일 실시예에서, 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지가 먼저 결정되고, 그 후, 깊이 정보가 있는 배경 이미지가 얻어질 수 있다. 예를 들어, 카메라 애플리케이션이 실행된 후, 3차원 가상 이미지를 선택하는데 사용되는 인터페이스가 사용자에게 제시되고, 따라서 사용자는 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 선택한다. 사용자가 3차원 가상 이미지를 선택한 후, 깊이 정보를 갖는 배경 이미지가 얻어진다.
다른 실시예에서, 깊이 정보가 있는 배경 이미지가 먼저 결정되고, 그 후 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지가 결정될 수 있다. 예를 들어, 카메라 애플리케이션이 실행된 후, 깊이 정보를 갖는 배경 이미지가 얻어지고, 그 다음, 3차원 가상 이미지를 선택하는데 사용되는 인터페이스가 사용자에게 제시되고, 따라서 사용자는 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 선택할 수 있다.
<3차원 가상 이미지를 배경 이미지에 구성>
이하에서, 3차원 가상 이미지를 배경 이미지에 구성하는 동작 430의 절차를 상세히 설명한다.
일 실시예에서, 촬영 오브젝트의 촬영 효과는 3차원 가상 이미지를 깊이 정보가 있는 배경 이미지에 구성함으로써 시뮬레이션될 수 있고, 따라서 사진사 및/또는 촬영 오브젝트는 촬영이 수행되기 전에 미리 촬영 효과를 알 수 있다.
특히, 촬영 오브젝트를 나타내는데 사용된 3차원 가상 이미지가 결정된 후, 결정된 3차원 가상 이미지는 움직일 수 있는 상태에 있다. 이 3차원 가상 이미지는 사용자 입력에 따라서 배경 이미지에 구성되거나, 또는 배경 이미지에 자동적으로 구성될 수 있다. 일 예에서, 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세가 구성될 수 있다.
3차원 가상 이미지의 3차원 공간 위치가 배경 이미지에 구성되면, 3차원 가상 이미지의 위치들 각각은 수평 방향, 수직 방향 및 깊이 방향을 따라서 구성될 수 있다. 3차원 가상 이미지의 3차원 공간 위치는 배경 이미지에 대략적으로 구성되거나, 또는 배경 이미지에 정밀하게 구성되거나, 배경 이미지에 대략적으로 구성된 후 정밀하게 조정될 수 있지만, 본 발명은 이에 한정되지 않는다.
일 실시예에서, 3차원 가상 이미지의 3차원 공간 위치는 배경 이미지에 자동적으로 대략 구성되거나, 사용자 동작에 따라서 배경 이미지에 대략적으로 구성될 수 있다. 3차원 가상 이미지의 3차원 공간 위치가 사용자 동작에 따라서 배경 이미지에 대략적으로 구성되면, 선택된 3차원 가상 이미지는 사용자 동작(예컨대, 드래깅 등)에 따라서 배경 이미지 내 상응하는 위치로 이동될 수 있다. 이 시점에서 3차원 가상 이미지의 자세는 디폴트 자세이고, 후속하여 사용자는 3차원 가상 이미지의 자세를 정밀하게 조정할 수 있다. 도 6에 도시된 바와 같이, 선택된 3차원 가상 이미지를 배경 이미지의 위치에 드래그하는 사용자 동작을 통해서, 3차원 가상 이미지가 배경 이미지의 위치상에 구성된다. 선택적으로, 3차원 가상 이미지는 배경 이미지 내 사용자가 지정한 위치상에 구성된다. 예를 들어, 선택된 3차원 가상 이미지가 위치 지정될 상황에 있을 때, 배경 이미지의 위치를 클릭하는 사용자 동작에 의해, 이 3차원 가상 이미지는 배경 이미지 내 특정 위치에 구성될 수 있다. 더욱이, 3차원 가상 이미지의 3차원 공간 위치는 다른 사용자 동작을 통해서 배경 이미지 내에 대략적으로 구성될 수 있다.
일 실시예에서, 컨텐츠의 각 부분이 위치된 영역이 3차원 가상 이미지를 배치하기 적절한지 여부가 사용자에게 질의될 수 있다. 예를 들어, 사용자가 3차원 가상 이미지의 3차원 공간 위치를 배경 이미지에 구성하기 전에, 컨텐츠의 각 부분이 위치된 영역이 3차원 가상 이미지를 배치하기 적절한지 여부가 사용자에게 질의될 수 있다. 따라서 사용자가 3차원 가상 이미지의 3차원 공간 위치를 배경 이미지에 구성할 때, 사용자는 3차원 가상 이미지를 배치하기 적절한 위치와 적절하지 않은 위치를 알 수 있다. 다른 실시예에서, 사용자가 3차원 가상 이미지를 그 3차원 가상 이미지를 배치하기 적절하지 않은 위치에 배치할 때, 그 영역은 3차원 가상 이미지를 배치하기 적절하지 않다는 알림이 사용자에게 통지되거나, 또는 3차원 가상 이미지를 그 3차원 가상 이미지를 배치하기 적절한 영역에 배치하는 방법이 사용자에게 통지될 수 있다.
도 8과 9는 일 실시예에 따라서 사용자에게 위치 영역을 통지하는 예를 나타낸다.
도 8에 도시된 바와 같이, 3차원 가상 이미지를 배치하기 적절한 영역(예컨대, 지면) 810이 마크될 수 있다. 선택적으로, 사용자가 3차원 가상 이미지를 그 3차원 가상 이미지가 배치되기 적절한 영역에 배치할 수 있도록 가이드 하기 위해 "3차원 가상 이미지를 배치하기 적절한 영역에 3차원 가상 이미지를 배치하세요"라고 안내 메시지 820를 사용자에게 통지할 수 있다.
도 9에 도시된 바와 같이, 3차원 가상 이미지를 배치하기 적절하지 않은 영역(예컨대, 물이 있는 영역 또는 방해물이 있는 영역) 910, 930이 마크될 수 있다. 선택적으로는, 사용자가 3차원 가상 이미지를 그 3차원 가상 이미지가 배치되기 적절하지 않은 영역에 배치하면, "그 영역은 3차원 가상 이미지를 배치하기 적절하지 않습니다. 3차원 가상 이미지를 배치하기 적절한 영역에 3차원 가상 이미지를 배치하세요"라고 안내 메시지 920가 사용자에게 통지될 수 있다.
일 실시예에서, 배경 이미지 내 콘텐츠의 각 부분은, 콘텐츠의 각 부분이 배치된 영역이 3차원 가상 이미지를 배치하기 적절한 영역인지 여부를 사용자에게 알리기 위하여, 분석될 수 있다. 예를 들어, 콘텐츠 부분이 위치한 영역이 3차원 가상 이미지를 배치하기 적절한지 여부를 결정하기 위하여, 미리 확립된 시나리오 엘리먼트 데이터베이스(pre-established scenario element database)에 따라서, 배경 이미지 내 콘텐츠는 복수의 부분으로 구획되고(segmented), 콘텐츠의 각 부분의 속성은 그 콘텐츠가 물, 방해물, 대지 등인지 결정하기 위하여 분석된다. 또한, 3차원 가상 이미지를 배치하기 적절하지 않은 영역을 배경 이미지에 수동으로 마크할 수 있다.
일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치를 배경 이미지에 자동적으로 대략 구성하는 예에서, 3차원 가상 이미지는 배경 이미지 내 적절한 위치상에 자동적으로 구성될 수 있다. 예를 들어, 적절한 위치는 배경 이미지의 중앙 위치이거나, 전체 3차원 가상 이미지가 배경 이미지 내에 배치될 수 있는 위치일 수 있다. 이 때, 3차원 가상 이미지의 자세는 디폴트 자세일 수 있고, 후속하여 사용자는 3차원 가상 이미지의 자세를 정밀하게 조정할 수 있다.
일 실시예에 따르면, 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 촬영 시나리오 템플릿에 따라 자동적으로 배경 이미지에 구성될 수 있다. 예컨대, 선택된 촬영 시나리오 템플릿이 촬영 관련 오브젝트를 포함하지 않으면, 3차원 가상 이미지는 적절한 위치에 자동적으로 구성되고, 3차원 가상 이미지의 3차원 자세는 그 템플릿 내 사람의 자세에 따라서 자동적으로 구성되고, 그 후에, 사용자는 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세를 정밀하게 조정할 수 있다. 또한, 촬영 시나리오는 인물의 3차원 공간 위치 및 3차원 자세를 제한함으로, 3차원 가상 이미지의 3차원 공간 위치 및 3차원 자세는 촬영 시나리오 템플릿 내 인물의 3차원 공간 위치 및 3차원 자세에 따라서 자동적으로 구성될 수 있다.
다른 실시예에서, 선택된 촬영 시나리오 템플릿이 촬영 관련 오브젝트를 포함하면, 3차원 자세는 배경 이미지 내 3차원 가상 이미지의 촬영 관련 오브젝트에 기초하여 구성될 수 있고, 촬영 관련 오브젝트와 3차원 가상 이미지 사이의 관계는 미리-구성된 촬영 시나리오 템플릿으로 제한될 수 있다. 이 상황에서, 사용자는 배경 이미지 내 촬영 관련 오브젝트를 선택하도록 요구받거나, 또는 배경 이미지 내 촬영 관련 오브젝트는 촬영 시나리오 템플릿 내 상응하는 촬영 관련 오브젝트에 따라서 자동적으로 검출될 수 있다. 예를 들어, 이 촬영 시나리오 템플릿 내 촬영 관련 오브젝트의 특성들은 기계 학습 방법에 따라서 연구되거나, 또는 배경 이미지 내 콘텐츠의 여러 부분과 촬영 시나리오 템플릿 내 촬영 관련 오브젝트는, 배경 이미지가 촬영 시나리오 템플릿 내 촬영 관련 오브젝트와 일치하는 촬영 관련 오브젝트를 포함하는지 여부를 결정하기 위하여, 서로 비교될 수 있다. 배경 이미지가 촬영 시나리오 템플릿 내 촬영 관련 오브젝트와 일치하는 촬영 관련 오브젝트를 포함하지 않는다고 결정되면, 배경 이미지가 재-획득되거나, 사용자는 촬영 관련 오브젝트를 수동으로 선택할 것을 요구받을 수 있다. 배경 이미지가 촬영 시나리오 템플릿 내 촬영 관련 오브젝트와 일치하는 촬영 관련 오브젝트를 포함한다고 결정되면, 3차원 가상 이미지의 적절한 3차원 공간 위치 및/또는 3차원 자세가 그 촬영 관련 오브젝트에 따라서 배경 이미지 내에 자동적으로 구성된다.
예를 들어, 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 그 배경 이미지 내 3차원 가상 이미지에 있는 촬영 관련 오브젝트의 사이즈, 3차원 공간 위치 및/또는 3차원 자세에 기초하여 구성되며, 3차원 가상 이미지의 촬영 관련 오브젝트와 3차원 가상 이미지 사이의 3차원 공간 위치 관계 및/또는 3차원 자세 관계는 미리 설정된 촬영 시나리오 템플릿으로 제한된다. 예를 들어, 배경 이미지 내 3차원 가상 이미지의 사이즈는 촬영 시나리오 템플릿 및 배경 이미지 각각에서 촬영 관련 오브젝트의 사이즈 비율에 따라서 결정될 수 있다. 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 촬영 시나리오 템플릿 내 촬영 관련 오브젝트와 3차원 가상 이미지 사이의 3차원 공간 위치 관계, 배경 이미지 내 촬영 관련 오브젝트의 3차원 공간 위치, 및 배경 이미지 내 3차원 가상 이미지의 사이즈에 따라서 결정될 수 있다.
도 10은 일 실시예에 따라서 3차원 가상 이미지의 3차원 공간 위치를 자동적으로 구성하는 예를 나타낸다. 도 10에 도시된 바와 같이, 사용자 동작에 따라서, <손으로 태양 잡기> 촬영 시나리오 템플릿이 선택되고, 사용자는 촬영 관련 오브젝트인 <태양>를 선택하도록 요구받는다. <태양>이 선택된 후 3차원 가상 이미지의 3차원 공간 위치, 3차원 자세 및 사이즈 중 적어도 하나의 항목(item)이 자동적으로 계산되고, 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세가 배경 이미지 내에 구성된다. 배경 이미지 내 <태양>의 위치가 적절하지 않으면, 사용자에게 구성 실패가 통지되고, 이유가 디스플레이된다. 또한, 3차원 가상 이미지의 위치가 자동적으로 구성된 후, 그 구성된 위치는 사용자 수동 동작에 따라 추가로 조정될 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 정밀하게 구성하는 예에서, 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치는 다양한 사용자 동작에 따라서 정밀하게 구성될 수 있다. 예를 들어, 음성 동작, 물리 버튼 동작, 터치 스크린 동작, 제스처 동작, 증강 현실 사용자-컴퓨터 상호작용 인터페이스, 외부 컨트롤러에 대한 동작 등과 같은 사용자 동작에 따라서 정밀한 구성이 구현될 수 있다.
일 실시예에 따라 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 사용자 음성 동작에 따라서 구성할 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 사용자 음성 동작에 따라서 구성하는 예에서, <카메라를 기준으로, 3차원 가상 이미지를 왼쪽으로 1미터, 후방으로 3미터 이동>시키라는 사용자의 음성 명령이 수신되면, 그 음성 명령에 대하여 음성 인식이 수행되어, 배경 이미지에서 3차원 가상 이미지를 왼쪽으로 1미터, 후방으로 3미터 이동시키기로 결정된다. 또한, <오른쪽으로 4m 이동>이라는 단순한 사용자 명령이 수신되면, 그 사용자 명령에 대하여 음성 인식이 수행되고, 배경 이미지에서 3차원 가상 이미지를 오른쪽으로 4미터 이동시키기 위해 사용자 음성 명령이 이용된다고 추가로 결정된다.
일 실시예에 따라 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 사용자 물리 버튼 동작에 따라서 구성할 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 사용자 물리 버튼 동작에 따라서 구성하는 예에서, 동작되는 물리 버튼은 홈 버튼(메인 스크린 버튼), 볼륨 조정 버튼, 전원 버튼, 기타 신규로 추가된 버튼일 수 있다. 예를 들어, 사용자는 볼륨 조정 버튼 내 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 눌러 이동 방향(즉, 수평 방향, 수직 방향 및 깊이 방향 중 하나)을 결정할 수 있다. 예컨대, 초기 디폴트 이동 방향은 수평 방향이다. 사용자는 볼륨 조정 버튼 내 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 눌러 수직 방향을 이동 방향으로 선택한 후 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 다시 눌러 깊이 방향을 이동 방향으로 선택할 수 있다. 현재 선택된 이동 방향이 문자, 아이콘 등과 같은 방식으로 사용자에게 통지될 수 있다. 이동 방향을 결정한 후, 사용자는 볼륨 증가 버튼 또는 볼륨 감소 버튼을 독립적으로 눌러, 3차원 가상 이미지의 위치를 그 결정된 이동 방향으로 이동시킬 수 있다. 예컨대, 볼륨 증가 버튼을 개별적으로 눌러 3차원 가상 이미지를 왼쪽으로 이동시키고, 볼륨 감소 버튼을 개별적으로 눌러 3차원 가상 이미지를 오른쪽으로 이동시키고, 볼륨 증가 버튼을 개별적으로 눌러 3차원 가상 이미지를 위쪽으로 이동시키고, 볼륨 감소 버튼을 개별적으로 눌러 3차원 가상 이미지를 아래쪽으로 이동시키고, 볼륨 증가 버튼을 개별적으로 눌러 3차원 가상 이미지를 앞으로 이동시키고, 볼륨 감소 버튼을 개별적으로 눌러 3차원 가상 이미지를 뒤쪽으로 이동시킨다. 구성이 완료된 후, 홈 버튼을 눌러 결정을 수행한다.
일 실시예에 따라 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 사용자 터치스크린 동작에 따라서 구성할 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 사용자 터치스크린 동작에 따라서 구성하는 예에서, 사용자는 결정된 3차원 가상 이미지를 단일 손가락으로 드래그함으로써 그 3차원 가상 이미지의 수평 위치와 수직 위치를 이동시킬 수 있거나, 스크린 상에서 수평 방향으로 슬라이딩하고 수직 방향으로 슬라이딩하여 3차원 가상 이미지의 수평 위치와 수직 위치를 구성하거나, 두 손가락 오므리기, 두 손가락 벌리기와 같은 터치 액션을 통해 3차원 가상 이미지의 깊이 위치를 구성할 수 있다. 유사하게, 다른 방향들은, 짧게 누르기, 길게 누르기, 미리 설정된 회수만큼 짧게 누르기, 짧게 누르기와 길게 누르기를 교대하기와 같은 터치 액션으로 조정될 수 있다. 또한, 사용자는 사용자 인터페이스에서 스크롤바를 슬라이딩시키거나, 대응하는 콘텐츠를 텍스트 박스에 입력하여, 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치를 구성할 수 있다
도 11은 일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치를 구성하는 예를 나타낸다.
도 11을 참조하면, 사용자는 배경 이미지 내 선택된 3차원 가상 이미지의 3차원 공간 위치를, 예컨대 단일 손가락으로 그 3차원 가상 이미지 드래그하기 1110, 두 개 손가락을 오므리기거나 및/또는 벌리기 1120, 스크롤바 슬라이딩 1130, 텍스트 박스에 상응하는 콘텐츠를 입력하기 1140, 음성 동작 1150을 통해 구성할 수 있다. 또한, 선택된 3차원 가상 이미지의 현재 3차원 공간 위치에 대한 통지 1160를 사용자에게 출력할 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치가 사용자 제스처 동작에 따라 구성되면, 제스처 동작은 한 손이나 양손으로 수행될 수 있다. 제스처 동작은 한 손 흔들기, 손으로 원 그리기, 손으로 사각형 그리기, 손으로 삼각형 그리기와 같은 동작일 수 있다. 예컨대, 사용자는 선택된 3차원 가상 이미지를, 손 위로 흔들기, 손 아래로 흔들기, 손 왼쪽으로 흔들기, 손 오른쪽으로 흔들기, 손 우상향으로 흔들기, 손 좌하향으로 흔들기와 같은 제스처 동작을 통해 상응하는 방향으로 이동시킬 수 있다. 그 후, 손으로 원을 그리는 제스처 동작을 통해 이동의 종료가 결정된다. 사용자 제스처 동작은 기존의 제스처 검출 디바이스를 통해 검출되고 인식될 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치는 외부 컨트롤러에 대한 사용자 동작(예를 들어, 촬상 장치와 연관된 수기펜에 대한 동작, 웨어러블 디바이스와 같이 원격 컨트롤 기능을 구비한 디바이스에 대한 동작)에 따라서 구성될 수 있다. 예를 들어, 촬영 장치는 수기펜에 접속되면, 그 수기펜으로부터 명령에 따라서 3차원 가상 이미지가 선택되고, 그 후, 사용자는 수기펜의 버튼을 사용하고 수기펜의 첨두(point)를 슬라이딩시켜서 3차원 가상 이미지를 이동시킬 수 있다. 예컨대, 사용자는 3차원 가상 이미지를 소망하는 위치까지 드래그하기 위하여, 수기펜의 첨두를 사용해 3차원 가상 이미지를 누르고 동시에 수기펜의 버튼을 누른 채로 첨두를 슬라이딩시킬 수 있고, 슬라이딩되는 첨두는 촬영 장치의 스크린에 디스플레이된다.
또한, 배경 이미지가 파노라마 이미지인 상황에서는, 파노라마 이미지와 3차원 가상 이미지는 여러 각도에서 사용자에게 디스플레이되어(예컨대, 파노라마 이미지와 3차원 가상 이미지는 90도씩 왼쪽으로 동시에 회전될 수 있음), 사용자는 3차원 가상 이미지의 3차원 공간 위치를 배경 이미지에 편리하게 구성할 수 있다. 예를 들어, 사용자는 3차원 가상 이미지의 깊이 방향 위치를, 파노라마 이미지와 3차원 가상 이미지를 90도씩 왼쪽으로 동시에 회전시켜 얻은 프로파일 이미지(profile image)에 따라서 얻을 수 있다.
배경 이미지 내 3차원 가상 이미지의 3차원 자세를 사용자 동작에 따라서 구성하는 예에서, 3차원 가상 이미지의 3차원 자세는 3차원 가상 이미지의 회전각 및/또는 3차원 가상 이미지 결합점의 3차원 공간 위치를 구성함으로써 구성될 수 있다. 3차원 가상 이미지의 회전각은 3개 방향의 회전축 따라 각각 구성될 수 있다. 예를 들어, 중점, 즉 3차원 가상 이미지의 중심은 회전 원점(origin of rotation)으로 구성되고, 회전은 상응하는 평면에서 수행될 수 있다. 선택적으로는, 회전 원점은 사용자가 구성할 수 있다.
3차원 가상 이미지의 회전각은 다양한 사용자 동작 방식에 따라서 구성될 수 있다. 예를 들어, 회전각은 사용자 음성 동작, 물리 버튼 동작, 터치 스크린 동작, 제스처 동작, 증강-현실 사람-컴퓨터 상호작용 인터페이스용 동작, 외부 컨트롤러용 동작과 같은 사용자 동작에 따라서 구성된다.
일 실시예에 따라 3차원 가상 이미지의 회전각을 사용자 음성 동작에 따라서 구성할 수 있다.
3차원 가상 이미지의 회전각을 사용자 음성 동작에 따라서 구성하는 예에서, <3차원 가상 이미지의 중심을 원점으로, 시계 방향으로 10도 회전>시키라는 음성 명령이 사용자로부터 수신되면, 그 음성 명령에 대하여 음성 인식이 수행되고, 3차원 가상 이미지의 중심을 원점으로, 상응하는 평면에서 시계 방향으로 10도 회전이 이루어진다.
일 실시예에 따라 3차원 가상 이미지의 회전각을 사용자 물리 버튼 동작에 따라서 구성할 수 있다.
3차원 가상 이미지의 회전각을 사용자 물리 버튼 동작에 따라서 구성하는 예에서, 동작되는 물리 버튼은 홈 버튼, 볼륨 조정 버튼, 전원 버튼, 기타 신규로 추가된 버튼일 수 있다. 예를 들어, 사용자는 볼륨 조정 버튼 내 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 눌러 회전축(즉, 중앙 수평축, 중앙 수직축, 및 중앙 깊이축)을 결정할 수 있다. 이 때, 현재 선택된 회전축은 텍스트, 아이콘 등과 같은 방식으로 사용자에게 통지될 수 있다. 회전축이 결정된 후, 사용자는 볼륨 증가 버튼 또는 볼륨 감소 버튼을 개별로 눌러 회전각을 조정할 수 있다. 예컨대, 사용자는 볼륨 조정 버튼 내 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 눌러 중앙 중앙 수직축을 따른 회전을 수행하고, 볼륨 증가 버튼을 눌러 3차원 가상 이미지를 시계방향으로 회전시키거나, 볼륨 감소 버튼을 눌러 3차원 가상 이미지를 반시계 방향으로 회전시키기로 결정하고, 마지막으로 홈 버튼을 눌러 이들 결정을 수행한다.
일 실시예에 따라 3차원 가상 이미지의 회전각을 터치스크린 동작에 따라서 구성할 수 있다.
3차원 가상 이미지의 회전각을 사용자 터치스크린 동작에 따라서 구성하는 예에서, 사용자는 스크롤바를 슬라이딩시키거나 텍스트 박스에 상응하는 콘텐츠를 입력하여 각 회전각을 조정할 수 있다. 또한, 사용자는 3차원 가상 이미지를 드래그하여 각 회전각을 조정할 수 있다.
도 12는 일 실시예에 따라 3차원 가상 이미지의 회전각을 구성하는 예를 나타낸다.
도 12를 참조하면, 사용자는 스크롤바 슬라이딩 1210, 텍스트 박스에 상응하는 콘텐츠를 입력하기 1220, 음성 동작 1230 등을 통해, 배경 이미지 내 3차원 가상 이미지의 회전각을 구성할 수 있다. 또한, 선택된 3차원 가상 이미지의 현재 회전각을 나타내는 통지 1240을 사용자에게 출력할 수 있다.
3차원 가상 이미지의 회전각을 사용자 제스처 동작에 따라서 구성하는 예에서, 제스처 동작은 한 손이나 양손으로 수행될 수 있다. 제스처 동작은 손을 흔들거나, 손으로 원을 그리거나, 손으로 사각형을 그리거나, 손으로 삼각형을 그리는 것과 같은 동작일 수 있다. 예를 들어, 사용자는 위로 손짓, 아래로 손짓, 왼쪽으로 손짓 또는 오른쪽으로 손짓, 좌상으로 손짓, 좌하로 손짓과 같은 제스처 동작을 통해 3차원 가상 이미지를 회전시킬 수 있다. 그 후, 손으로 원을 그리는 제스처 동작을 통해 회전이 완료되는지 결정된다. 사용자 제스처 동작은 기존의 제스처 검출 디바이스를 통해 검출되고 인식될 수 있다.
3차원 가상 이미지의 회전각을 외부 컨트롤러용 사용자 동작(예컨대, 촬영 장치와 연관된 수기펜(handwriting pen)에 대한 동작, 웨어러블 디바이스와 같은 원격 제어 기능을 구비한 디바이스에 대한 동작임)에 따라 구성하는 예에서, 촬영 장치가 수기펜과 연결되면, 3차원 가상 이미지는 수기펜으로부터의 명령에 따라서 선택되고, 그 후, 사용자는 수기펜의 버튼을 사용하고 수기펜의 첨두를 슬라이딩시킴으로써 3차원 가상 이미지를 회전시킬 수 있다.
또한, 사용자는 3차원 가상 이미지의 3차원 공간 위치와 회전각을 동시에 구성할 수 있다. 예를 들어, 사용자는 다양한 사용자 동작에 따라서 3차원 공간 위치와 회전각을 동시에 구성할 수 있다. 예컨대, 음성 동작, 물리 버튼 동작, 터치 스크린 동작, 제스처 동작, 증강-현실 사람-컴퓨터 상호작용 인터페이스용 동작, 외부 컨트롤러용 동작과 같은 사용자 동작에 따라서 구성이 수행된다.
일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 음성 동작에 따라서 동시에 구성할 수 있다.
3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 음성 동작에 따라서 동시에 구성하는 예에서, <3차원 가상 이미지를 왼쪽으로 1미터, 후방으로 3미터 이동하고, 3차원 가상 이미지를 원점으로 왼쪽으로 10도 회전>시키라는 음성 명령이 사용자로부터 수신되면, 그 음성 명령에 대하여 음성 인식이 수행되어, 3차원 가상 이미지는 왼쪽으로 1미터, 후방으로 3미터 이동되고, 3차원 가상 이미지를 원점으로 시계 방향을 따라서 10도 회전된다.
일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 물리 버튼 동작에 따라서 동시에 구성할 수 있다.
3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 물리 버튼 동작에 따라서 동시에 구성하는 예에서, 동작되는 물리 버튼은 홈 버튼, 볼륨 조정 버튼, 전원 버튼, 기타 신규로 추가된 버튼일 수 있다. 예를 들어, 사용자는 볼륨 조정 버튼 내 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 눌러 회전축 또는 이동 방향을 결정할 수 있다. 이 때, 현재 선택된 회전축 또는 이동 방향은 텍스트, 아이콘 등과 같은 방식으로 사용자에게 통지될 수 있다. 회전축 또는 이동 방향이 결정된 후, 사용자는 볼륨 증가 버튼 또는 볼륨 감소 버튼을 개별로 눌러, 결정된 방향으로 3차원 가상 이미지의 이동을 조정하거나 결정된 회전축을 따른 3차원 가상 이미지의 회전을 조정할 수 있다.
일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 터치 스크린 동작에 따라서 동시에 구성할 수 있다.
3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 터치스크린 동작에 따라서 동시에 구성하는 예에서, 사용자는 스크롤바를 슬라이딩시키거나 텍스트 박스에 상응하는 콘텐츠를 입력하여 구성을 수행할 수 있다. 또한, 사용자는 3차원 가상 이미지를 이동 또는 회전시키기 위한 드래그함으로써 구성을 수행할 수 있다. 예컨대, 사용자는 한 손가락으로 3차원 가상 이미지를 드래그하여 3차원 가상 이미지를 이동시키거나, 두 손가락으로 3차원 가상 이미지를 드래그하여 3차원 가상 이미지를 회전시킬 수 있다.
일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 제스처 동작에 따라서 동시에 구성할 수 있다.
3차원 가상 이미지의 3차원 공간 위치와 회전각을 사용자 제스처 동작에 따라서 구성하는 예에서, 제스처 동작은 한손이나 양손으로 수행될 수 있다. 제스처 동작은 손을 흔들거나, 손으로 원을 그리거나, 손으로 사각형을 그리거나, 손으로 삼각형을 그리는 것과 같은 동작일 수 있다. 예를 들어, 사용자는 손으로 삼각형을 그리는 제스처 동작을 통해 3차원 가상 이미지의 회전각을 구성하는 것을 시작하고, 위로 손짓, 아래로 손짓, 왼쪽으로 손짓 또는 오른쪽으로 손짓, 좌상으로 손짓, 좌하로 손짓과 같은 제스처 동작을 통해 3차원 가상 이미지를 회전시킨다. 사용자는 손으로 사각형을 그리는 제스처 동작을 통해 3차원 가상 이미지의 3차원 공간 위치를 구성하는 것을 시작하고, 위로 손짓, 아래로 손짓, 왼쪽으로 손짓 또는 오른쪽으로 손짓, 좌상으로 손짓, 좌하로 손짓과 같은 제스처 동작을 통해 3차원 가상 이미지를 이동시킨다. 그 후, 손으로 원을 그리는 제스처 동작을 통해 구성이 종료됨을 결정한다.
일 실시예에 따라 3차원 가상 이미지의 3차원 공간 위치와 회전각을 외부 컨트롤러용 사용자 동작에 따라서 동시에 구성할 수 있다.
3차원 가상 이미지의 3차원 공간 위치와 회전각을 외부 컨트롤러용 사용자 동작(예컨대, 촬영 장치와 연관된 수기펜에 대한 동작, 웨어러블 디바이스와 같은 원격 제어 기능을 구비한 디바이스에 대한 동작임)에 따라 구성하는 예에서, 촬영 장치가 수기펜과 연결되면, 3차원 가상 이미지는 수기펜으로부터의 명령에 따라서 선택되고, 그 후, 사용자는 수기펜의 버튼을 사용하고 수기펜의 첨두를 슬라이딩시킴으로써 3차원 가상 이미지를 이동 및/또는 회전시킬 수 있다.
3차원 가상 이미지의 3차원 자세가 3차원 가상 이미지의 결합점의 3차원 공간 위치를 구성함으로써 구성되면, 3차원 가상 이미지의 결합점은 다양한 사용자 동작에 따라서 선택될 수 있다. 예컨대, 음성 동작, 물리 버튼 동작, 터치 스크린 동작, 제스처 동작, 증강-현실 사람-컴퓨터 상호작용 인터페이스용 동작, 외부 컨트롤러용 동작과 같은 사용자 동작에 따라서 결합점이 선택될 수 있다.
일 실시예에 따라 3차원 가상 이미지의 결합점을 사용자 음성 동작에 따라서 선택할 수 있다.
3차원 가상 이미지의 결합점을 사용자 음성 동작에 따라서 선택하는 예에서, <왼손을 선택>하라는 음성 명령이 사용자로부터 수신되면, 그 음성 명령에 대하여 음성 인식이 수행되어, 3차원 가상 이미지 내 왼손의 결합점이 선택된다.
일 실시예에 따라 3차원 가상 이미지의 결합점을 사용자 물리 버튼 동작에 따라서 선택할 수 있다.
3차원 가상 이미지의 결합점을 사용자 물리 버튼 동작에 따라서 선택하는 예에서, 동작되는 물리 버튼은 홈 버튼, 볼륨 조정 버튼, 전원 버튼, 기타 신규로 추가된 버튼일 수 있다. 예를 들어, 사용자는 볼륨 조정 버튼을 통해 선택 박스를 이동시켜 3차원 가상 이미지의 결합점을 선택하고, 그 후 홈 버튼을 눌러 선택을 결정한다.
일 실시예에 따라 3차원 가상 이미지의 결합점을 사용자 터치스크린 동작에 따라서 선택할 수 있다.
3차원 가상 이미지의 결합점을 사용자 터치스크린 동작에 따라서 선택하는 예에서, 사용자는 3차원 가상 이미지의 결합점을 선택하기 위하여, 그 3차원 가상 이미지의 결합점을 미리 정해진 방식으로 클릭할 수 있다. 미리 정해진 방식은 짧게 누르기, 길게 누르기, 미리 설정된 회수만큼 짧게 누르기, 짧게 누르기와 길게 누르기를 교대로 하기 일 수 있다.
도 13은 일 실시예에 따라 3차원 가상 이미지의 결합점을 선택하는 예를 나타낸다.
도 13을 참조하면, 3차원 가상 이미지의 결합점을 선택하는 어려움을 감소시키기 위하여, 사용자가 쉽게 선택할 수 있는 방식으로 결합점이 디스플레이될 수 있다. 또한, 여러 각도로 찍은 3차원 가상 이미지들 1300이 디스플레이되고, 이미지들은 채색되어 있다. 따라서 사용자는 3차원 가상 이미지의 결합점을 쉽게 선택할 수 있다. 3차원 가상 이미지의 결합점은 3차원 가상 이미지의 결합점을 클릭 동작 1310,선택 박스를 선택하는 동작 1320, 사용자 음성 동작 1330 등의 사용자 동작을 통해 선택될 수 있다.
3차원 가상 이미지의 결합점을 사용자 제스처 동작에 따라서 선택하는 경우, 제스처 동작은 한손이나 양손으로 수행될 수 있다. 제스처 동작은 손을 흔들거나, 손으로 원을 그리거나, 손으로 사각형을 그리거나, 손으로 삼각형을 그리거나, 위로 손짓하거나, 아래로 손짓하거나, 왼쪽으로 손을 흔들거나, 오른쪽으로 손을 혼드는 것과 같은 동작일 수 있다. 예를 들어, 사용자는 위로 손짓, 아래로 손짓, 왼쪽으로 손짓 또는 오른쪽으로 손짓인 사용자 제스처 동작을 통해 3차원 가상 이미지의 결합점을 선택하는데 사용되는 선택 박스를 선택하고, 그 후, 손으로 원을 그리는 제스처 동작을 통해 선택을 결정한다. 사용자 제스처 동작은 기존의 제스처 검출 디바이스를 통해 검출되고 인식될 수 있다.
3차원 가상 이미지의 결합점을 외부 컨트롤러용 사용자 동작(예컨대, 촬영 장치와 연관된 수기펜에 대한 동작, 웨어러블 디바이스와 같은 원격 제어 기능을 구비한 디바이스에 대한 동작임)에 따라 선택하는 예에서, 촬영 장치가 수기펜과 연결되면, 3차원 가상 이미지의 결합점은 수기펜으로부터의 명령에 따라서 선택되고, 사용자는 수기펜의 버튼을 사용해 선택 박스를 이동시켜 3차원 가상 이미지를 선택하고, 3차원 가상 이미지의 선택된 결합점을 클릭하여 선택을 결정한다.
3차원 가상 이미지의 결합점이 선택된 후, 3차원 가상 이미지의 선택된 결합점은 이동가능한 상태에 있다. 3차원 가상 이미지의 사용자가 선택한 결합점의 3차원 공간 위치는 다양한 사용자 동작에 따라서 구성된다. 즉, 선택된 결합점은 배경 이미지에서 수평 방향, 수직 방향 및 깊이 방향을 각각 따른 위치로 구성된다. 예컨대, 사용자 음성 동작, 물리 버튼 동작, 터치 스크린 동작, 제스처 동작, 증강-현실 사람-컴퓨터 상호작용 인터페이스용 동작, 외부 컨트롤러용 동작 등을 통해서 구성이 수행될 수 있다.
일 실시예에 따라 3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 음성 동작에 따라 구성할 수 있다.
3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 음성 동작에 따라서 구성하는 예에서, <왼손을 4cm 위로 올리고, 그 후 3cm 뒤로 이동>시키라는 음성 명령이 사용자로부터 수신되면, 그 음성 명령에 대하여 음성 인식이 수행되어, 3차원 가상 이미지의 결합점의 위치는 4cm 위로 이동되고, 그 후, 결합점의 위치는 뒤로 3cm 이동된다.
일 실시예에 따라 3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 물리 버튼 동작에 따라 구성할 수 있다.
3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 물리 버튼 동작에 따라서 동시에 구성하는 예에서, 동작되는 물리 버튼은 홈 버튼, 볼륨 조정 버튼, 전원 버튼, 기타 신규로 추가된 버튼일 수 있다. 예를 들어, 사용자는 볼륨 조정 버튼 내 볼륨 증가 버튼과 볼륨 감소 버튼을 동시에 눌러 이동 방향(즉, 수평 방향, 수직 방향 및 깊이 방향 중 하나)을 결정할 수 있다. 이 때, 현재 선택된 이동 방향은 텍스트, 아이콘 등과 같은 방식으로 사용자에게 통지될 수 있다. 이동 방향이 결정된 후, 사용자는 볼륨 증가 버튼 또는 볼륨 감소 버튼을 개별로 눌러, 선택된 결합점의 위치를 결정된 방향으로 이동시킬 수 있다. 예컨대, 선택된 결합점은 볼륨 증가 버튼을 개별적으로 눌러 왼쪽으로 이동시킬 수 있고, 볼륨 감소 버튼을 개별적으로 눌러 오른쪽으로 이동시킬 수 있다. 구성이 완료된 후, 홈 버튼을 눌러 결정을 수행한다.
일 실시예에 따라 3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 터치스크린 동작에 따라 구성할 수 있다.
3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 터치스크린 동작에 따라서 구성하는 예에서, 사용자는 선택된 3차원 가상 이미지를 한 손가락으로 드래그하여 그 3차원 가상 이미지의 수평 위치와 수직 위치를 이동시키거나, 스크린 상에서 수평 방향을 따라서 슬라이딩시키고 수직 방향을 따라서 슬라이딩시켜서, 3차원 가상 이미지의 수평 위치와 수직 위치를 구성할 수 있다. 인물 모델 결합점의 다른 방향들은 짧게 누르기, 길게 누르기, 미리 설정된 회수만큼 짧게 누르기, 짧게 누르기와 길게 누르기를 교대로 하기 등과 같은 터치 액션을 통해 조정된다. 또한, 사용자는 선택된 결합점의 3차원 공간 위치를, 스크롤바를 슬라이딩시키거나 텍스트 박스에 상응하는 콘텐츠를 입력하여, 배경 이미지에 구성할 수 있다.
도 14는 일 실시예에 따라서 3차원 가상 이미지의 결합점의 3차원 공간 위치를 구성하는 예를 나타낸다.
도 14를 참조하면, 사용자는 3차원 가상 이미지의 선택된 결합점의 3차원 공간 위치를, 결합점을 한 손가락으로 드래그하기 1410, 양 손가락을 붙이거나 및/또는 벌리기 1420, 스크롤바 슬라이딩하기 1430, 텍스트 박스에 상응하는 콘텐츠 입력하기 1440 및 음성 동작 1330 등을 통해, 배경 이미지에 구성할 수 있다.
일 실시예에 따라 3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 제스처 동작에 따라서 구성할 수 있다.
3차원 가상 이미지의 결합점의 3차원 공간 위치를 사용자 제스처 동작에 따라서 구성하는 예에서, 제스처 동작은 한손이나 양손으로 수행될 수 있다. 제스처 동작은 손을 흔들거나, 손으로 원을 그리거나, 손으로 사각형을 그리거나, 손으로 삼각형을 그리는 것과 같은 동작일 수 있다. 예를 들어, 사용자는 선택된 결합점을, 위로 손짓, 아래로 손짓, 왼쪽으로 손짓 또는 오른쪽으로 손짓과 같은 제스처 동작을 통해 상응하는 방향으로 이동시킬 수 있다. 그 후, 손으로 원을 그리는 제스처 동작을 통해 이동의 종료가 결정된다. 사용자 제스처 동작은 기존의 제스처 검출 디바이스를 통해 검출되고 인식될 수 있다.
일 실시예에 따라 3차원 가상 이미지의 결합점의 3차원 공간 위치를 외부 컨트롤러용 사용자 동작에 따라서 구성할 수 있다.
3차원 가상 이미지의 결합점의 3차원 공간 위치를 외부 컨트롤러용 사용자 동작(예컨대, 촬영 장치와 연관된 수기펜에 대한 동작, 웨어러블 디바이스와 같은 원격 제어 기능을 구비한 디바이스에 대한 동작임)에 따라 구성하는 예에서, 촬영 장치가 수기펜과 연결되면, 3차원 가상 이미지의 결합점은 수기펜으로부터의 명령에 따라서 선택되고, 그 후, 사용자는 선택된 결합점을, 수기펜의 버튼을 사용하고 수기펜의 첨두를 슬라이딩시킴으로써 이동시킬 수 있다.
사용자가 구성한 결합점의 3차원 공간 위치를 정확하고 타당한 것으로 만들기 위해, 결합점의 3차원 공간 위치를 사용자 동작에 따라서 구성하는데, 그 구성된 결합점의 속성이 고려될 수 있다. 예를 들어, 사용자 동작에 따라서 구성된 결합점이 모 결합점(mother joint point)이면, 그 모 결합점에 상응하는 자 결합점(child joint point)은 모 결합점의 이동과 함께 이동될 수 있다. 또한, 결합점의 3차원 공간 위치를 구성하는데 사용되는 사용자 동작의 실현성(feasibility)은 결합점의 속성에 따라서 결정되고, 사용자에게 통지된다. 예를 들어, 사용자 동작의 실현성은 결합점의 3차원 공간 위치가 상응하는 골격(skeleton)의 길이로 제한되는 속성에 따라서 결정된다.
도 15는 일 실시예에 따라서, 결합점의 3차원 공간 위치가 잘못 구성되었음을 사용자에게 알리는 예를 나타낸다. 도 15에 도시된 바와 같이, 사용자가 구성한 결합점의 3차원 공간 위치 1510는 상응하는 골격의 길이 제한을 충족하지 못하고, 따라서 촬영 장치 100는 결합점의 3차원 공간 위치가 잘못 구성되었다는 통지 1510를 사용자에게 출력할 수 있다.
도 16은 일 실시예에 따라서, 3차원 가상 이미지 및 이 3차원 가상 이미지의 결합점을 함께 선택하고 구성하는 예를 나타낸다. 도 16을 참조하면, 촬영 장치 100는 제1의 3차원 가상 이미지 및 제2의 3차원 가상 이미지를 선택할 수 있는 선택 박스 1610, 각 선택된 3차원 가상 이미지의 결합점을 선택할 수 있는 선택 박스 1620를 디스플레이할 수 있다. 도 16에 도시된 바와 같이, 제2의 3차원 가상 이미지 및 그 제2의 3차원 가상 이미지의 오른손 결합점은 사용자 인터페이스를 통해 함께 선택되고 구성될 수 있으므로, 3차원 가상 이미지 및 그 3차원 가상 이미지의 결합점은 함께 선택되고 구성될 수 있다.
배경 이미지가 촬영이 수행되는 시나리오의 미리보기 이미지인 경우(즉, 카메라가 시나리오의 미리보기 이미지를 실시간으로 캡처함), 미리보기 이미지는 실시간으로 캡처되므로, 미리보기 이미지는 사용자 손의 액션 변화에 따라서 변화된다(예컨대, 사용자 손이 가볍게 흔들림에 따라서 미리보기 이미지의 흔들림도 일어남). 실시예에서, 미리보기 이미지 내 구성된 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 미리보기 이미지의 변화에 따라서 변화될 수 있다.
또한, 사용자가 3차원 가상 이미지를 구성하는 과정에서, 3차원 가상 이미지의 현재 3차원 공간 위치 및/또는 3차원 자세는 사용자 인터페이스에서 실시간으로 사용자에게 피드백될 수 있고, 사용자 인터페이스 내 미리보기 이미지와 3차원 가상 이미지에 컬러가 적용될 수 있어서, 사용자는 사용자 동작에 따라 발생하는 변화를 실시간으로 획득할 수 있다.
상기한 방법에 따르면, 촬영 오브젝트의 촬영 효과는 배경 이미지 내 3차원 가상 이미지를 구성함으로써 유효하게 시뮬레이션될 수 있고, 따라서 촬영 전에 완전한 구도가 구현될 수 있다.
<구성된 3차원 가상 이미지에 기초하여 촬영을 수행>
이하에서, 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 동작 440의 절차를 상세히 설명한다.
즉, 3차원 가상 이미지를 이용하여 미리 촬영 구도를 잡은 후, 구성된 3차원 가상 이미지에 기초하여 촬영이 이루어진다.
바람직하게는, 구성된 3차원 가상 이미지에 기초한 촬영 프로세스에서, 촬영 오브젝트는 배경 이미지에 구성된 3차원 가상 이미지에 기초한 조정을 수행하도록 가이드된다.
구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 동작 440의 절차가 도 17에 설명된다.
도 17은 일 실시예에 따라서 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 방법을 나타내는 흐름도이다.
도 17에 도시된 바와 같이, 동작 1710에서, 촬영 장치 100는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 차이를 결정할 수 있다.
촬영 장치 100는 촬영 오브젝트를 자동적으로 검출할 수 있다. 일 실시예에서, 촬영 오브젝트는 배경 이미지 내 3차원 가상 이미지의 3차원 자세에 기초하여 검출된다. 예를 들어, 촬영 오브젝트는 배경 이미지 내 3차원 가상 이미지와 유사하거나 일치하는 3차원 자세를 갖는 오브젝트를 검출함으로써 검출될 수 있다. 예를 들어, 동작 430에서, 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치가 구성되면, 그 구성된 위치는 실시간으로 검출될 수 있다. 배경 이미지 내 3차원 가상 이미지와 유사하거나 일치하는 3차원 자세를 갖는 오브젝트가 검출되면, 그 오브젝트는 촬영 오브젝트로서 결정된다.
다른 실시예에서, 촬영 오브젝트는 웨어러블 디바이스가 제공하는 3차원 공간 위치 정보에 기초하여 결정될 수 있다. 예를 들어, 3차원 공간 위치 정보에 따라서, 배경 이미지 내 대응하는 위치에 있는 촬영 오브젝트가 검출되며, 이 3차원 공간 위치 정보는 촬영 오브젝트가 착용하고 촬영 장치와 연결된 웨어러블 디바이스가 제공하거나, 촬영 오브젝트가 휴대하고 촬영 장치와 연결된 전자 디바이스가 제공할 수 있다.
일 실시예에서, 촬영 오브젝트는 사용자가 선택한 오브젝트에 대한 타겟 트래킹을 수행함으로써 결정될 수 있다. 예를 들어, 사용자는 오브젝트를 배경 이미지 내 촬영 오브젝트로서 선택하고, 그 후, 그 선택된 촬영 오브젝트에 대하여 타겟 트래킹이 수행되어, 촬영 오브젝트가 결정될 수 있다.
일 실시예에 따라, 촬영 오브젝트는 다른 방법으로 결정될 수 있다. 일 예에서, 촬영 오브젝트는 안면 인식을 통해 검출될 수 있다. 촬영 오브젝트의 이미지는 미리 촬영되거나, 사진 앨범에서 얻어질 수 있다. 촬영 오브젝트는 그 촬영 오브젝트의 이미지에 기초하여 검출될 수 있다.
다른 예에서, 촬영 오브젝트의 액션 궤적(action trajectory)이 트래킹되고, 그 액션 궤적에 따라서 촬영 오브젝트가 검출될 수 있다. 예를 들어, 오브젝트의 액션 궤적이 트래킹되고, 그 오브젝트의 액션 방향이 구성된 3차원 가상 이미지의 위치를 향하는지 여부가 결정된다. 구성된 3차원 가상 이미지의 위치를 액션 방향이 향하고 있으면, 그 오브젝트가 촬영 오브젝트라고 결정된다. 액션 방향이 구성된 3차원 가상 이미지의 위치로 향하고 있지 않으면, 그 오브젝트는 촬영 오브젝트가 아니라고 결정된다.
촬영 오브젝트가 다수의 인물을 포함하면, 각 촬영 오브젝트는 상기한 방법에 따라서 개별적으로 검출될 수 있다.
일 실시예에서, 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 차이는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이 및/또는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 자세 차이를 포함할 수 있다.
일 예에서, 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이는 촬영 오브젝트의 3차원 공간 위치와 3차원 가상 이미지의 3차원 공간 위치를 비교함으로써 결정될 수 있다. 예를 들어, 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이는 촬영 오브젝트의 수평 방향, 수직 방향 및 깊이 방향에서의 3차원 공간 위치를 3차원 가상 이미지의 수평 방향, 수직 방향 및 깊이 방향에서의 3차원 공간 위치와 각각 순서대로 비교함으로써 결정될 수 있다.
일 예에서, 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 자세 차이는 촬영 오브젝트의 결합점의 3차원 공간 위치를 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치와 비교함으로써 결정될 수 있다. 촬영 오브젝트의 결합점의 3차원 공간 위치 각각은 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치와 순서대로 비교된다. 예를 들어, 비교는 루트 노드로부터 시작하고, 루트 노드로부터 차일드 노드로 차례대로 수행될 수 있다.
오브젝트촬영 오브젝트의 결합점 각각과 3차원 가상 이미지의 상응하는 결합점 사이의 3차원 공간 위치 차이가 미리 설정된 임계값보다 작거나, 또는 촬영 오브젝트의 지정된 결합점과 3차원 가상 이미지의 상응하는 결합점 사이의 3차원 공간 위치 차이가 미리 설정된 임계값보다 작으면, 3차원 가상 이미지와 촬영 오브젝트사이에 3차원 자세 차이가 없다고 결정된다. 또한, 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이는 촬영 오브젝트의 결합점 각각과 3차원 가상 이미지의 상응하는 결합점 사이의 각도차 또는 촬영 오브젝트의 지정된 결합점과 3차원 가상 이미지의 상응하는 결합점 사이의 각도차를 통해서 결정될 수 있다. 예를 들어, 촬영 오브젝트의 몇몇 지정된 결합점들의 연결선이 결정되고, 3차원 가상 이미지의 대응하는 결합점들의 연결선이 결정된다. 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이는 이 두 연결선 사이의 각도차에 따라서 결정된다.
동작 1720에서, 촬영 장치 100는 결정된 차이에 따라서 촬영 가이드를 출력하고 촬영을 수행한다. 이때 촬영 가이드가 순서에 따라 출력되어, 촬영 오브젝트를 가이드함으로써 자세를 조정할 수 있다.
특히, 촬영 오브젝트는 지정된 위치에 도달하도록 가이드되고, 따라서 촬영 오브젝트의 3차원 공간 위치는 배경 이미지 내 구성된 3차원 가상 이미지의 3차원 공간 위치와 동일 또는 유사하고, 및/또는 촬영 오브젝트는 3차원 자세를 조정하도록 가이드되고, 따라서 촬영 오브젝트의 3차원 자세는 3차원 가상 이미지의 3차원 자세와 동일 또는 유사하다. 촬영 오브젝트가 3차원 공간 위치 및 3차원 자세를 조정하도록 가이드되는 경우, 촬영 오브젝트가 3차원 공간 위치를 조정하도록 가이드된 후(즉, 지정 위치에 도달된 후), 촬영 오브젝트는 3차원 자세를 조정하도록 가이드된다.
촬영 오브젝트가 지정된 위치에 도달하도록 가이드되면, 촬영 오브젝트는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이에 기초하여 이동 방향 및 이동 거리에 대하여 가이드된다.
예를 들어, 음성 가이드가 사용되는 경우, 예컨대, <전방으로 거리는 3m>라는 음성 명령이 전송되고, 음성 가이드는 웨어러블 디바이스를 통해 출력될 수 있다.
예를 들어, 이미지 가이드가 사용되는 경우, 촬영 오브젝트의 이동 궤적, 촬영 오브젝트의 현재 위치와 지정된 위치, 지정된 위치까지의 거리 등과 같은 아이템 중 적어도 하나가 디스플레이될 수 있다:오브젝트오브젝트. 이미지 가이드는 촬영 장치 및/또는 웨어러블 디바이스의 디스플레이 스크린을 통해 출력될 수 있다.
또한 선택적으로, 촬영 오브젝트는 색깔이 다른 지시등(indicator lights)을 통해 가이드될 수 있다. 예를 들어, 녹색광은 촬영 오브젝트가 전방으로 이동함을 가리키고, 청색광은 촬영 오브젝트가 오른쪽으로 이동함을 가리킨다. 촬영 오브젝트는 촬영 장치 및/또는 웨어러블 디바이스의 지시등을 통해 가이드될 수 있다.
도 18은 일 실시예에 따라, 이미지 가이드를 이용하여 지정된 위치에 도달하도록 촬영 오브젝트를 가이드하는 예를 나타낸다. 도 18에 도시된 바와 같이, 지정된 위치로의 경로 1810, 현재 위치 1820, 촬영 오브젝트의 지정된 위치 1830, 및 지정된 위치로의 거리에 대한 정보 1840가 그 촬영 오브젝트에 대하여 디스플레이될 수 있다.
다수의 촬영 오브젝트가 존재하면, 촬영 오브젝트 각각은 상응하는 지정된 위치에 도달하도록 상기한 방법에 따라서 가이드될 수 있다. 예를 들어, 촬영 오브젝트 각각은 순서(예컨대, 왼쪽에서 오른쪽으로, 위에서 아래로, 전방에서 후방으로, 어두운 옷색깔에서 밝은 옷색깔로의 촬영 오브젝트순서)에 따라서 가이드될 수 있다.
도 19는 일 실시예에 따른, 다수의 촬영 오브젝트들이 지정된 위치들에 도달하도록 가이드하는 예를 나타낸다.
도 19를 참조하면, 다수 촬영 오브젝트의 이동 궤적들 1910, 1920, 다수 촬영 오브젝트의 현재 위치들 1911, 1921, 상응하는 지정된 위치들 1912, 1922, 상응하는 지정된 위치들로의 각 거리에 대한 정보 1913, 1923 가 디스플레이될 수 있다. 또한, 서로 다른 색깔을 이용하여, 상응하는 지정된 위치들로의 경로들, 다수 촬영 오브젝트의 현재 위치들과 상응하는 지정된 위치들을 마크(mark)할 수 있다.
촬영 오브젝트가 자세를 조정하도록 가이드되는 경우, 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이에 기초하여 가이드가 수행된다.
예를 들어, 음성 가이드가 사용되면, 예컨대, <왼손을 10cm 올리고, 왼손을 8cm 후방으로 이동하시오>라는 음성 명령이 전송된다.
예를 들어, 이미지 가이드가 사용되는 경우, 촬영 오브젝트의 현재 자세와 3차원 가상 이미지의 자세가 두 개의 이미지로 각기 디스플레이되거나, 2개의 중첩된 자세를 포함하는 하나의 이미지로 디스플레이되어서, 촬영 오브젝트는 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이를 학습할 수 있다.
예를 들어, 정보 출력 방식이 가이드를 위해 사용되는 경우, 각 결합점에 대하여 이동되어야 하는 거리와 방향에 대한 정보가 출력될 수 있다. 예를 들어, 예컨대, <소정 결합점을 10cm 왼쪽으로, 8cm 후방으로 이동하시오>와 같은 텍스트가 출력될 수 있다.
예를 들어, 출력에 컬러 마킹 방법이 사용될 수 있다. 예를 들어, 적색은 자세 차이가 크다는 것을 나타내고, 노란색은 촬영 오브젝트의 자세가 3차원 가상 이미지의 자세와 유사하다는 것을 나타내고, 녹색은 촬영 오브젝트의 자세가 3차원 가상 이미지의 자세와 일치한다는 것을 나타내는데 이용될 수 있다.
예를 들어, 색이 다른 지시등들 을 사용해, 촬영 오브젝트의 각 결합점의 3차원 공간 위치가 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치와 일치하는지 여부를 표시할 수 있다.
도 20은 일 실시예에 따라, 촬영 오브젝트의 자세를 조정하기 위해 촬영 오브젝트를 가이드하는 예를 나타낸다. 도 20에 도시된 바와 같이, 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이는 촬영 오브젝트에 대하여 이미지를 통해 디스플레이되고, 촬영 오브젝트는 텍스트 출력 2010을 통해 가이드될 수 있다. 또한, 촬영 오브젝트의 현재 자세 2020 및 촬영 오브젝트가 다수의 각도 하에서 조정될 자세 2030는 전면 시야 또는 측면 시야로 동시에 디스플레이될 수 있고, 촬영 오브젝트의 현재 자세와 촬영 오브젝트가 조정될 자세에 컬러가 적용된다(예를 들어, 결합점에 기초하여 촬영 오브젝트의 현재 자세와 그 현재 자세가 조정될 자세에 컬러가 적용됨). 따라서 촬영 오브젝트는 자세가 어떻게 조정되는지 편리하게 이해할 수 있다. 예를 들어, 일부 상황에서, 촬영 오브젝트는 단일의 전면 시야 또는 단일의 측면 시야 만으로는 자세가 어떻게 조정되는지 이해하지 못할 수 있다. 예를 들어, 촬영 오브젝트는 왼손을 후방으로 8cm 이동시킬 필요가 있지만, 왼손이 전방 또는 후방으로 이동하는지 여부 및 이동 거리는 얼마나 되는지를 단일 전면 시야에서는 결정되지 않을 수 있지만, 측면 시야에서는 정확히 제공될 수 있다.
다수의 촬영 오브젝트가 있으면, 각 촬영 오브젝트는 자세를 조정하도록 가이드됨을 이해해야 한다. 모든 촬영 오브젝트가 상응하는 지정 위치에 도달한 후 각 오브젝트에 대한 가이드가 시작되어 자세를 조정한다. 선택적으로는, 임의의 촬영 오브젝트가 상응하는 지정 위치에 도달한 후 오브젝트에 대한 가이드가 시작되어 자세를 조정한다.
도 21은 일 실시예에 따라 다수 촬영 오브젝트의 자세를 조정하기 위하여 다수 촬영 오브젝트를 가이드하는 예를 나타낸다. 도 21에 도시된 바와 같이, 촬영 오브젝트들 중 하나와 3차원 가상 이미지 사이의 자세 차이는 이미지를 통해 디스플레이되고, 촬영 오브젝트들은 텍스트 2110을 통해 가이드된다. 또한, 다른 촬영 오브젝트에 상응하는 이미지와 텍스트는 다른 컬러로 마킹된다.
일 예에 있어서, 촬영 가이드는 촬영 장치 및/또는 웨어러블 디바이스를 통해 출력되고, 따라서 촬영 오브젝트는 가이드되어 상응하는 조정을 수행한다. 예를 들어, 촬영 오브젝트가 촬영 장치에 근접해 있으면, 촬영 오브젝트는 촬영 장치로부터의 음성 명령을 통하거나 및/또는 회전식 디스플레이 스크린을 통해서 가이드될 수 있다. 촬영 오브젝트가 촬영 장치로부터 멀리 있으면, 촬영 오브젝트는 그 촬영 오브젝트가 착용하고 있고 촬영 장치와 연결된 웨어러블 디바이스(예컨대, 블루투스 헤드폰, 스마트 와치, 스마트 글래스, 스마트 팔찌 등)를 통해 가이드된다. 예를 들어, 촬영 장치는 촬영 오브젝트를 가이드하여 조정을 수행할 필요가 있으면, 사용자에게 가이드를 위해 웨어러블 디바이스를 사용할 것을 통지하고, 근접해 있는 웨어러블 디바이스들의 리스트를 디스플레이할 수 있다. 사용자는 상응하는 웨어러블 디바이스를 선택하여 접속할 수 있다. 또한, 웨어러블 디바이스는 접속 요청을 개시할 수 있다. 예를 들어, 웨어러블 디바이스는 촬영을 하도록 사용자를 가이드하는 앱(APP)을 설치하고 있다. 이 앱은 접속 요청을 촬영 장치에 할 수 있다. 또한, 촬영 오브젝트가 소지한 다른 전자 디바이스(예컨대, 스마트폰, 태블릿 컴퓨터)의 출력이 조정을 수행하도록 촬영 오브젝트를 가이드하는 데 사용될 수 있음을 알아야 한다.
도 22는 일 실시예에 따른 접속형 전자 디바이스의 예를 나타낸다. 도 22에 도시된 바와 같이, 3차원 가상 이미지와 페어링할 디바이스를 선택하라는 메시지 2210 및 촬영 장치와 접속가능한 전자 디바이스들의 리스트 2220가 사용자에게 디스플레이될 수 있고, 사용자는 상응하는 전자 디바이스를 선택하여 접속을 확립할 수 있고, 촬영 장치는 이 접속을 통해 촬영 오브젝트를 가이드하여 조정을 수행한다.
다수의 촬영 오브젝트가 있으면, 촬영 장치는 각 오브젝트가 착용한 웨어러블 디바이스 또는 각 오브젝트가 소지한 전자 디바이스 각각과 접속을 확립할 수 있고, 따라서 촬영 오브젝트는 조정을 수행하기 위한 가이드를, 상응하는 웨어러블 디바이스 또는 상응하는 휴대용 전자 디바이스를 통해 받을 수 있음을 알아야 한다.
도 23은 일 실시예에 따라서, 접속형 전자 디바이스 상에 디스플레이하는 다른 예를 나타낸다. 도 23에 도시된 바와 같이, 복수의 삼차원 가상 이미지 중 하나를 선택할 수 잇는 선택 박스 2310, 및 각 삼차원 가상 이미지와 매핑될 수 있는, 촬영 장치와 접속가능한 전자 디바이스들의 리스트 2320가 사용자를 위해 디스플레이될 수 있고, 따라서 사용자는 복수의 3차원 가상 이미지 각각에 상응하는 전자 디바이스를 선택하여 접속을 확립함으로써, 다수의 촬영 오브젝트에서 선택된 촬영 오브젝트를 가이드하여 조정을 수행할 수 있다. 예를 들어, 사용자는 제1삼차원 가상 이미지에 대해서는 페어링할 디바이스로서 갤럭시 S6를 선택하고, 제2삼차원 가상 이미지에 대해서는 페어링할 디바이스로서 기어 VR을 선택할 수 있다. 따라서 제1삼차원 가상 이미지에 대응하는 촬영 오브젝트는 갤럭시 S6를 통해서 가이드를 제공받고, 제2삼차원 가상 이미지에 대응하는 촬영 오브젝트는 기어 VR을 통해서 가이드를 제공받을 수 있다.
바람직하게는, 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 프로세스에서, 적절한 시간에 촬영 오브젝트가 포커스되고 촬영된다. 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 동작 440의 절차는 도 24를 참조하여 설명된다.
도 24는 다른 실시예에 따라서, 구성된 3차원 가상 이미지에 기초하여 촬영을 수행하는 방법을 나타내는 흐름도이다.
도 24를 참조하면, 동작 2410에서, 촬영 오브젝트가 배경 이미지 내 3차원 가상 이미지와 일치하는지 여부가 결정된다. 예를 들어, 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 차이가 미리 설정된 포커싱 임계값보다 작거나, 또는 촬영 오브젝트가 배경 이미지 내 3차원 가상 이미지와 대략적으로 유사하면, 촬영 오브젝트는 3차원 가상 이미지와 일치한다고 결정된다.
배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 차이는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이 및 3차원 자세 차이를 포함할 수 있다. 비교가 수행될 때, 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이가 미리 설정된 위치 포커싱 임계값보다 작고 또한 3차원 가상 이미지와 촬영 오브젝트사이의 3차원 자세 차이가 미리 설정된 자세 포커싱 임계값보다 작으면, 3차원 가상 이미지와 촬영 오브젝트사이의 차이가 미리 설정된 포커싱 임계값보다 작다고 결정될 수 있다. 선택적으로는, 3차원 공간 위치 차이와 3차원 자세 차이의 가중합이 미리 설정된 토탈 포커싱 임계값보다 작으면, 3차원 가상 이미지와 촬영 오브젝트사이의 차이가 미리 설정된 포커싱 임계값보다 작다고 결정될 수 있다.
동작 2410에서, 촬영 오브젝트가 3차원 가상 이미지와 일치하면, 동작 2420에서 촬영 장치 100는 촬영 오브젝트를 포커스하고 촬영한다.
일 예에서, 촬영 오브젝트가 3차원 가상 이미지와 일치하면, 촬영 오브젝트는 자동적으로 포커스되고 촬영된다.
일 예에서, 촬영 오브젝트가 다수의 오브젝트를 포함하면, 동작 2420의 절차는 각 오브젝트에 대하여 수행될 수 있다.
도 25는 일 실시예에 따라 다수의 오브젝트 각각을 포커스하는 예를 나타낸다. 도 25에 도시된 바와 같이, 상응하는 3차원 가상 이미지와 일치하는 오브젝트가 포커스되고, 그 오브젝트를 포함하는 이미지가 촬영된다. 각 오브젝트가 포커스되어 촬영된 후 각 촬영 이미지에서 오브젝트가 추출되고, 모든 추출된 오브젝트와 배경 이미지가 결합된다. 예를 들어, 도 25를 참조하면, 촬영 장치 100는 제1 삼차원 가상 이미지와 대응하는 촬영 오브젝트의 유사도가 90%이고 제2삼차원 가상 이미지와 대응하는 촬영 오브젝트의 유사도가 94% 임을 나타내는 정보 2510를 디스플레이할 수 있다. 이 방식에 따라, 각 오브젝트마다 포커스되고, 서로 다른 오브젝트들이 포커스된 이미지들이 각각 촬영되고, 촬영 이미지들에서 상응하는 오브젝트들이 추출되고, 모든 추출된 오브젝트들과 배경 이미지가 결합되어, 모든 오브젝트가 선명한 이미지가 획득된다. 따라서 다수의 오브젝트가 다른 시나리오 깊이에 있으면 하나의 오브젝트만이 포커스되고 나머지 오브젝트들은 흐릿하게 되는 문제가 해결될 수 있다.
도 26은 일 실시예에 따라 다수의 촬영 오브젝트 각각을 포커스하는 다른 예를 나타낸다. 도 26에 도시된 바와 같이, 근접 촬영 오브젝트와 원격 촬영 오브젝트 각각이 포커스되어 상응하는 이미지가 촬영되고, 그 상응하는 이미지들에서 오브젝트들이 각각 추출되며, 모든 추출된 오브젝트와 배경 이미지가 결합되어, 선명한 근접 촬영 오브젝트들과 선명한 원격 촬영 오브젝트들을 포함하는 이미지가 획득된다.
오브젝트는 상응하는 촬영 이미지에서 다양한 방법에 따라 추출될 수 있다. 예를 들어, 골격을 촬영 이미지에 맵핑함으로써 대략적인 사용자 영역(rough user region)이 획득될 수 있다. 오브젝트가 위치한 영역은 그래프 컷 알고리즘(graph cut algorithm) 또는 다른 구획 알고리즘에 따라서 구획된다. 구획되지 않은 포인트들은 배경 이미지를 구성하는 배경 포인트들이다. 예를 들어, 오브젝트가 위치한 영역은 보행자 검출 관련 알고리즘(pedestrian detection related algorithm; 예컨대, DPM 모델 등)을 사용해 검출될 수 있고, 그 후, 유사한 깊이의 영역은 오브젝트가 위치한 검출 영역에서 너비 우선 성장 알고리즘(breadth first growth algorithm)을 사용해 구획된다. 깊이 정보의 정밀도가 충분하지 않으면, 매팅 관련 알고리즘(Matting related algorithm)을 사용해 재-구획이 수행될 수 있다. 또한, 모든 추출된 오브젝트들과 배경 이미지는 다양한 방법(예컨대, 포아송 함수)에 따라 결합된다.
또한, 촬영 오브젝트의 특정 결합점들 각각이 포커스되어 이미지들이 촬영되고, 촬영 이미지들이 결합됨으로써, 서로 다른 시나리오 깊이에 위치한 촬영 오브젝트의 선명한 몸체 부분들을 포함하는 이미지가 획득된다. 포커스된 결합점들은 촬영 오브젝트의 자세에 따라서 자동적으로 구성되거나, 사용자 동작에 따라서 선택될 수 있다. 예를 들어, 3차원 가상 이미지가 선택될 때, 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세가 구성될 때, 또는 촬영이 수행될 때, 포커스된 결합점들이 선택된다.
일 실시예에서, 3차원 가상 이미지는 캡처가 소망되는 촬영 오브젝트의 자세가 출현했음을 나타내는데 사용되는 자세를 구비할 수 있다. 따라서 동작 2420에서 촬영 오브젝트가 포커스되면, 촬영 오브젝트는 자동적으로 캡처되어, 촬영 오브젝트가 캡처되기 소망되는 자세에 있는 이미지가 획득된다.
일 실시예에서, 촬영 자세 데이터베이스는 일련의 3차원 가상 이미지 자세(즉, 3차원 가상 이미지의 자세 시퀀스)를 미리 저장할 수 있다. 선택적으로는, 3차원 가상 이미지의 자세 시퀀스는 필요에 따라 촬영 자세 데이터베이스에 부가될 수 있다. 사용자는 캡처되기 소망되는 자세를 촬영 자세 데이터베이스에서 선택할 수 있다. 따라서 촬영 오브젝트의 자세가 자세 시퀀스 내 소망되는 자세 앞의 특정 자세(즉, 캡처되기 소망되는 자세의 출현을 예상하는데 사용되는 자세)와 일치한다고 결정될 때, 캡처되기 소망되는 자세의 촬영 오브젝트를 포함하는 이미지를 캡처하기 위하여 촬영 오브젝트가 포커스될 수 있다.
도 27은 일 실시예에 따라 촬영 오브젝트를 캡처하는 예를 나타낸다. 도 27에 도시된 바와 같이, 촬영 자세 데이터베이스는 농구 슈팅의 3차원 가상 이미지 자세 시퀀스 2710, 2720, 2730, 2740, 2750를 미리 저장할 수 있고, 도 27에서 자세 2740가 사용자가 캡처하기 소망하는 자세이다. 따라서 캡처되기 소망되는 촬영 오브젝트 자세의 출현을 예측할 수 있는 자세가 농구 슈팅 자세 스퀀스 내에서 선택될 수 있다. 예를 들어, 도 27에서 자세 2720가 촬영 속도 및/또는 일반적 농구 슈팅 속도를 고려하여 선택될 수 있다. 따라서 촬영 오브젝트의 자세가 도 27의 자세 2720와 일치할 때 촬영 오브젝트가 포커스되고, 촬영 오브젝트가 도 27의 자세 2730에 있을 때 촬영 오브젝트가 캡처되어서, 도 27의 자세 2740에 있는 촬영 오브젝트를 포함하는 이미지가 캡처될 수 있다.
일 예에서, 촬영 오브젝트가 다수의 오브젝트를 포함하면, 동작 2420의 절차는 각 오브젝트에 대하여 수행되고, 오브젝트들은 상응하는 촬영 이미지에서 추출되고, 모든 추출된 오브젝트와 배경 이미지가 결합되며, 여기서, 3차원 가상 이미지는 캡처가 소망되는 촬영 오브젝트의 자세를 예상하는 자세를 가지고 있다. 따라서 캡처되기 소망되는 각각 다른 자세를 취한 오브젝트들을 포함하는 이미지가 획득된다.
일 예에서, 3차원 가상 이미지는 연속으로 촬영되기 소망되는 다수의 자세를 가질 수 있다. 동작 2420에서, 촬영 오브젝트가 미리 설정된 기간 동안 3차원 가상 이미지와 연속으로 일치할 때, 자동으로 촬영 오브젝트가 포커스되고 연속 촬영이 이루어져, 연속 촬영이 수행될 때 부가적 액션들이 촬영되는 것을 회피할 수 있다. 예를 들어, 현재 연속 촬영 방식으로, 촬영 오브젝트는 동일한 시간 기간 동안 연속으로 촬영되고(예컨대, 촬영 오브젝트는 수초의 시간 기간마다 한번씩 촬영됨), 촬영 자세를 변화시키는데 사용되는 촬영 오브젝트의 액션이 촬영될 수 있다.
일 예에서, 촬영 오브젝트가 다수의 오브젝트를 포함할 때, 3차원 가상 이미지와 일치하지 않는 오브젝트는 그 오브젝트가 포커스되기 전에 촬영 미리보기 이미지에서 제거될 수 있거나, 또는 3차원 가상 이미지와 일치하지 않는 오브젝트는 그 오브젝트가 포커스되고 촬영된 후 촬영 이미지에서 제거될 수 있다.
특히, 촬영 오브젝트는 타겟 오브젝트(즉, 실제 촬영될 오브젝트)와 비타겟 오브젝트(예컨대, 지나가는 행인)를 포함한다. 타겟 오브젝트와 비타겟 오브젝트는 촬영 오브젝트가 3차원 가상 이미지와 일치하는지 여부에 따라서 자동적으로 인식될 수 있고, 비타겟 오브젝트는 촬영이 수행되기 전 또는 후에 제거될 수 있다. 오브젝트와 3차원 가상 이미지 사이의 차이가 미리설정된 포커싱 임계값보다 작으면, 그 오브젝트는 타겟 오브젝트로 인식된다. 오브젝트와 3차원 가상 이미지 사이의 차이가 미리설정된 포커싱 임계값보다 크면, 그 오브젝트는 비타겟 오브젝트로 인식될 수 있다. 선택적으로, 오브젝트와 3차원 가상 이미지 사이의 차이가 미리설정된 편차 임계값보다 클 때만, 그 오브젝트는 비타겟 오브젝트로 인식되고, 편차 임계값은 포커싱 임계값보다 크거나 또는 포커싱 임계값보다 매우 클 수 있다.
도 28은 일 실시예에 따라서 타겟 오브젝트와 비타겟 오브젝트를 인식하는 예를 나타낸다. 도 28에 도시된 바와 같이, 타겟 오브젝트와 비타겟 오브젝트는 촬영 오브젝트와 3차원 가상 이미지 사이의 차이에 따라서 인식될 수 있다. 타겟 오브젝트와 비타겟 오브젝트는 개별로 마킹된다. 도 28을 참조하면, 촬영 장치 100는 제1 삼차원 가상 이미지와 대응하는 타겟 오브젝트 간의 유사도가 90%이고, 제2 삼차원 가상 이미지와 대응하는 타겟 오브젝트 간의 유사도가 94%이고, 비타겟 오브젝트의 수는 1 임을 나타내는 정보 2810을 디스플레이할 수 있다.
일 실시예에서, 다양한 방법에 따라서, 오브젝트와 3차원 가상 이미지 사이의 차이가 상기 포커싱 임계값보다 작지 않으면, 그 오브젝트는 촬영 미리보기 이미지 또는 촬영 이미지에서 제거된다. 예를 들어, 비타겟 오브젝트가 이동할 때, 그 비타겟 오브젝트가 제거된 후 그 영역을 채울 수 있도록 그 비타겟 오브젝트가 이전에 가린 영역은 기록될 수 있다. 오브젝트비타겟 오브젝트가 크고 긴 시간 기간 동안 움직이지 않으면(즉, 긴 시간 기간 동안 상응하는 픽셀의 회색값(grey value) 또는 깊이값(depth value)가 변화하지 않음), 그 비타겟 오브젝트가 가린 영역은 선택 패치 매칭 방법(a selected path match method)을 사용해 채우거나, 그 비타겟 오브젝트가 가린 영역과 유사하고 인터넷 등에서 얻은 이미지를 사용해 채울 수 있다. 선택적으로, 비타겟 오브젝트가 가린 영역은 처리되지 않을 수 있다.
도 29는 일 실시예에 따라서 비타겟 오브젝트를 제거하는 예를 나타낸다. 도 29에 도시된 바와 같이, 타겟 오브젝트들과 비타겟 오브젝트들 각각이 결정되고, 비타겟 오브젝트들이 제거된다. 도 29를 참조하면, 촬영 장치 100는 촬영 미리보기 이미지 또는 촬영 이미지에서 타겟 오브젝트 2910, 2920, 2930을 추출하고, 배경 이미지 2900에 타겟 오브젝트 2910, 2920, 2930은 더하고 비타겟 오브젝트 2940은 제외시킴으로써 최종 이미지를 획득할 수 있다.
일 실시예에 따른 촬영 방법은 촬영 부속물을 결정하는 동작; 및 배경 이미지에 이 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세를 구성하는 동작을 더 포함할 수 있다. 상기한 절차는 촬영이 수행되기 전에 수행되거나(예컨대, 상기 절차는 동작 410 및/또는 동작 430에서 수행되거나, 또는 동작 430의 절차가 수행되고 동작 440의 절차가 수행되기 전에 수행됨), 또는 촬영이 수행되는 동안 수행되거나(예컨대, 상기 절차는 동작 440에서 수행됨), 또는 촬영이 수행된 후 수행될 수 있으며(예컨대, 상기 절차는 촬영 이미지에 대하여 수행됨), 본 실시예는 이들에 한정되지는 않는다.
촬영 부속물은 이미지의 촬영 오브젝트를 장식하는 아이템, 예컨대, 모자, 안경, 시계, 가방 등일 수 있다. 촬영 부속물은 리스트, 이미지, 3차원 모델 등의 방식을 통해 사용자에게 디스플레이될 수 있다. 촬영 부속물은 촬영 장치가 자동적으로 결정하거나(예컨대, 촬영 부속물은 촬영 장치에 디폴트로 구성되어 있음), 또는 촬영 부속물은 사용자 입력(예컨대, 선택된 촬영 부속물을 클릭하거나 드래그함)을 통해 선택될 수 있다.
일 예에서, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 배경 이미지에 대략적으로 구성되고, 그 후, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 배경 이미지에서 정밀하게 조정된다. 선택적으로, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 배경 이미지에 직접 정밀하게 구성된다.
일 예에서, 촬영 부속물의 3차원 공간 위치는 사용자 동작에 따라서 배경 이미지에 대략적으로 구성된다. 예를 들어, 선택된 촬영 부속물은 배경 이미지의 상응하는 위치에 사용자 이동 동작(예컨대, 드래그)에 따라서 이동되거나 또는 촬영 부속물은 배경 이미지 내 사용자가 지정한 곳에 위치된다.
일 예에서, 배경 이미지 내 결정된 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 자동적으로 구성된다. 촬영이 수행되기 전, 배경 이미지 내 결정된 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 그 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세에 따라서 구성된다. 예를 들어, 배경 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 촬영 부속물의 속성, 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세에 따라서 구성된다. 촬영 부속물의 속성은 촬영 부속물의 타입, 촬영 부속물과 연관된 본체부(body part), 촬영 부속물과 묶인 결합점을 포함할 수 있다. 예를 들어, 배경 이미지 내 촬영 부속물의 3차원 공간 위치는 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치에 따라서 구성된다. 촬영 부속물과 묶인 3차원 가상 이미지의 소정 또는 일부 결합점은 촬영 부속물의 속성에 따라서 결정되고(예컨대, 촬영 부속물이 모자이면, 촬영 부속물은 3차원 가상 이미지의 머리와 묶이고, 촬영 부속물이 가방이면, 촬영 부속물은 3차원 가상 이미지의 손과 묶임), 그 후, 배경 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 상기 소정 또는 일부 결합점 각각의 3차원 공간 위치에 따라서 추가로 구성된다. 사용자는 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세를, 자동적으로 구성된 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세에 기초하여 추가로 조정할 수 있다.
도 30은 일 실시예에 따라서 촬영 부속물을 선택하고, 그 촬영 부속물의 3차원 공간 위치를 구성하는 예를 나타낸다. 도 30을 참조하면, 촬영 장치 100의 메뉴 영역 130b는 촬영 부속물을 선택할 수 있는 사용자 인터페이스 3010, 및 선택된 촬영 부속물의 타입을 선택할 수 있는 사용자 인터페이스 3020을 디스플레이할 수 있다. 도 30에 도시된 바와 같이, 사용자가 선택한 가방은 배경 이미지 내 촬영 오브젝트의 손 결합점(a hand joint point)에 상응하는 적절한 위치에 자동적으로 구성된다.
촬영 프로세스 동안 구성이 자동적으로 수행될 때, 배경 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 배경 이미지 내 검출된 촬영 오브젝트의 3차원 공간 위치 및/또는 3차원 자세에 따라서 구성된다. 예를 들어, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 결정된 촬영 부속물의 속성, 촬영 오브젝트의 3차원 공간 위치 및/또는 3차원 자세에 따라서 구성된다. 예를 들어, 촬영 부속물의 3차원 공간 위치는 배경 이미지 내 촬영 오브젝트의 구성된 3차원 공간 위치에 따라서 결정되고, 촬영 부속물과 묶인 특정 또는 일부 결합점들은 그 촬영 부속물의 속성에 따라서 결정되고, 배경 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 촬영 오브젝트의 특정 또는 일부 결합점들 각각의 3차원 공간 위치에 따라 추가적으로 구성된다.
일 실시예에서, 배경 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 정밀하게 구성될 수 있다. 촬영 부속물은 수평 방향, 수직 방향 및 깊이 방향의 각 위치로 구성될 수 있고, 또한, 수평 방향, 수직 방향 및 깊이 방향의 회전각으로 추가 구성될 수 있다. 배경 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 3차원 가상 이미지의 3차원 공간 위치 및 3차원 자세를 구성하는 방법(이 방법은 반복적으로 설명하지 않음)에 따라서 구성될 수 있다.
도 31은일 실시예에 따라서 촬영 부속물의 3차원 공간 위치를 구성하는 예를 나타낸다. 도 31에 도시된 바와 같이, 사용자는 배경 이미지 내 선택된 촬영 부속물의 3차원 공간 위치를, 한 손가락으로 촬영 부속물을 드래그하기 3110, 양 손가락으로 오므리기 및/또는 벌리기 3120, 스크롤바 슬라이딩하기 3130, 텍스트 박스에 상응하는 콘텐츠 입력하기 3140, 음성 동작 3150 등의 사용자 동작을 통해 구성할 수 있다. 또한, 촬영 장치 100는 선택된 촬영 부속물의 현재 3차원 공간 위치를 나타내는 통지 3160를 디스플레이할 수 있다. .
도 32는 일 실시예에 따라서 촬영 부속물의 회전각을 구성하는 예를 나타낸다. 도 32에 도시된 바와 같이, 사용자는 배경 이미지 내 선택된 촬영 부속물의 회전각을 스크롤바 슬라이딩하기 3210, 텍스트 박스에 상응하는 콘텐츠 입력하기 3220, 음성 동작 3230 등을 통해서 구성할 수 있다. 또한, 촬영장치 100는 선택된 촬영 부속물의 현재 회전각에 대한 통지 3240을 디스플레이할 수 있다.
또한, 3차원 가상 이미지 내 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세가 배경에 구성된 후, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세에 따라서 자동적으로 조정될 수 있다. 즉, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 동적으로 업데이트될 수 있다. 따라서 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세의 변화에 따라 변화될 수 있고, 따라서 동적인 실제 감각(dynamic true sense)을 구현할 수 있다.
예를 들어, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세가 결정된 후, 촬영 부속물과 결합점(그 촬영 부속물과 연관된 3차원 가상 이미지의 결합점임)의 상대적 3차원 공간 위치 및/또는 상대적 3차원 자세가 결정될 수 있다. 따라서 3차원 가상 이미지가 조정될 때, 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세는 상대적 3차원 공간 위치 및/또는 상대적 3차원 자세에 따라서 조정된다.
또한 배경 이미지 내 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세에 따라서 자동적으로 조정될 수 있다. 즉, 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 동적으로 업데이트될 수 있다. 따라서 3차원 가상 이미지의 3차원 공간 위치 및/또는 3차원 자세는 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세의 변화에 따라서 변화될 수 있고, 결과적으로 동적인 실제 감각이 구현된다.
또한, 컬러를 촬영 부속물에 적용할 수 있다. 예를 들어, 촬영 부속물의 물리 속성(예컨대, 무게, 표면 장력, 탄성도)이 조정되어, 촬영 부속물을 더욱 실제처럼 만들 수 있다.
일 실시예에 따른 촬영 방법이 도 33에 개시된다. 일 실시예에 따르면, 촬영 오브젝트는 선택된 가상 이미지에 기초하여 조정을 수행하기 위하여 가이드된다. 이 방법은 촬영 장치를 통해 구현되거나 컴퓨터 프로그램을 통해 구현될 수 있다. 예를 들어, 본 방법은 촬영 장치에 설치된 카메라로 구현될 수 있거나 또는 촬영 장치 운영 시스템의 기능 프로그램을 통해 구현될 수 있다.
도 33에 도시된 바와 같이, 동작 3310에서, 촬영 장치 100는 촬영 오브젝트를 나타내는데 사용되는 가상 이미지를 배경 이미지에 구성할 수 있다. 가상 이미지는 자세가 있는 3차원 또는 2차원 인물 모델일 수 있고, 본 실시예는 이에 한정되지 않는다. 촬영 오브젝트를 나타내는데 사용되는 가상 이미지를 배경 이미지에 구성하는 상세한 방법은, 3차원 가상 이미지를 배경 이미지에 구성하는 동작 430의 상세 구현 방법(반복하여 설명하지 않음)을 참조할 수 있다.
동작 3320에서, 촬영 장치 100는 배경 이미지 내 가상 이미지와 촬영 오브젝트 사이의 차이를 결정할 수 있다.
촬영 장치는 촬영 오브젝트를 자동적으로 검출할 수 있다. 상세한 검출 방법은 촬영 오브젝트를 자동적으로 검출하는 상기의 상세 구현 방법을 참조할 수 있다. 예를 들어, 촬영 오브젝트는 배경 이미지 내 가상 이미지의 자세에 기초하여 검출되거나, 또는 웨어러블 디바이스가 제공한 공간 위치 정보에 기초하여 검출될 수 있다. 선택적으로, 배경 이미지 내 사용자가 선택한 오브젝트는 촬영 오브젝트로 간주되고, 그 후, 그 선택된 촬영 오브젝트는 타겟으로서 트랙킹된다. 트랙킹 방법은 반복하여 설명하지 않는다.
일 예에서, 배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 차이는, 그 배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 공간 위치 차이 및/또는 자세 차이를 포함할 수 있다. 결정된 가상 이미지가 3차원 가상 이미지이고, 배경 이미지가 깊이 정보를 가지면, 배경 이미지 내 가상 이미지와 촬영 이미지 사이의 차이는 그 배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 3차원 공간 위치 차이 및/또는 3차원 자세 차이를 포함할 수 있다.
특히, 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트사이의 차이를 결정하는 방법은 상술한 방법을 참조할 수 있으며, 상술한 방법은 반복하여 기재하지 않는다. 예를 들어, 촬영 오브젝트와 가상 이미지 사이의 자세 차이는, 촬영 오브젝트의 결합점 공간 위치와 가상 이미지의 상응하는 결합점의 공간 위치를 비교함으로써 결정된다.
결정된 가상 이미지가 2차원 이미지이면, 배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 차이는, 촬영 오브젝트와 가상 이미지 사이의 2차원 공간 위치 차이 및/또는 2차원 자세 차이를 포함할 수 있다. 이미지 인식 방법이 2차원 공간 위치 차이 및/또는 2차원 자세 차이를 결정하기 위하여 사용될 수 있다.
동작 3330에서, 촬영 장치 100는 결정된 차이에 기초하여 촬영 가이드를 출력할 수 있다.
배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 차이는 촬영 오브젝트와 가상 이미지 사이의 공간 위치 차이만을 포함하고, 촬영 오브젝트는 그 결정된 공간 위치 차이에 기초하여 촬영 오브젝트의 공간 위치를 조정하기 위하여 가이드되며, 촬영 오브젝트의 자세를 조정하기 위하여 가이드되는 것은 아님을 알아야 한다. 따라서 촬영 오브젝트의 공간 위치는 배경 이미지 내 가상 이미지의 공간 위치와 동일 또는 유사하다. 배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 차이가 촬영 오브젝트와 가상 이미지 사이의 자세 차이만을 포함하면, 촬영 오브젝트는 그 결정된 자세 차이에 기초하여 촬영 오브젝트의 자세를 조정하기 위하여 가이드되며, 촬영 오브젝트의 공간 위치를 조정하기 위하여 가이드되는 것은 아니다. 따라서 촬영 오브젝트의 자세는 가상 이미지의 자세와 동일 또는 유사하다. 배경 이미지 내 가상 이미지와 촬영 오브젝트사이의 차이가 촬영 오브젝트와 가상 이미지 사이의 공간 위치 차이 및 자세 차이를 포함하면, 촬영 오브젝트는 그 결정된 공간 위치 차이에 기초하여 촬영 오브젝트의 공간 위치를 조정하기 위하여 가이드되고, 그 결정된 자세 차이에 기초하여 촬영 오브젝트의 자세를 조정하기 위하여 가이드된다. 따라서 촬영 오브젝트의 공간 위치와 자세 각각은 가상 이미지의 그것과 동일 또는 유사하다. 예를 들어, 촬영 오브젝트는 공간 위치를 조정하도록 먼저 가이드되고, 촬영 오브젝트가 상응하는 공간 위치에 도달한 후 자세를 조정하도록 가이드된다.
상세한 가이드 방법은 상술한 상세 구현 방식(예컨대, 촬영 가이드가 촬영 장치 및/또는 웨어러블 디바이스를 통해 출력됨)을 참조할 수 있으며, 여기서 반복하여 기재하지 않는다.
일 실시예에 따른 다른 촬영 방법이 도 34 내지 37에 개시된다. 본 방법에 따르면, 촬영 오브젝트는 그 촬영 오브젝트의 자세에 기초하여 포커스된다. 본 방법은 촬영 장치를 통해 구현되거나 컴퓨터 프로그램을 통해 구현될 수 있다. 예를 들어, 본 방법은 촬영 장치에 설치된 카메라를 통해 구현될 수 있거나 또는 촬영 장치 운영 시스템의 기능 프로그램을 통해 구현될 수 있다.
도 34는 다른 실시예에 따른 촬영 방법을 설명하는 흐름도이다.
도 34에 도시된 바와 같이, 동작 3410에서, 촬영 장치 100는 배경 이미지 내 촬영 오브젝트의 자세를 검출할 수 있다. 배경 이미지 내 촬영 오브젝트의 자세는 기존의 다양한 이미지 인식 방법(반복을 피하기 위하여 다시 설명하지 않음)을 통해 검출될 수 있다.
동작 3420에서, 촬영 장치 100는 검출된 촬영 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정할 수 있다. 포커싱 자세는 촬영 오브젝트를 나타내는 가상 이미지의 미리-구성되고 소망되는 촬영 자세이거나(예컨대, 사용자가 미리 선택한 가상 이미지의 자세 또는 미리-선택된 가상 이미지의 자세가 구성된 후의 자세) 또는 촬영 자세 데이터베이스 내 미리-구성된 임의의 촬영 자세이거나 또는 상기 촬영 오브젝트의 최선 촬영 자세일 수 있다.
도 35는 일 실시예에 따라서 촬영 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하는 예를 나타낸다. 도 35에 도시된 바와 같이, 포커싱 자세는 촬영 자세 데이터베이스 내 임의의 촬영 자세이다. 촬영 오브젝트가 다수의 오브젝트를 포함하면, 각 오브젝트가 촬영 자세 데이터베이스 내 임의의 촬영 자세와 일치하는지 여부가 결정된다. 오브젝트의 자세가 촬영 자세 데이터베이스 내 임의의 촬영 자세와 일치하면, 그 오브젝트의 자세는 포커싱 자세와 일치하고, 그 오브젝트가 포커스될 오브젝트라고 결정된다. 오브젝트의 자세가 촬영 자세 데이터베이스 내 임의의 촬영 자세와 일치하지 않으면, 그 오브젝트의 자세는 포커싱 자세와 일치하지 않으며, 그 오브젝트는 포커스될 오브젝트가 아니라고 결정된다. 또한, 촬영 장치 100는 포커스될 오브젝트와 포커싱되지 않을 오브젝트를 나타내는 통지 3510을 디스플레이할 수 있다.
검출된 촬영 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하는 방법은 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트 사이의 차이를 결정하는 상술한 상세 구현 방법을 참조할 수 있다. 선택적으로, 촬영 오브젝트의 2차원 또는 3차원 자세와 포커싱 자세 사이의 차이는 다른 방법에 따라 결정될 수 있다. 예를 들어, 촬영 오브젝트의 자세와 포커싱 자세 사이의 차이가 미리 설정된 포커싱 임계값보다 작을 때, 또는 촬영 오브젝트의 자세가 포커싱 자세와 대략적으로 유사할 때, 촬영 오브젝트의 자세가 포커싱 자세와 일치한다고 결정된다.
검출된 촬영 오브젝트의 자세와 포커싱 자세 사이의 차이가 제1 포커싱 임계값보다 작으면, 검출된 촬영 오브젝트의 자세는 포커싱 자세와 일치한다고 결정된다. 검출된 촬영 오브젝트의 자세와 포커싱 자세 사이의 차이가 제2 포커싱 임계값보다 크면, 검출된 촬영 오브젝트의 자세는 포커싱 자세와 일치하지 않는다고 결정된다. 제2 포커싱 임계값은 제1 포커싱 임계값과 동일하거나, 제1 포커싱 임계값보다 크거나 또는 작을 수 있다. 예를 들어, 촬영 오브젝트의 각 결합점과 포커싱 자세에 상응하는 결합점 사이의 3차원 공간 위치 차이가 미리 설정된 위치 임계값보다 작거나 또는 촬영 오브젝트의 지정된 결합점과 포커싱 자세에 상응하는 결합점 사이의 3차원 공간 위치 차이가 미리 설정된 위치 임계값보다 작으면, 촬영 오브젝트의 자세는 포커싱 자세와 일치한다고 결정된다. 선택적으로, 촬영 오브젝트의 각 결합점과 포커싱 자세에 상응하는 결합점 사이의 각도 차이가 미리 설정된 각도 임계값보다 작거나 또는 촬영 오브젝트의 지정된 결합점과 포커싱 자세에 상응하는 결합점 사이의 각도 차이가 미리 설정된 각도 임계값보다 작으면, 촬영 오브젝트의 자세는 포커싱 자세와 일치한다고 결정된다.
다시 도 34로 돌아가서, 동작 3430에서, 촬영 오브젝트의 자세가 포커싱 자세와 일치하면, 촬영 장치 100는 촬영 오브젝트를 포커스하고 촬영할 수 있다.
일 예에서, 검출된 촬영 오브젝트의 자세가 포커싱 자세와 일치하면, 촬영 오브젝트는 자동적으로 포커스되고 촬영될 수 있다. 즉, 사용자가 어떠한 동작도 수행할 필요가 없는 상황에서, 촬영 오브젝트는 자동적으로 포커스되고 촬영된다.
일 예에서, 촬영 오브젝트가 다수의 오브젝트를 포함할 때, 동작 3430의 절차는 각 오브젝트에 대하여 수행될 수 있다. 동작 3430의 절차가 각 오브젝트에 대하여 수행된 후, 대응하는 촬영 이미지에서 오브젝트가 추출될 수 있고, 모든 추출된 오브젝트와 배경 이미지가 결합된다. 이 방법에 따르면, 각 오브젝트는 개별로 포커스되고, 오브젝트에 포커스가 취해진 이미지가 촬영될 수 있고, 상응하는 오브젝트가 그 촬영 이미지에서 추출되고, 모든 추출된 오브젝트와 배경 이미지가 결합되므로, 모든 오브젝트가 선명한 이미지를 획득할 수 있다. 특히, 상응하는 이미지에서 각 오브젝트를 추출하고 모든 추출된 이미지와 배경 이미지를 결합하는 방법은, 상기한 상세 구현 방법을 참조할 수 있다. 상세 구현 방법은 반복적으로 설명되지 않는다.
일 예에서, 포커싱 자세는 캡처하기 소망하는 촬영 오브젝트 자세의 출현을 예상하는데 사용된다. 따라서 동작 3430에서, 촬영 오브젝트는 포커스되고, 자동으로 캡처되며, 따라서 캡처하기 소망하는 자세에 있는 촬영 오브젝트의 이미지가 얻어진다. 예를 들어, 캡처하기 소망하는 자세는 촬영 오브젝트의 최적(best) 촬영 자세일 수 있고, 촬영 오브젝트의 최적 촬영 자세는 최적 위치(best location), 정상(a peak) 등에서 촬영 오브젝트가 찾은 자세일 수 있다. 예를 들어, 캡처되기 소망되는 자세는 사용자가 촬영 자세 데이터베이스에 저장된 여러 자세 시퀀스에서 선택한 소망 자세일 수 있다. 포커싱 자세는 캡처하기 소망하는 촬영 오브젝트 자세의 출현을 예상하는데 사용된 자세(예컨대, 촬영 자세 시퀀스에서 캡처하기 소망하는 자세 전의 특정 촬영 자세)이다. 검출된 촬영 오브젝트의 자세가 캡처하기 소망하는 촬영 오브젝트자세의 출현을 예상하는데 사용된 임의의 자세와 일치하면, 그 촬영 오브젝트는 포커스되고, 캡처하기 소망하는 촬영 오브젝트의 자세를 한 촬영 오브젝트의 이미지가 자동으로 캡처된다. 일 예에서, 촬영 오브젝트가 다수의 오브젝트를 포함하면, 동작 3430의 절차는 각 오브젝트에 대하여 수행되고, 상응하는 촬영 이미지에서 오브젝트가 추출되고, 모든 추출된 오브젝트 이미지와 배경 이미지는 결합되며, 여기서, 포커싱 자세는 캡처하기 소망하는 촬영 오브젝트 자세의 출현을 예상하는데 사용된다. 따라서 각 오브젝트가 캡처하기 소망하는 자세에 있는 이미지가 얻어진다.
도 36은 일 실시예에 따라 촬영 오브젝트를 캡처하는 또 다른 예를 나타낸다. 도 36에 도시된 바와 같이, 캡처하기 소망하는 자세는 복수의 오브젝트 각각의 최선 촬영 자세이고, 촬영 오브젝트의 최선 촬영 자세는 촬영 오브젝트가 정상(최고 높이)에 위치한 자세이다. 따라서 각 오브젝트의 자세가 정상에 위치한 촬영 오브젝트가 취한 자세의 출현을 예상하는데 사용된 자세와 일치하면, 그 오브젝트는 포커스된다. 따라서 정상에 위치한 오브젝트의 자세에 있는 오브젝트 이미지가 얻어진다. 도 36을 참조하면, 제1오브젝트 3601가 가장 최고 위치에 있는 자세를 포함하는 이미지 3610에서 제1오브젝트 3601가 포커스되고, 제2오브젝트 3602가 가장 최고 위치에 있는 자세를 포함하는 이미지 3620에서 제2오브젝트 3602가 포커스되고, 제3오브젝트 3603이 가장 최고 위치에 있는 자세를 포함하는 이미지 3630에서 제3오브젝트 3603이 포커스될 수 있다.
일 예에서, 포커싱 자세는 연속으로 촬영되기 소망되는 촬영 오브젝트의 일련의 자세를 나타내는데 사용될 수 있다. 동작 3410에서, 촬영 오브젝트의 자세는 배경 이미지에서 연속적으로 검출된다. 동작 3430에서, 촬영 오브젝트의 검출된 자세들이 시간 기간 동안 포커싱 자세들과 연속으로 일치하면, 촬영 오브젝트는 연속으로 촬영되어, 촬영이 연속으로 수행될 때 촬영 오브젝트의 부가적 액션이 촬영되는 것을 회피한다.
또한, 일 예에서, 동작 3410에서, 촬영 오브젝트가 배경 이미지에서 연속으로 검출되면, 보조 촬영 방법은, 동작 3410의 절차가 수행된 후, 촬영 오브젝트의 자세가 미리 설정된 시간 기간 동안 일치하는지 여부를 결정하고, 촬영 오브젝트의 자세가 미리 설정된 시간 기간 동안 일치하면 그 촬영 오브젝트를 포커스하고 연속으로 촬영하는 동작을 더 포함할 수 있다. 즉, 촬영 오브젝트가 자세를 변경하지 않는다고 결정되면(즉, 촬영 오브젝트의 정지 자세), 촬영 오브젝트는 자동으로 포커스되고 촬영된다. 기존의 연속 촬영 방법(즉, 매 시간 기간마다 촬영이 수행됨)과 비교하여, 본 방법은 부가 액션의 촬영을 감소시킬 수 있다.
일 예에서, 보조 촬영 방법은 촬영 부속물의 공간 위치 및/또는 자세를 배경 이미지에 구성하는 동작을 더 포함할 수 있다. 촬영 부속물을 결정하고 구성하는 상세한 구현 방법은 상기한 방법(반복적으로 기재하지 않음)을 참조할 수 있다.
일 예에서, 실시예에 따라서 촬영 오브젝트가 다수의 오브젝트를 포함할 때, 동작 3430의 절차는 포커싱 자세와 일치하지 않는 자세의 오브젝트를 그 오브젝트가 포커스되고 촬영되기 전에 촬영 미리보기 이미지에서 제거하는 동작, 또는 포커싱 자세와 일치하지 않는 자세의 오브젝트를 그 오브젝트가 촬영된 후 촬영 이미지에서 제거하는 동작을 포함할 수 있다. 특히, 촬영 오브젝트는 타겟 오브젝트(즉, 실제 촬영될 오브젝트)와 비타겟 오브젝트(예컨대, 지나가는 행인)를 포함한다. 타겟 오브젝트와 비타겟 오브젝트는 촬영 오브젝트가 포커싱 자세와 일치하는지 여부에 따라서 자동적으로 인식될 수 있다. 비타겟 오브젝트는 촬영이 수행되기 전 또는 후에 제거된다. 포커싱 자세와 일치하지 않는 자세의 오브젝트를 제거하는 상세한 구현 방법은 상기한 상세 구현 방법(반복적으로 기재하지 않음)을 참조할 수 있다.
도 37은 일 실시예에 따라 비타겟 오브젝트를 제거하는 다른 예를 나타낸다. 도 37에 도시된 바와 같이, 포커싱 자세는 촬영 자세 데이터베이스 내 임의의 촬영 자세이고, 촬영 오브젝트는 다수의 오브젝트를 포함한다. 각 오브젝트가 타겟 오브젝트인지 비타겟 오브젝트인지 여부가 결정되고, 타겟 오브젝트 및 제거될 비타겟 오브젝트가 사용자에게 디스플레이될 수 있다.
촬영 오브젝트가 단일 오브젝트일 때 촬영 방법이 상세히 설명된다.
도 38은 일 실시예에 따른 촬영 방법을 나타내는 흐름도이다. 본 방법은 단일 촬영 오브젝트에 대하여 사용된다.
도 38에 도시된 바와 같이, 동작 3810에서, 촬영 장치 100는 카메라 애플리케이션의 동작을 개시한다. 카메라 애플리케이션은 카메라 애플리케이션을 시작시키는 사용자 동작에 의해 개시될 수 있다. 예를 들어, 사용자가 카메라 아이콘을 클릭하는 것이 검출되면, 카메라 애플리케이션은 시작된다. 선택적으로, 카메라 애플리케이션을 개시시키는 음성 명령이 검출되면, 카메라 애플리케이션이 개시될 수 있다.
동작 3820에서, 촬영 장치 100는 깊이 정보를 갖는 배경 이미지를 획득할 수 있다. 즉, 깊이 카메라를 통해 실시간으로 캡처한 촬영 미리보기 이미지(깊이 정보를 가짐)가 촬영 장치의 스크린을 통해 사용자에게 디스플레이된다.
동작 3830에서, 촬영 장치 100는 촬영 오브젝트를 나타내는데 사용되는 3차원 가상 이미지를 선택할 수 있다.
메뉴 바 내 <3차원 가상 이미지 선택> 메뉴 아이템에 대한 사용자 동작에 따라서, 촬영 자세 데이터베이스 내 3차원 가상 이미지들이 사용자가 선택하도록 스크린의 측면에 디스플레이된다. 사용자는 3차원 가상 이미지를 클릭하여 선택할 수 있다.
또한, 사용자는 3차원 가상 이미지와 촬영 부속물(예컨대, 태양)을 포함하는 촬영 시나리오 템플릿을 추가로 선택할 수 있다. 촬영 부속물과 3차원 가상 이미지 사이의 관계(예컨대, 위치 관계)는 미리-구성된 촬영 시나리오 템플릿으로 한정된다.
동작 3840에서, 촬영 장치 100는 3차원 가상 이미지의 3차원 공간 위치 및 3차원 자세를 배경 이미지에 구성할 수 있다.
일 예에서, 3차원 가상 이미지의 3차원 공간 위치는 먼저 대략적으로 구성된 후 더욱 조정될 수 있다.
예를 들어, 사용자는 선택된 3차원 가상 이미지를 클릭하고, 스크린의 다른 측면에 디스플레이된 배경 이미지 내 상응하는 위치에 그 이미지를 드래그할 수 있다. 따라서 선택된 3차원 가상 이미지는 배경 이미지 내 대략적으로 구성된다. 바람직하게는, 3차원 가상 이미지를 위치시키기 적절한 영역과 적절하지 않은 영역이 배경 이미지 내에 디스플레이될 수 있다. 선택적으로는, 3차원 가상 이미지를 위치시키기 적절하지 않은 영역에 3차원 가상 이미지를 위치시킬 때, 사용자는 이 사항을 통지받을 수 있다.
예를 들어, 3차원 가상 이미지와 촬영 부속물을 포함하는 촬영 시나리오 템플릿이 블록 S403에서 선택되면, 3차원 가상 이미지의 3차원 공간 위치 및 3차원 자세는 배경 이미지 내 촬영 부속물에 기초하여 자동으로 구성될 수 있다.
3차원 가상 이미지의 3차원 공간 위치가 대략적으로 구성된 후 3차원 가상 이미지의 3차원 공간 위치를 정밀하게 구성하는데 사용되는 인터페이스가 스크린의 다른 측면에 디스플레이된다. 예를 들어, 수평 방향, 수직 방향 및 깊이 방향에서 3차원 가상 이미지의 위치들을 조정하는데 사용되는 스크롤바 또는 텍스트 박스가 인터페이스에 디스플레이된다. 사용자는 스크롤바를 슬라이딩시키거나 또는 텍스트 박스에 상응하는 좌표를 입력함으로써, 3차원 가상 이미지의 3차원 공간 위치를 정밀하게 구성할 수 있다.
3차원 공간 위치를 구성하는 절차가 종료되었다고 사용자가 결정한 후, 3차원 가상 이미지의 3차원 자세를 구성하는데 사용되는 인터페이스가 스크린의 측면에 디스플레이된다. 예를 들어, 3차원 가상 이미지의 결합점을 통해 표현된 3차원 가상 이미지의 자세를 예시하는 개략도가 인터페이스에 디스플레이될 수 있고, 개략도는 전면도 또는 측면도를 포함할 수 있다. 사용자는 구성될 결합점을 클릭하고 그 결합점을 상응하는 위치로 드래그함으로써, 3차원 가상 이미지의 3차원 자세를 구성할 수 있다. 또한, 사용자는 3차원 가상 이미지를 클릭하고 그 3차원 가상 이미지를 회전시키기 위하여 드래그함으로써, 3차원 가상 이미지의 회전 각도를 추가로 구성할 수 있다.
바람직하게는, 사용자는 촬영 부속물(예컨대, 모자)을 추가로 선택할 수 있다. 촬영 부속물의 3차원 공간 위치 및 3차원 자세는 촬영 부속물(3차원 가상 이미지의 결합점이 결합됨)의 속성, 3차원 가상 이미지의 구성된 3차원 공간 위치 및 구성된 3차원 자세에 따라서 자동으로 구성된다. 사용자는 촬영 부속물의 3차원 공간 위치 및 3차원 자세를 추가로 조정할 수 있다.
동작 3850에서, 촬영 장치 100는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트 사이의 차이에 기초하여 촬영 가이드를 출력할 수 있다. 특히, 촬영 가이드는 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 공간 위치 차이 및 3차원 자세 차이에 기초하여 출력된다.
예를 들어, 촬영 오브젝트는 3차원 가상 이미지가 3차원 공간 위치 차이에 기초하여 위치된 곳에 도달하도록 먼저 가이드되고, 그 후, 3차원 자세 차이에 기초하여 3차원 자세를 조정하도록 가이드될 수 있다. 촬영 장치를 통해 음성 가이드가 출력될 수 있다. 선택적으로, 이미지 가이드는 촬영 오브젝트가 착용하고 촬영 장치와 페어링된 웨어러블 디바이스를 통해 출력될 수 있다.
동작 3860에서, 촬영 장치 100는 비타겟 오브젝트를 배경 이미지에서 제거할 수 있다. 즉, 비타겟 오브젝트(즉, 행인)은 촬영 미리보기 이미지에서 제거되어, 촬영 이미지에 디스플레이되지 않는다.
동작 3850 및 동작 3860의 절차는 동시에 수행될 수 있다. 즉, 촬영 장치는 촬영 오브젝트의 가이드와 비타겟 오브젝트의 제거를 동시에 할 수 있다.
동작 3870에서, 촬영 오브젝트가 배경 이미지 내 3차원 가상 이미지와 일치할 때, 촬영 장치 100는 촬영 오브젝트를 자동으로 포커스하고 촬영할 수 있다. 예를 들어, 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 공간 위치 차이가 미리 설정된 위치 포커싱 임계값보다 작고, 촬영 오브젝트와 3차원 가상 이미지 사이의 3차원 자세 차이가 미리 설정된 자세 포커싱 임계값보다 작으면, 촬영 오브젝트는 3차원 가상 이미지와 일치한다고 결정되고, 촬영 오브젝트는 자동으로 포커스되고 촬영된다.
촬영 오브젝트가 다수의 오브젝트를 포함할 때 촬영 방법이 아래에 상세히 설명된다.
도 39는 일 실시예에 따른 촬영 방법을 나타내는 흐름도이다. 이 방법은 다수의 촬영 오브젝트에 대하여 사용된다.
도 39에 도시된 바와 같이, 동작 3910에서, 촬영 장치 100는 카메라 애플리케이션을 개시할 수 있다. 카메라 애플리케이션은 카메라 애플리케이션을 시작시키는 사용자 동작에 의해 개시될 수 있다. 예를 들어, 사용자가 카메라 아이콘을 클릭하는 것이 검출되면, 카메라 애플리케이션은 시작된다. 선택적으로는, 카메라 애플리케이션을 개시시키는 음성 명령이 검출되면, 카메라 애플리케이션이 개시된다.
동작 3920에서, 촬영 장치 100는 배경 이미지를 획득할 수 있다. 즉, 깊이 카메라를 통해 실시간으로 캡처한 촬영 미리보기 이미지(깊이 정보를 가짐)가 촬영 장치의 스크린을 통해 사용자에게 디스플레이된다.
동작 3930에서, 촬영 장치 100는 다수의 촬영 오브젝트를 나타내는데 사용되는 가상 이미지들을 선택할 수 있다.
메뉴 바 내 <가상 이미지들 선택> 메뉴 아이템에 대한 사용자 동작에 따라서, 촬영 자세 데이터베이스 내 가상 이미지들이 사용자가 선택하도록 스크린의 측면에 디스플레이된다. 사용자는 각 오브젝트에 대하여 가상 이미지를 선택하거나 다수 가상 이미지들의 조합을 선택할 수 있다.
동작 3940에서, 촬영 장치 100는 배경 이미지 내 촬영 오브젝트들에 상응하는 가상 이미지들과 그 촬영 오브젝트들 사이의 차이들에 기초하여 촬영 가이드들을 출력할 수 있다. 즉, 촬영 가이드들 각각은 각 촬영 오브젝트와 그 촬영 오브젝트에 상응하는 가상 이미지 사이의 자세 차이에 기초하여 출력된다. 예를 들어, 촬영 오브젝트들은 음성 명령을 통해 순서대로(왼쪽에서 오른쪽으로) 연속 가이드된다. 선택적으로는, 상응하는 촬영 오브젝트들이 입은 웨어러블 디바이스에 음성 또는 이미지 가이드들 각각이 송신되어서, 각 촬영 오브젝트는 상응하는 웨어러블 디바이스로부터의 가이드에 따라서 조정될 수 있다.
동작 3950에서, 각 오브젝트에 대하여, 촬영 오브젝트의 자세가 상응하는 가상 이미지의 자세와 일치할 때, 촬영 장치 100는 촬영 오브젝트를 자동적으로 포커스하여 촬영할 수 있다. 즉, 각 오브젝트에 대하여, 촬영 오브젝트의 검출된 자세가 상응하는 가상 이미지의 자세와 일치할 때, 촬영 오브젝트는 자동으로 포커스되고 촬영되므로, 각각의 촬영 오브젝트가 포커스된 이미지를 얻을 수 있다.
동작 3960에서, 촬영 장치 100는 촬영 오브젝트에 상응하는 촬영 이미지에서 각 촬영 오브젝트를 추출하고, 모든 추출된 촬영 오브젝트와 배경 이미지를 결합할 수 있다. 따라서 모든 촬영 오브젝트가 선명한 이미지가 얻어진다.
실시예들에 따라 제공된 촬영 방법 및 장치에 의하면, 3차원 가상 이미지는 깊이 정보가 있는 배경 이미지 내에 구성되고, 따라서 사용자는 촬영 효과를 미리 알 수 있다. 또한, 촬영 오브젝트는 배경 이미지 내 3차원 가상 이미지와 촬영 오브젝트 사이의 차이에 따라서 조정을 수행하도록 가이드되므로, 촬영 오브젝트는 가상 이미지와 일치한다. 또한, 촬영 오브젝트는 그 촬영 오브젝트의 자세에 기초하여 포커스되고 촬영될 수 있다.
일 실시예에 따른 촬영 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 촬영 장치에 있어서,
    이미지를 촬영하는 촬영부; 및
    상기 촬영부에 연결된 제어부를 포함하고,
    상기 제어부는,
    깊이 정보가 있는 배경 이미지를 획득하고,
    상기 배경 이미지에 오브젝트를 나타내는데 이용되는 3차원 가상 이미지를 배치하고,
    상기 배치된 3차원 가상 이미지에 기초하여 상기 오브젝트를 촬영하도록 상기 촬영부를 제어하는, 촬영 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 3차원 가상 이미지의 3차원 가상 공간 위치 및/또는 3차원 자세(posture)를 결정하는, 촬영 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    촬영 부속물을 결정하고, 및
    상기 배경 이미지에 상기 촬영 부속물의 3차원 공간 위치 및/또는 3차원 자세를 더 구성하는, 촬영 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 3차원 가상 이미지를, 상기 배경 이미지 내 상기 3차원 가상 이미지의 상기 촬영 부속물(shooting appendage)에 기초하여 배치하고,
    상기 3차원 가상 이미지와 이 3차원 가상 이미지의 상기 촬영 부속물 사이의 관계는 미리 구성된 촬영 시나리오 템플릿(pre-configured shooting scenario template)에 의해 정의되는, 촬영 장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 3차원 가상 이미지의 3차원 자세(posture)를, 상기 3차원 가상 이미지의 결합점(joint point)의 3차원 공간 위치를 배치함으로써 구성하는, 촬영 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 오브젝트와 상기 3차원 가상 이미지 사이의 차이를 결정하고,
    상기 결정된 차이에 기초하여 촬영 가이드를 상기 촬영 장치 및/또는 웨어러블 디바이스(wearable device)를 통해 출력하는, 촬영 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 오브젝트를 상기 3차원 가상 이미지의 3차원 자세에 기초하여 검출하거나, 또는 상기 웨어러블 디바이스가 제공한 3차원 공간 위치 정보에 기초하여 검출하거나, 또는 사용자가 선택한 오브젝트에 대한 타겟 트랙킹(target tracking)에 기초하여 검출하는, 촬영 장치.
  8. 제6항에 있어서,
    상기 오브젝트와 상기 3차원 가상 이미지 사이의 차이는 3차원 공간 위치 차이 및/또는 상기 오브젝트와 상기 3차원 가상 이미지 사이의 3차원 자세 차이를 포함하는, 촬영 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 오브젝트와 상기 3차원 가상 이미지 사이의 상기 3차원 자세 차이를, 상기 오브젝트의 결합점의 3차원 공간 위치와 상기 3차원 가상 이미지의 상응하는 결합점의 3차원 공간 위치를 비교함으로써 결정하는, 촬영 장치.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 배경 이미지 내 상기 오브젝트의 자세를 검출하고,
    상기 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하고,
    상기 검출된 오브젝트의 자세가 상기 포커싱 자세와 일치하면 상기 오브젝트를 포커스하고 촬영하도록 상기 촬영부를 제어하는, 촬영 장치.
  11. 제10항에 있어서,
    상기 포커싱 자세는 상기 촬영 오브젝트의 소망하는 촬영 자세를 나타내는데 사용되는 미리-구성된 자세이거나, 미리-구성된 촬영 자세 데이터베이스 내 임의의 촬영 자세인, 촬영 장치.
  12. 제10항에 있어서,
    상기 제어부는,
    캡처되기 소망되는 상기 오브젝트 자세의 출현을 예상하는데 사용되는 상기 3차원 가상 이미지의 예상 자세를 결정하고,
    상기 오브젝트가 상기 예상 자세를 취한다고 검출할 때 상기 오브젝트를 자동적으로 포커스하고 캡처하도록 상기 촬영부를 제어하는, 촬영 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    연속적으로 촬영되기 소망되는 일련의 오브젝트 자세를 나타내는데 사용되는 상기 3차원 가상 이미지의 다중 자세를 결정하고,
    상기 오브젝트가 미리 설정된 시간 동안 상기 배경 이미지 내 상기 3차원 가상 이미지와 연속적으로 일치하면, 상기 오브젝트를 자동적으로 포커스하고 연속적으로 촬영하도록 상기 촬영부를 제어하는, 촬영 장치.
  14. 제1항에 있어서,
    상기 오브젝트는 다중 오브젝트를 포함하고,
    상기 제어부는,
    상기 오브젝트가 포커스되고 촬영되기 전 또는 후에, 상기 3차원 가상 이미지와 일치하지 않는 오브젝트를 제거하는, 촬영 장치.
  15. 촬영 장치의 동작 방법에 있어서,
    깊이 정보가 있는 배경 이미지를 획득하는 동작,
    상기 배경 이미지에 오브젝트를 나타내는데 이용되는 3차원 가상 이미지를 배치하는 동작, 및
    상기 배치된 3차원 가상 이미지에 기초하여 상기 오브젝트를 촬영하는 동작을 포함하는 동작 방법.
  16. 제15항에 있어서,
    상기 3차원 가상 이미지의 3차원 가상 공간 위치 및/또는 3차원 자세(posture)를 결정하는 동작을 더 포함하는 동작 방법.
  17. 제15항에 있어서,
    상기 오브젝트와 상기 3차원 가상 이미지 사이의 차이를 결정하는 동작, 및
    상기 결정된 차이에 기초하여 촬영 가이드를 상기 촬영 장치 및/또는 웨어러블 디바이스(wearable device)를 통해 출력하는 동작을 더 포함하는 동작 방법.
  18. 제15항에 있어서,
    상기 배경 이미지 내 상기 오브젝트의 자세를 검출하는 동작,
    상기 오브젝트의 자세가 포커싱 자세와 일치하는지 여부를 결정하는 동작, 및
    상기 검출된 오브젝트의 자세가 상기 포커싱 자세와 일치하면 상기 오브젝트를 포커스하고 촬영하는 동작을 더 포함하는 동작 방법.
  19. 제15항에 있어서,
    캡처되기 소망되는 상기 오브젝트 자세의 출현을 예상하는데 사용되는 상기 3차원 가상 이미지의 예상 자세를 결정하는 동작, 및
    상기 오브젝트가 상기 예상 자세를 취한다고 검출할 때 상기 오브젝트를 자동적으로 포커스하고 촬영하는 동작을 더 포함하는 동작 방법.
  20. 제15항에 기재된 방법을 실행하는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
KR1020160062168A 2015-09-01 2016-05-20 영상 촬영 장치 및 그 동작 방법 KR102407190B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2016/009784 WO2017039348A1 (en) 2015-09-01 2016-09-01 Image capturing apparatus and operating method thereof
US15/254,515 US10165199B2 (en) 2015-09-01 2016-09-01 Image capturing apparatus for photographing object according to 3D virtual object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510552980.0A CN106484086B (zh) 2015-09-01 2015-09-01 用于辅助拍摄的方法及其拍摄设备
CN201510552980.0 2015-09-01

Publications (2)

Publication Number Publication Date
KR20170027266A true KR20170027266A (ko) 2017-03-09
KR102407190B1 KR102407190B1 (ko) 2022-06-10

Family

ID=58237641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062168A KR102407190B1 (ko) 2015-09-01 2016-05-20 영상 촬영 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102407190B1 (ko)
CN (1) CN106484086B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088843A (ko) * 2018-01-19 2019-07-29 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
CN110276840A (zh) * 2019-06-21 2019-09-24 腾讯科技（深圳）有限公司 多虚拟角色的控制方法、装置、设备及存储介质
WO2020218646A1 (ko) * 2019-04-25 2020-10-29 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
WO2024071657A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973224B (zh) * 2017-03-09 2020-08-07 Oppo广东移动通信有限公司 辅助构图的控制方法、控制装置及电子装置
CN108921815A (zh) * 2018-05-16 2018-11-30 Oppo广东移动通信有限公司 拍照交互方法、装置、存储介质及终端设备
WO2020029306A1 (zh) * 2018-08-10 2020-02-13 华为技术有限公司 一种图像拍摄方法及电子设备
CN109600550B (zh) * 2018-12-18 2022-05-31 维沃移动通信有限公司 一种拍摄提示方法及终端设备
CN111147744B (zh) * 2019-12-30 2022-01-28 维沃移动通信有限公司 拍摄方法、数据处理方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135295A1 (en) * 2011-11-29 2013-05-30 Institute For Information Industry Method and system for a augmented reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518740B (zh) * 2013-09-11 2020-02-21 索尼公司 图像处理设备及方法
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135295A1 (en) * 2011-11-29 2013-05-30 Institute For Information Industry Method and system for a augmented reality

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088843A (ko) * 2018-01-19 2019-07-29 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
WO2020218646A1 (ko) * 2019-04-25 2020-10-29 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
CN110276840A (zh) * 2019-06-21 2019-09-24 腾讯科技（深圳）有限公司 多虚拟角色的控制方法、装置、设备及存储介质
EP3989177A4 (en) * 2019-06-21 2022-08-03 Tencent Technology (Shenzhen) Company Limited METHOD FOR CONTROLLING MULTIPLE VIRTUAL CHARACTERS, DEVICE, APPARATUS, AND MEDIA
CN110276840B (zh) * 2019-06-21 2022-12-02 腾讯科技（深圳）有限公司 多虚拟角色的控制方法、装置、设备及存储介质
US11962930B2 (en) 2019-06-21 2024-04-16 Tencent Technology (Shenzhen) Company Limited Method and apparatus for controlling a plurality of virtual characters, device, and storage medium
WO2024071657A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법

Also Published As

Publication number Publication date
CN106484086A (zh) 2017-03-08
CN106484086B (zh) 2019-09-20
KR102407190B1 (ko) 2022-06-10

Similar Documents

Publication Publication Date Title
US10165199B2 (en) Image capturing apparatus for photographing object according to 3D virtual object
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
JP6214236B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP2822267B1 (en) Method and apparatus for previewing a dual-shot image
US9838597B2 (en) Imaging device, imaging method, and program
JP6292867B2 (ja) 合成イメージを撮影する撮影装置及びその方法
JP6101397B2 (ja) 写真出力方法および装置
WO2014194676A1 (zh) 拍照方法、照片管理方法及设备
JP6731616B2 (ja) バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
CN106034206B (zh) 电子设备及图像显示方法
JP2014197824A5 (ko)
JP2015119277A (ja) 表示機器、表示方法及び表示プログラム
US9521329B2 (en) Display device, display method, and computer-readable recording medium
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
CN104735353B (zh) 一种拍摄全景照片的方法及装置
WO2022061541A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP6104077B2 (ja) 撮影機器及び撮影方法
WO2023174009A1 (zh) 基于虚拟现实的拍摄处理方法、装置及电子设备
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
US20160057359A1 (en) Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image from images related to reference image
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP6061715B2 (ja) 撮像装置、その制御方法及びプログラム
JP2012065049A (ja) 画像処理装置及び画像処理方法
JP6630337B2 (ja) 電子機器およびその制御方法
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right