KR102628714B1 - 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법 - Google Patents
모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법 Download PDFInfo
- Publication number
- KR102628714B1 KR102628714B1 KR1020210062278A KR20210062278A KR102628714B1 KR 102628714 B1 KR102628714 B1 KR 102628714B1 KR 1020210062278 A KR1020210062278 A KR 1020210062278A KR 20210062278 A KR20210062278 A KR 20210062278A KR 102628714 B1 KR102628714 B1 KR 102628714B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- background
- image
- mobile terminal
- original image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010835 comparative analysis Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000000203 mixture Substances 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 카메라 시스템을 개시한다. 보다 상세하게는, 본 발명은 스마트 폰 등의 모바일 단말에서 구동하며 기존 존재하는 사진 속 배경 이미지와 동일한 배경과, 이에 등장하는 사진속 인물과 동일한 포즈로 촬영을 지원하는 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따르면, 원본 사진을 분석하여 배경 및 타겟 객체를 식별하여 장면을 특정 및 장면에 등장하는 인물의 포즈를 식별하고, 현재 화면상에 표시되는 장소 및 인물에 대한 앵글 및 포즈의 매칭 정보를 제공함으로써 셀럽과 동일한 장소에서 동일한 구도 및 포즈로 사진을 촬영할 수 있는 효과가 있다.
본 발명의 실시예에 따르면, 원본 사진을 분석하여 배경 및 타겟 객체를 식별하여 장면을 특정 및 장면에 등장하는 인물의 포즈를 식별하고, 현재 화면상에 표시되는 장소 및 인물에 대한 앵글 및 포즈의 매칭 정보를 제공함으로써 셀럽과 동일한 장소에서 동일한 구도 및 포즈로 사진을 촬영할 수 있는 효과가 있다.
Description
본 발명은 카메라 시스템에 관한 것으로, 특히 스마트 폰 등의 모바일 단말에서 구동하며 기존 존재하는 사진 속 배경 이미지와 동일한 배경과, 이에 등장하는 사진속 인물과 동일한 포즈로 촬영을 지원하는 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법에 관한 것이다.
스마트폰, 태블릿PC 등, 모바일 단말의 기술적 발전에 따라, 최근에 모바일 단말은 일반적인 전화 기능뿐만 아니라, 영상 재생 기능, 파일 전송 기능 및 사진 촬영 기능 등의 다양한 기능이 탑재되고 있다.
특히 스마트폰에 탑재되는 카메라는 성능이 나날이 좋아짐에 따라 현재 1억 화소가 넘어가는 등 전용 디지털 카메라 못지않은 선명한 화질로 촬영이 가능하게 되었다. 또한, 사용자가 쉽게 촬영 장치를 사용할 수 있도록 하기 위해 자동 초점(Auto Focus; AF), 셀프 촬영, 손떨림 방지 등과 같은 다양한 기술들이 적용됨에 따라, 사용자는 어디서나 편리하게 고품질의 사진 및 동영상을 촬영할 수 있게 되었다.
더 나아가, 사진 편집, 전송 등의 기능을 구현하는 다양한 스마트폰 전용 어플리케이션(Application)들도 보급되고 있다.
이러한 스마트폰 전용 어플리케이션들에는 사진의 보정을 위한 어플리케이션, 사진의 프레임을 변화하기 위한 어플리케이션 및 사진의 인화 서비스 신청을 위한 어플리케이션 등이 있으며, 사용자들은 특별한 순간뿐만 아니라, 평소에도 스마트폰을 이용하여 다양한 일상을 기록으로 남기고 있다.
한편, 연예인을 비롯한 셀럽에 대한 일반인의 관심이 증가하면서 이들 셀럽에 대한 정보 역시 폭발적으로 증가하고 있다. 특히, 인터넷으로 대표되는 정보통신기술이 발달과 함께, 특정 셀럽의 프로필, 관련 뉴스, 진행 작품, 팬클럽 정보 등과 같은 다양한 정보를 제공하는 셀럽 포털 사이트가 등장하여 일반인들로 하여금 여러 정보를 공유할 수 있도록 하고 있다. 이러한 현상은 스마트폰의 보급과 맞물려 셀럽을 길거리나 특정 장소에서 발견할 경우 자신이 직접 근거리에서 셀럽의 사진을 찍어 SNS 등을 통해 지인과 셀럽에 대한 정보를 공유하기도 한다.
특히, 유명 셀럽이 특정 장소에서 특정 포즈로 촬영한 사진을 SNS 등에 공유하면, 이를 본 팬들은 해당 장소를 직접 찾아가 셀럽과 같은 포즈를 취하고 사진을 찍는 경우가 많다. 이런 경우에 해당 장소를 찾아 촬영을 위한 정확한 배경을 찾아내고, 셀럽의 포즈를 정확하게 체크하는 것이 중요하다고 할 수 있다.
그러나, 현재 스마트폰에 제공되는 어플리케이션들은 사진 속 배경 이미지와 동일한 장소에서, 사진 속 인물과 동일한 포즈로 사진을 촬영할 수 있도록 지원하는 기능을 제공하지는 못하는 한계가 있다.
본 발명은 전술한 한계를 극복하기 위해 안출된 것으로, 본 발명은 사진 속 배경 이미지와 동일한 배경을 찾고 사진 속 인물과 동일한 포즈를 찾는 과정을 증강현실 서비스를 통해 구현하고, 동일한 배경 및 포즈로 사용자가 사진을 찍을 수 있도록 환경을 제공하는데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템은, 저장소에 저장된 원본 이미지로부터, 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지의 메타 정보를 추출하는 이미지 정보 추출부, 상기 배경선 정보 및 윤곽선 정보에 기초하여, 배경과 상기 배경에 위치한 등장 인물을 분리 및 식별하는 배경/인물 분리부, 하나 이상의 피사체 인물 및 상기 피사체 인물의 주변 배경을 촬영하여 3D 뎁스 정보를 포함하는 촬영 이미지를 생성하는 촬영부, 상기 3D 뎁스 정보를 이용하여, 상기 촬영 이미지의 배경에 대응하는 제1 공간 정보 및 상기 촬영 이미지의 피사체 인물에 대응하는 제2 공간 정보를 포함하는 포인트 클라우드를 설정하는 공간 설정부, 상기 배경선 정보와 상기 제1 공간 정보를 비교하여 상기 원본 이미지의 배경과 상기 촬영 이미지의 배경간의 앵글차를 산출하고, 상기 윤곽선 정보와 상기 제2 공간 정보를 비교하여 상기 등장 인물과 피사체 인물간의 포즈차를 산출하는 비교 분석부 및, 상기 앵글차 및 포즈차를 포함하는 매칭 정보를 모바일 단말의 화면상에서 촬영 이미지와 중첩해서 표시하는 매칭 정보 생성부를 포함할 수 있다.
상기 원본 이미지의 배경은 하나 이상의 타겟 객체를 포함하고, 상기 비교 분석부는, 상기 제1 공간 정보의 복수의 포인트와 상기 타겟 객체를 비교하여, 상기 촬영 이미지의 촬영 장소가 상기 원본 이미지의 촬영 장소와 동일한지 판단할 수 있다.
또한, 본 발명의 시스템은, 모바일 단말에 탑재된 GPS 모듈로부터 상기 촬영 이미지가 생성된 위도 및 경도를 포함하는 좌표 정보를 제공받아 촬영 장소의 동일 여부 판단시 참조하도록 상기 비교 분석부에 전달하는 좌표 정보 제공부를 더 포함할 수 있다.
상기 앵글차는, 상기 제1 공간 정보의 X, Y, Z 좌표에 대해서, 이하의 수학식,
로 산출될 수 있다.
상기 이미지 정보 추출부는, 상기 원본 이미지에 대하여, 노이즈 제거 및 복수의 이미지 분할을 포함하는 전처리 과정을 더 수행할 수 있다.
또한, 전술한 과제를 해결하기 위해, 본 발명의 다른 양태의 실시예에 따른 모바일 단말에 설치 및 실행되는 카메라 시스템에 의한 사진 촬영 지원 방법은, (a) 하나 이상의 피사체 인물 및 상기 피사체 인물의 주변 배경을 촬영하여 3D 뎁스 정보를 포함하는 촬영 이미지를 생성하는 단계, (b) 상기 3D 뎁스 정보를 이용하여, 상기 촬영 이미지의 배경에 대응하는 제1 공간 정보 및 상기 촬영 이미지의 피사체 인물에 대응하는 제2 공간 정보를 포함하는 포인트 클라우드를 설정하는 단계, (c) 저장소에 저장된 원본 이미지로부터, 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지의 메타 정보를 추출하는 단계, (d) 상기 배경선 정보 및 윤곽선 정보에 기초하여, 배경과 상기 배경에 위치한 등장 인물을 식별 및 분리하는 단계, (e) 상기 배경선 정보와 상기 제1 공간 정보를 비교하여 상기 원본 이미지의 배경과 상기 촬영 이미지의 배경간의 앵글차를 산출하고, 상기 윤곽선 정보와 상기 제2 공간 정보를 비교하여 상기 등장 인물과 피사체 인물간의 포즈차를 산출하는 단계 및, (f) 상기 앵글차 및 포즈차를 포함하는 매칭 정보를 모바일 단말의 화면상에서 촬영 이미지와 중첩해서 표시하는 단계를 포함할 수 있다.
상기 (e) 단계 이전에, 상기 제1 공간 정보의 복수의 포인트와 상기 원본 이미지의 배경에 포함되는 타겟 객체를 비교하여, 타겟 객체를 비교하여 상기 촬영 이미지의 촬영 장소가 상기 원본 이미지의 촬영 장소와 동일한지 판단하는 단계를 포함할 수 있다.
상기 (e) 단계는, 모바일 단말에 탑재된 GPS 모듈로부터 상기 촬영 이미지가 생성된 위도 및 경도를 포함하는 좌표 정보를 제공받는 단계, 상기 좌표 정보를 참조하여 상기 원본 이미지 및 촬영 이미지의 촬영 장소의 동일 여부를 판단하는 단계를 더 포함할 수 있다.
상기 앵글차는, 상기 제1 공간 정보의 X, Y, Z 좌표에 대해서, 이하의 수학식,
로 산출될 수 있다.
상기 (d) 단계는, 상기 원본 이미지에 대하여, 노이즈 제거 및 복수의 이미지 분할을 포함하는 전처리 과정을 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 원본 사진을 분석하여 배경 및 타겟 객체를 식별하여 장면을 특정 및 장면에 등장하는 인물의 포즈를 식별하고, 현재 화면상에 표시되는 장소 및 인물에 대한 앵글 및 포즈의 매칭 정보를 제공함으로써 셀럽과 동일한 장소에서 동일한 구도 및 포즈로 사진을 촬영할 수 있는 효과가 있다.
본 발명은 전술한 사용자의 요구를 쉽게 반영할 수 있도록 한다. 또한, 본 발명의 기술적 사상은 영화나 드라마 속 어떤 장면이나 유명 작품 사진에도 적용할 수 있다.
도 1은 모바일 단말을 이용한 사진 촬영 현장을 예시한 도면이다.
도 2는 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 방법을 나타낸 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템의 영상 처리 방법을 모식화한 도면이다.
도 6은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템이 제공하는 촬영 화면을 예시한 도면이다.
도 2는 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 방법을 나타낸 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템의 영상 처리 방법을 모식화한 도면이다.
도 6은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템이 제공하는 촬영 화면을 예시한 도면이다.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하의 설명에서, 본 발명의 "모바일 단말용 사진 촬영 지원 카메라 시스템"의 용어는, 설명의 편의상 "카메라 시스템" 또는 "시스템"으로 약식 표기될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법을 설명한다.
도 1은 모바일 단말을 이용한 사진 촬영 현장을 예시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템은, 스마트폰 등의 모바일 단말(10)에 설치 및 실행되는 어플리케이션 프로그램 형태로 구현될 수 있고, 촬영자인 사용자의 실행에 따라 모바일 단말(10)에 탑재된 카메라와 연동하여 구동될 수 있다.
그리고, 사용자는 모바일 단말(10)을 이용하여 이전 셀럽 등이 방문한 촬영 장소를 배경으로 하고 셀럽과 동일한 위치 및 포즈의 사진을 남기고자 하는 피사체 인물을 촬영할 수 있다.
이를 위해, 모바일 단말(10)은 해당 장소에서 셀럽이 촬영하여 공유한 원본 이미지를 다운로드 하거나 저장할 수 있고, 카메라 시스템의 저장소에는 해당 원본 이미지가 저장될 수 있다. 이에 따라, 본 발명의 카메라 시스템은 피사체 인물의 촬영시 그 원본 이미지를 참조하여 현재 촬영 이미지의 구도 및 피사체 인물의 포즈가 동일한지 판단 및 정확도를 산출하여 수치적으로 표현된 매칭 정보를 생성 및 화면상에 제공할 수 있다.
특히, 본 발명의 실시예에 따른 카메라 시스템은 원본 이미지에서, 이미지를 이루는 배경선 및, 등장 인물의 윤곽선에 기초하여 배경과 등장 인물을 식별 및 분리함과 아울러, 모바일 단말(10)에 탑재된 카메라를 통해 피사체 인물 및 피사체 인물의 주변 배경을 촬영하여 3D 뎁스(depth) 정보를 포함하는 촬영 이미지를 생성하고, 그 3D 뎁스 정보를 이용하여 공간 정보를 도출하고, 원본 이미지의 배경 및 등장 인물과의 비교를 통해 현재 촬영중인 장소가 원본 이미지에 등장하는 장소와 일치하는 여부와, 촬영 이미지의 앵글(angle) 및 피사체 인물의 포즈(pose)가 동일한지를 판단할 수 있다. 이러한 영상 분석 방법에 대한 상세한 설명은 후술한다.
그리고, 카메라 시스템은 판단결과에 따라, 원본 이미지와 촬영 이미지간의 정확도를 수치화하고, 매칭 정보로서 촬영 이미지와 중첩하여 모바일 단말(10)의 화면상에 표시할 수 있다.
전술한 매칭 정보는 현재 촬영 상태에 따라 실시간으로 화면상에 표시되며, 이에 따라 사용자는 모바일 단말(10)의 화면을 바라보며 피사체 인물과 배경이 원본 이미지에 부합하도록 이동하면서 정확도가 100%에 가깝도록 위치 및 앵글을 변경하여 촬영을 수행할 수 있다.
또한, 촬영 현장(1)에는 원본 이미지에 등장하는 하나 이상의 타겟 객체(3)가 존재할 수 있고, 카메라 시스템은 원본 이미지와 촬영 이미지의 비교시 타겟 객체(3)를 참조할 수 있다.
이러한 타겟 객체(3)로는 해당 장소에 존재하는 다양한 물체, 간판 및 시설 등일 수 있고, 이러한 타겟 객체(3)는 현재 촬영 이미지의 장소뿐만 아니라, 촬영 각도를 판단하는 지표로 활용될 수 있다.
본 발명의 시스템(100)이 적용되는 모바일 단말(10)로는, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 단말과 같은 공지의 다양한 휴대용 컴퓨팅 장치가 이용될 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템은, 셀럽 등이 촬영한 사진 속 배경과 동일한 배경을 찾고 사진 속 등장 인물과 동일한 포즈를 찾는 과정을 증강현실 서비스 형태로 구현하고 동일한 배경 및 포즈로 피사체 인물에 대한 사진을 찍을 수 있도록 환경을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템을 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템을 나타낸 도면이다. 이하의 설명에서, 카메라 시스템(100)을 구성하는 각 구성부는, 공지의 마이크로 프로세서에 의해 실행 가능한 어플리케이션 프로그램으로 구현되고, 읽고 쓰기가 가능한 기록매체에 기록되어 모바일 단말에 탑재될 수 있다.
도 2를 참조하면, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템(100)은, 저장소(110)에 저장된 원본 이미지로부터, 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지의 메타 정보를 추출하는 이미지 정보 추출부(120), 배경선 정보 및 윤곽선 정보에 기초하여, 배경과 상기 배경에 위치한 등장 인물을 분리 및 식별하는 배경/인물 분리부(130), 하나 이상의 피사체 인물 및 피사체 인물의 주변 배경을 촬영하여 3D 뎁스 정보를 포함하는 촬영 이미지를 생성하는 촬영부(140), 3D 뎁스 정보를 이용하여, 촬영 이미지의 배경에 대응하는 제1 공간 정보 및 촬영 이미지의 피사체 인물에 대응하는 제2 공간 정보를 포함하는 포인트 클라우드를 설정하는 공간 설정부(150), 배경선 정보와 제1 공간 정보를 비교하여 원본 이미지의 배경과 촬영 이미지의 배경간의 앵글차를 산출하고, 윤곽선 정보와 제2 공간 정보를 비교하여 등장 인물과 피사체 인물간의 포즈차를 산출하는 비교 분석부(160) 및, 앵글차 및 포즈차를 포함하는 매칭 정보를 모바일 단말의 화면상에서 촬영 이미지와 중첩해서 표시하는 매칭 정보 생성부(170) 및, 모바일 단말에 탑재된 GPS 모듈로부터 상기 촬영 이미지가 생성된 위도 및 경도를 포함하는 좌표 정보를 제공받아 촬영 장소의 동일 여부 판단시 참조하도록 상기 비교 분석부에 전달하는 좌표 정보 제공부(180)를 포함할 수 있다.
저장소(110)는 카메라 시스템(100)에 탑재된 메모리 등에 할당된 파일 저장 공간으로서, 촬영 대상이 되는 셀럽 및 장소가 등장하는 원본 이미지를 저장할 수 있다. 이러한 원본 이미지는 웹 등으로부터 미리 다운로드 되어 저장소(110)에 저장될 수 있고, 이미지 분석시 참조될 수 있다.
이미지 정보 추출부(120)는 카메라 시스템(100)의 실행에 따라 저장소(110)에 저장된 원본 이미지로부터 이미지와 관련된 다양한 정보를 추출할 수 있다. 특히, 원본 이미지에는 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지에 대한 메타 정보가 포함될 수 있고, 이미지 정보 추출부(120)를 이러한 정보를 추출하여 후술하는 비교 분석부(160)에 전달할 수 있다.
여기서, 배경선 정보는 원본 이미지에서 배경에 해당하는 영역을 식별하는 데 이용될 수 있고, 윤곽선 정보는 등장 인물에 해당하는 영역을 식별하는 데 이용될 수 있다. 또한, 메타정보는 촬영 장소의 위도 및 경도, 데이터 수집시간, 조도, 컬러 등을 식별하는데 이용될 수 있으며, 여기서, 데이터 수집시간, 조도 및 컬러 등의 정보는 분석시 배제될 수 있다.
또한, 이미지 정보 추출부(120)는 원본 이미지에 대하여, 노이즈 제거 및 복수의 이미지 분할을 포함하는 전처리 과정을 더 수행할 수 있으며, 이러한 전처리 과정은 인식의 정확도 향상을 위해 사진 속 이미지의 노이즈 제거나 이미지 분할(Image Segmentation) 등을 적용한 것으로, 인식 속도의 개선을 위해 사진 속 배경과 인물 포즈를 중심으로 증강현실 기반 인식이 가능한 범위에서 복수의 배경선 및 윤곽선을 각각 연결하는 포인트와 포인트간 간격이 촘촘하지 않는 구조로 경량화된 저밀도(Low density) 윤곽 프레임을 구성할 수 있다.
배경/인물 분리부(130)는 원본 이미지로부터 추출되는 이미지 정보를 이용하여 배경과 인물을 식별 및 분리할 수 있다. 배경/인물 분리부(130)는 추출된 배경선 정보를 통해 원본 이미지에 등장하는 배경 형태 및 배경의 원근비율 등을 식별할 수 있고, 윤곽선 정보를 통해 배경 상에 위치한 하나 이상의 등장 인물을 식별할 수 있다.
배경선 정보는 원본 이미지에서 배경을 이루는 복수의 배경선을 포함할 수 있다. 이러한 배경선의 배치 및 연결형태에 의해 배경과, 배경의 원근감을 시뮬레이션 할 수 있고, 배경과 등장인물간의 원근비율을 산출하는 데 이용될 수 있다.
또한, 배경선 정보에는 배경 상에 존재하는 하나 이상의 타겟 객체의 형태를 포함할 수 있다. 타겟 객체는 등장 인물을 제외한 배경 상의 건물, 시설, 간판, 물체 등이 될 수 있고, 각 장소에는 해당 장소를 특정할 수 있는 타겟 객체가 하나 이상 존재할 수 있다. 이러한 타겟 객체는 배경 및 등장인물과는 별도의 객체로서 식별될 수 있고, 이후 촬영 이미지의 장소와 원본 이미지의 장소가 동일 장소인지 판단시 그 정확도를 높이는 데 활용될 수 있다.
그리고, 원본 이미지 상에 등장 인물은 하나 이상의 셀럽에 대응하며 통상적으로 이미지의 중심에 위치할 수 있다. 또한, 윤곽선 정보는 폐곡선을 이루며 등장 인물의 포즈를 나타내고, 이후 촬영 이미지 상의 피사체 인물에 대한 윤곽선의 비교를 통해 포즈의 정확도를 산출하는 데 이용될 수 있다.
촬영부(140)는 모바일 단말에 탑재된 카메라로부터 실시간으로 촬영된 촬영 이미지를 생성할 수 있다. 사용자는 모바일 단말을 이용하여 원본 이미지에 대응하는 장소에서 셀럽에 대응하도록 사진을 찍을 수 있고, 촬영부(140)는 모바일 단말의 카메라에서 촬영중인 촬영 이미지를 실시간으로 생성할 수 있다. 여기서, 모바일 단말의 카메라는 피사체에 대한 3D 뎁스 정보를 획득할 수 있는 뎁스 비전(depth vision) 카메라일 수 있고, 이후 공간 관련 정보를 설정하기 위한 3D 뎁스 정보를 획득할 수 있다.
공간 설정부(150)는 촬영 이미지 분석을 위한 공간과 관련된 정보를 설정할 수 있다. 공간 설정부(150)는 촬영 이미지에 등장하는 배경 및 피사체 인물에 대한 포인트 클라우드(point cloud)를 설정하는 것으로, 이를 위해 촬영 이미지에 포함되는 3D 뎁스 정보를 이용하여 촬영 이미지의 배경에 대응하는 제1 공간 정보와, 촬영 이미지의 피사체 인물에 대응하는 제2 공간 정보를 생성하여 포인트 클라우드를 설정할 수 있다. 이러한 포인트 클라우드를 통해 촬영 이미지상의 배경과 피사체 인물의 형태를 식별하고 원근비율을 산출할 수 있으며, 촬영 앵글을 산출할 수 있다.
비교 분석부(160)는 원본 이미지로부터 도출한 정보와 촬영 이미지로부터 도출한 정보를 비교 분석하여 촬영 이미지가 원본 이미지와 동일한 장소 및 위치에서 동일한 앵글로 촬영되었는지 판단함과 아울러, 등장 인물과 피사체 인물의 포즈가 동일한지를 판단할 수 있다.
상세하게는, 비교 분석부(160)는 원본 이미지의 배경선 정보와 제1 공간 정보에 해당하는 포인트 클라우드의 각 위치를 비교 분석하여 원본 이미지를 이루는 배경의 각 지점과 촬영 이미지의 포인트 클라우드의 포인트를 매핑하고, 원본 이미지의 배경과 대비하여 두 배경의 각도차 즉, 촬영시 앵글차가 얼마인지 산출할 수 있다.
여기서, 전술한 앵글차는 제1 공간정보의 X, Y, Z 좌표에 대해서, 이하의 수학식 1로 산출할 수 있다.
또한, 비교 분석부(160)는 원본 이미지의 윤곽선 정보와 제2 공간 정보에 해당하는 포인트 클라우드의 각 위치를 비교 분석하여 원본 이미지에 등장하는 등장 인물의 머리위치, 팔, 다리 위치 및 제스처 등과 촬영 이미지의 포인트 클라우드의 각 포인트를 매핑하여 원본 이미지의 등장 인물과 대비하여 피사체 인물의 현재 포즈의 차이가 어느 정도인지 산출할 수 있다.
또한, 비교 분석부(160)는 배경 이미지의 경우 배경과 관련된 정보를 중심으로 다양한 위치에서 촬영한 사진과 비교할 수 있도록 3차원 공간 시뮬레이션 값 비교와 원근값 적용을 통한 대상 이미지 크기 비례 비교 등을 통해 위치 및 거리 보정을 반영함으로써, 원본 이미지와 촬영 이미지간 매칭 정확도를 높일 수 있다. 또한, 등장 인물과 피사체 인물의 포즈는 포즈의 윤곽선 정보를 중심으로 3차원 공간 시뮬레이션과 원근 비율 적용을 통해 포즈의 매칭 정확도를 개선할 수 있다.
매칭정보 생성부(170)는 비교 분석부(160)를 통해 산출한 원본 이미지와 촬영 이미지간의 앵글차 및 포즈차를 수치값으로 모바일 단말의 화면상에 현재 촬영중인 이미지와 중첩하여 표시할 수 있다.
원본 이미지와 촬영 이미지간의 비교 분석에 따라, 촬영 이미지와 원본 이미지간의 차이가 산출되고, 매칭정보 생성부(170)는 실시간으로 산출되는 앵글차와 포즈차를 각각 모바일 단말의 화면상에 표시할 수 있다. 이에, 사용자는 자신의 현재 위치를 이용하여 배경 및 피사체 인물의 촬영 거리 및 구도를 수시로 전환하며 원본 이미지와의 정확도가 일정 수준 이상으로 높은 위치를 찾아 촬영을 진행할 수 있고, 아울러 피사체 인물에게 구두로 셀럽과 동일한 포즈를 취하도록 요청함으로써 보다 원본과 유사한 촬영 결과를 획득할 수 있도록 한다.
전술한 바와 같이, 촬영 이미지의 배경과 피사체 인물의 포즈를 원본 이미지와 매칭하여 보정하는 과정은 정확도 계산에 따른 수치화를 통해 진행될 수 있다. 여기서, 카메라 시스템(100)은 정확도가 일정 수치 이상 나오는 경우에만 사진 촬영이 가능하고 그 이하로 낮아지는 경우 보정을 통해 정확도를 높인 후 사진 촬영을 할 수 있도록 한다.
한편, 본 발명의 실시예에 따른 카메라 시스템(100)은 모바일 단말이 현재 촬영중인 장소가 원본 이미지에 등장하는 장소와 일치하는지 판단함에 있어서 그 정확도를 높일 수 있는 수단인 좌표정보 제공부(180)를 더 포함할 수 있다.
좌표정보 제공부(180)는 모바일 단말에 탑재되는 GPS 모듈로부터 현재 위치에 대한 GPS 좌표를 입력받고, 원본 이미지로부터 추출된 메타정보에 포함되는 위도와 경도와 비교하여 현재 위치가 메타정보에 기록된 좌표와 일치하는지 확인할 수 있고, 현재 판단된 좌표정보를 보정할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 방법을 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 방법을 나타낸 도면이다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없더라도 전술한 본 발명의 카메라 시스템 및 이의 구성부가 된다.
도 3을 참조하면, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 방법에 의하면, 먼저 피사체 인물에 대한 촬영 이미지를 생성하는 단계(S100)로서, 셀럽이 등장하는 원본 이미지와 동일한 사진을 찍고자 하는 사용자가 자신이 소지한 모바일 단말에서 본 발명의 카메라 시스템을 실행하고, 특정 장소에서 포즈를 취하는 피사체 인물을 촬영할 수 있다. 이때, 모바일 단말에는 3D 뎁스 정보를 생성할 수 있는 뎁스 비전이 탑재되어 있고, 이에 촬영 이미지에는 3D 뎁스 정보가 포함될 수 있다.
다음으로, 3D 뎁스 정보를 이용하여 포인트 클라우드를 설정하는 단계(S110)는, 촬영 이미지에 포함되는 3D 뎁스 정보를 이용하여 이미지내 공간 정보를 판단하는 단계로서, 시스템은 촬영 이미지 및 이에 포함되는 3D 뎁스 정보를 이용하여 배경에 대한 제1 공간정보와, 피사체 인물에 대한 제2 공간정보를 포함하는 포인트 클라우드를 설정할 수 있다. 이러한 포인트 클라우드는 촬영 이미지의 공간 정보를 정의하는 것으로, 이미지내 배경 및 객체의 형상, 원근비 등을 판단하는 데 활용될 수 있다.
다음으로, 원본 이미지로부터 배경선 정보, 윤곽선 정보 및 메타 정보를 추출하는 단계(S120)는 사용자가 촬영하고자 하는 기준이 되는 소스인 원본 이미지로부터 분석을 위한 다양한 정보를 추출하는 단계이다.
상세하게는, 원본 이미지는 현재 모바일 단말을 통해 촬영하고자 하는 셀럽의 모습이 담긴 이미지로서, 다운로드 등 미리 모바일 단말에 저장될 수 있고, 시스템은 저장된 원본 이미지로부터, 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지의 메타 정보를 추출할 수 있다.
다음으로, 배경선 정보 및 윤곽선 정보에 기초하여 배경과 등장인물을 식별 및 분리하는 단계(S130)에서는 상기 배경선 정보 및 윤곽선 정보에 기초하여, 배경과 상기 배경에 위치한 등장 인물을 식별 및 분리할 수 있다. 배경선은 등장 인물의 후방 또는 주변에 위치하는 건물, 시설물 및 간판 등이 선으로 표현된 것으로, 시스템은 배경선의 형태에 따라 배경을 식별함과 아울러, 윤곽선의 형태를 통해 등장 인물 및 그의 포즈를 식별할 수 있다.
다음으로, 원본 이미지 및 촬영 이미지의 배경간 앵글차를 산출하고, 등장 인물과 피사체 인물간 포즈차를 산출하는 단계(S140)에서는, 추출한 정보를 활용하여 두 이미지에 대한 비교 분석을 수행하게 한다.
상세하게는, 시스템은 원본 이미지의 배경선 정보와, 이에 대응하는 촬영 이미지의 제1 공간 정보를 비교하여 현재 촬영 장소와 이미지 구도, 특히 촬영 앵글이 원본 대비 얼마나 근접했는지를 판단하고, 원본 이미지의 윤곽선 정보와 촬영 이미지의 제2 공간 정보를 비교하여 피사체 인물의 포즈가 등장 인물의 포즈와 얼마나 유사한지를 판단하게 된다. 그리고, 이러한 앵글 및 포즈의 정확도를 수치값으로 산출하게 된다. 여기서, 앵글에 대한 정확도는 전술한 수학식 1에 의해 산출될 수 있다.
그리고, 비교 판단 결과의 정확도를 높이기 위한 절차로서, 상기 원본 이미지에 대하여, 노이즈 제거 및 복수의 이미지 분할을 포함하는 전처리 과정을 수행하는 단계를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따르면, 촬영 이미지에 대한 분석에 따라, 현재 촬영중인 장소가 원본 이미지에 등장하는 장소와 일치하는지 확인하는 절차가 더 포함될 수 있다.
상세하게는, S140 단계 이전에, 제1 공간 정보의 복수의 포인트와 상기 원본 이미지의 배경에 포함되는 타겟 객체를 비교하여, 타겟 객체를 비교하여 상기 촬영 이미지의 촬영 장소가 상기 원본 이미지의 촬영 장소와 동일한지 판단하는 단계를 포함할 수 있다.
또한, S140 단계는, 모바일 단말에 탑재된 GPS 모듈로부터 상기 촬영 이미지가 생성된 위도 및 경도를 포함하는 좌표 정보를 제공받고, 상기 좌표 정보를 참조하여 상기 원본 이미지 및 촬영 이미지의 촬영 장소의 동일 여부를 판단하는 단계를 더 포함할 수 있다.
다음으로, 매칭정보를 모바일 단말의 화면상에서 촬영 이미지와 중첩하여 표시하는 단계(S150)는, S140 단계에서 산출한 배경에 대한 앵글차 및 피사체 인물에 대한 포즈차를 수치값으로 모바일 단말의 화면상에 표시하는 단계이다.
이러한 앵글차 및 포즈차는 현재 촬영중인 촬영 이미지와 중첩되어 실시간으로 화면상에 표시될 수 있고, 사용자는 해당 값을 참조하여 촬영 위치 및 구도를 조정하거나, 피사체 인물에게 포즈를 변경할 것을 요청할 수 있다. 또한, 시스템은 앵글차 및 포즈차가 일정 수준 이상이 될까지는 사진 생성을 차단할 수 있고, 일정 수준 이상의 정확도가 확정된 이후 현재 화면에 대한 촬영 이미지를 통해 사진 파일을 생성 및 저장할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템에 의한 이미지 비교 분석 방법을 상세히 설명한다.
도 4 및 도 5는 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템의 영상 처리 방법을 모식화한 도면이다.
도 4은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템에서 이용하는 원본 이미지 화면(a) 및 영상처리 이미지 화면(b)을 예시한 것으로, 원본 이미지(200)에는 배경(201)이 되는 시설, 타겟 객체(202 ~ 204) 및 등장 인물(205)이 존재할 수 있다.
여기서, 배경(201)이 되는 시설은 셀럽이 방문한 장소에 대응하며 등장 인물(205)은 셀럽 자신이 될 수 있다.
프로그램의 실행에 따라 원본 이미지(200)에 대하여, 배경에 대한 외곽선 및 등장 인물에 대한 윤곽선을 추출하고 이를 통해 배경과 등장 인물을 식별 및 분리할 수 있다.
일반적으로, 원본 이미지(200)에는 이미지가 촬영된 장소의 배경(201) 및 셀럽인 등장 인물(205)이 존재하게 되며, 시스템은 원본 이미지(200)에 대한 영상 처리를 통해 배경(201)에 대한 배경선(211)을 추출할 수 있다. 이러한 배경선(211) 이외에도 전체 원본 이미지(200)에 존재하는 타겟 객체(202 ~ 204)에 대응하는 기타선(212 ~ 214) 또한 추출될 수 있다.
또한, 시스템은 원본 이미지(200)에서 등장 인물(205)에 대응하는 윤곽선을 추출하여 등장 인물(205)을 식별할 수 있으나, 배경선(211)과는 분리하여 별도로 피사체 인물과의 유사도를 판단하게 된다.
특히, 본 발명의 실시예에 따르면, 원본 이미지(200)의 전체적인 식별을 위한 배경선(211) 이외에도 촬영 장소를 특정할 수 있는 타겟 객체(202 ~ 204)를 더 식별하여 이후 촬영 이미지와의 비교시 동일 장소임을 확정하는데 보조 지표로 이용할 수 있고, 시스템은 타겟 객체에 대한 하나 이상의 기타선(212 ~ 214)을 통해 현재 촬영 이미지가 촬영중인 장소를 특정할 수 있도록 한다.
도 5를 참조하면, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템에 의해 촬영된 촬영 이미지에 대한 제1 공간정보에 따른 서로 다른 앵글에서 촬영된 두 이미지 화면(a, b)을 예시한 것으로, 사용자가 해당 장소에서 피사체 인물 및 그 배경을 촬영할 때의 앵글에 따라 촬영 이미지(300, 310)에서 배경선(301, 314)이 수평으로부터 일정 각도(θ)로 기울어지게 촬영되는 것을 나타내고 있다.
따라서, 원본 이미지의 배경선(도 4의 201)과 촬영 이미지의 제1 공간정보에 포함되는 포인트들의 연결에 따른 배경선(301)과의 각도차(θ)를 산출하면, 촬영 이미지의 앵글차를 도출할 수 있고, 이에 원근비율을 반영하면 배경에 대한 매칭 정확도를 산출할 수 있다.
일례로서, 전술한 수학식 1에 따라, 촬영 이미지(300)의 배경선(301)이 이루는 배경의 X,Y,Z의 좌표값이 각각 45°, 35°, 0°이고 원근비율 1:1이라고 가정하면 매칭 정확도는 79%로 산출될 수 있다. 또한, X,Y,Z의 좌표값이 각각 0°, 0°, 0°이고 원근비율 1:0.75라고 가정하면 매칭 정확도는 75%로 산출될 수 있다.
또한, 화면 구도에 따라 촬영 이미지(300)의 배경 상의 타겟 객체(302 ~ 304)의 형태 또한 왜곡이 발생할 수 있으나, 각도차(θ)를 고려한 3차원 좌표에 따라, 타겟 객체들(301 ~ 304)이 원본 이미지에 존재하는 대상과 동일한 것으로 판단하고 이를 장소를 특정하는 데 활용할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템이 제공하는 화면의 일례를 통해 본 발명의 기술적 사상을 상세히 설명한다.
도 6은 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템이 제공하는 촬영 화면을 예시한 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 모바일 단말용 사진 촬영 지원 카메라 시스템은, 스마트폰 등의 카메라가 탑재된 모바일 단말(10)에 설치 및 실행되는 어플리케이션 프로그램으로서, 사용자가 특정 장소에서 피사체 인물을 촬영하면, 시스템은 등록된 원본 이미지와의 비교 분석을 통해 현재 촬영 중인 촬영 이미지를 화면(a)상에 표시할 수 있다.
모바일 단말(10)의 화면상에는 배경(400) 및 타겟 객체(403)와 더불어 피사체 인물(405)이 표시되며, 사용자는 화면을 보면서 원본 이미지와 동일한 구도로 사진을 촬영하도록 시도할 수 있다.
여기서, 배경(400)상에 존재하는 간판과 같은 타겟 객체(403)는 장소를 특정하는 데 활용될 수 있고, 시스템은 동일 장소로 판단되면 원본 이미지와 촬영 이미지와의 실시간 비교 분석을 통해 앵글차와 포즈차를 산출하게 된다.
그리고, 시스템은 화면 일측에 원본 이미지와 촬영 이미지간의 배경에 대한 앵글차(406)와, 등장 인물과 피사체 인물(405)간의 포즈차(407)를 수치로 표시할 수 있다.
또한, 실시간 촬영 중, 촬영 이미지의 구도, 거리 및 피사체 인물의 자세 변화에 따라, 시스템은 앵글차 및 포즈차를 실시간으로 업데이트한 값(408)을 화면에 반영할 수 있고(b), 사용자를 그 수치를 확인하여 앵글과 포즈를 변경해가면서 의도한 사진을 촬영할 수 있다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
1 : 촬영 현장 3: 타겟 객체
10 : 모바일 단말 100 : 카메라 시스템
110 : 저장소 120 : 이미지 정보 추출부
130 : 배경/인물 분리부 140 : 촬영부
150 : 공간 설정부 160 : 비교 분석부
170 : 매칭 정보 생성부 180 : 좌표 정보 생성부
10 : 모바일 단말 100 : 카메라 시스템
110 : 저장소 120 : 이미지 정보 추출부
130 : 배경/인물 분리부 140 : 촬영부
150 : 공간 설정부 160 : 비교 분석부
170 : 매칭 정보 생성부 180 : 좌표 정보 생성부
Claims (10)
- 저장소에 저장된 원본 이미지로부터, 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지의 메타 정보를 추출하는 이미지 정보 추출부;
상기 배경선 정보 및 윤곽선 정보에 기초하여, 배경과 상기 배경에 위치한 등장 인물을 분리 및 식별하는 배경/인물 분리부;
하나 이상의 피사체 인물 및 상기 피사체 인물의 주변 배경을 촬영하여 3D 뎁스 정보를 포함하는 촬영 이미지를 생성하는 촬영부;
상기 3D 뎁스 정보를 이용하여, 상기 촬영 이미지의 배경에 대응하는 제1 공간 정보 및 상기 촬영 이미지의 피사체 인물에 대응하는 제2 공간 정보를 포함하는 포인트 클라우드를 설정하는 공간 설정부;
상기 배경선 정보와 상기 제1 공간 정보를 비교하여 상기 원본 이미지의 배경과 상기 촬영 이미지의 배경간의 앵글차를 산출하고, 상기 윤곽선 정보와 상기 제2 공간 정보를 비교하여 상기 등장 인물과 피사체 인물간의 포즈차를 산출하는 비교 분석부; 및
상기 앵글차 및 포즈차를 포함하는 매칭 정보를 모바일 단말의 화면상에서 촬영 이미지와 중첩해서 표시하는 매칭 정보 생성부를 포함하고,
상기 앵글차는,
상기 제1 공간 정보의 X, Y, Z 좌표에 대해서, 이하의 수학식,
로 산출되는 모바일 단말용 사진 촬영 지원 카메라 시스템. - 제 1 항에 있어서,
상기 원본 이미지의 배경은 하나 이상의 타겟 객체를 포함하고,
상기 비교 분석부는,
상기 제1 공간 정보의 복수의 포인트와 상기 타겟 객체를 비교하여, 상기 촬영 이미지의 촬영 장소가 상기 원본 이미지의 촬영 장소와 동일한지 판단하는 것인, 모바일 단말용 사진 촬영 지원 카메라 시스템. - 제 2 항에 있어서,
모바일 단말에 탑재된 GPS 모듈로부터 상기 촬영 이미지가 생성된 위도 및 경도를 포함하는 좌표 정보를 제공받아 촬영 장소의 동일 여부 판단시 참조하도록 상기 비교 분석부에 전달하는 좌표 정보 제공부
를 더 포함하는 모바일 단말용 사진 촬영 지원 카메라 시스템. - 삭제
- 제 1 항에 있어서,
상기 이미지 정보 추출부는,
상기 원본 이미지에 대하여, 노이즈 제거 및 복수의 이미지 분할을 포함하는 전처리 과정을 더 수행하는 것인, 모바일 단말용 사진 촬영 지원 카메라 시스템. - 모바일 단말에 설치 및 실행되는 카메라 시스템에 의한 사진 촬영 지원 방법으로서,
(a) 하나 이상의 피사체 인물 및 상기 피사체 인물의 주변 배경을 촬영하여 3D 뎁스 정보를 포함하는 촬영 이미지를 생성하는 단계;
(b) 상기 3D 뎁스 정보를 이용하여, 상기 촬영 이미지의 배경에 대응하는 제1 공간 정보 및 상기 촬영 이미지의 피사체 인물에 대응하는 제2 공간 정보를 포함하는 포인트 클라우드를 설정하는 단계;
(c) 저장소에 저장된 원본 이미지로부터, 배경을 구성하는 복수의 배경선 정보와, 등장 인물을 구성하는 윤곽선 정보와, 원본 이미지의 메타 정보를 추출하는 단계;
(d) 상기 배경선 정보 및 윤곽선 정보에 기초하여, 배경과 상기 배경에 위치한 등장 인물을 식별 및 분리하는 단계;
(e) 상기 배경선 정보와 상기 제1 공간 정보를 비교하여 상기 원본 이미지의 배경과 상기 촬영 이미지의 배경간의 앵글차를 산출하고, 상기 윤곽선 정보와 상기 제2 공간 정보를 비교하여 상기 등장 인물과 피사체 인물간의 포즈차를 산출하는 단계; 및
(f) 상기 앵글차 및 포즈차를 포함하는 매칭 정보를 모바일 단말의 화면상에서 촬영 이미지와 중첩해서 표시하는 단계를 포함하고,
상기 앵글차는,
상기 제1 공간 정보의 X, Y, Z 좌표에 대해서, 이하의 수학식,
로 산출되는 모바일 단말용 사진 촬영 지원 방법. - 제 6 항에 있어서,
상기 (e) 단계 이전에,
상기 제1 공간 정보의 복수의 포인트와 상기 원본 이미지의 배경에 포함되는 타겟 객체를 비교하여, 타겟 객체를 비교하여 상기 촬영 이미지의 촬영 장소가 상기 원본 이미지의 촬영 장소와 동일한지 판단하는 단계
를 포함하는 모바일 단말용 사진 촬영 지원 방법. - 제 6 항에 있어서,
상기 (e) 단계는,
모바일 단말에 탑재된 GPS 모듈로부터 상기 촬영 이미지가 생성된 위도 및 경도를 포함하는 좌표 정보를 제공받는 단계;
상기 좌표 정보를 참조하여 상기 원본 이미지 및 촬영 이미지의 촬영 장소의 동일 여부를 판단하는 단계
를 더 포함하는 모바일 단말용 사진 촬영 지원 방법. - 삭제
- 제 6 항에 있어서,
상기 (d) 단계는,
상기 원본 이미지에 대하여, 노이즈 제거 및 복수의 이미지 분할을 포함하는 전처리 과정을 수행하는 단계
를 더 포함하는 모바일 단말용 사진 촬영 지원 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210062278A KR102628714B1 (ko) | 2021-05-13 | 2021-05-13 | 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210062278A KR102628714B1 (ko) | 2021-05-13 | 2021-05-13 | 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220154556A KR20220154556A (ko) | 2022-11-22 |
| KR102628714B1 true KR102628714B1 (ko) | 2024-02-28 |
Family
ID=84236576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210062278A KR102628714B1 (ko) | 2021-05-13 | 2021-05-13 | 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102628714B1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060058323A (ko) | 2004-11-25 | 2006-05-30 | 엘지전자 주식회사 | 촬영장소 표시를 위한 이동통신 단말기의 사진촬영시스템및 그 방법 |
| KR101327321B1 (ko) * | 2009-12-11 | 2013-11-11 | 한국전자통신연구원 | 모션 캡쳐 데이터의 포즈 검색 장치 및 방법 |
| KR20180058380A (ko) * | 2016-11-24 | 2018-06-01 | 삼성에스디에스 주식회사 | 추천 구도 기반 촬영 방법 및 시스템 |
-
2021
- 2021-05-13 KR KR1020210062278A patent/KR102628714B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220154556A (ko) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10284789B2 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
| CN107690673B (zh) | 图像处理方法、装置及服务器 | |
| KR101923177B1 (ko) | 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법 | |
| CN107771391B (zh) | 用于确定图像帧的曝光时间的方法和装置 | |
| CN109495686B (zh) | 拍摄方法及设备 | |
| WO2017080237A1 (zh) | 相机成像方法及相机装置 | |
| US10594930B2 (en) | Image enhancement and repair using sample data from other images | |
| US10122912B2 (en) | Device and method for detecting regions in an image | |
| CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
| CN110383335A (zh) | 视频内容中基于光流和传感器输入的背景减除 | |
| WO2022160857A1 (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| KR102464271B1 (ko) | 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN112702521A (zh) | 图像拍摄方法及装置、电子设备、计算机可读存储介质 | |
| CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
| CN110278366B (zh) | 一种全景图像虚化方法、终端及计算机可读存储介质 | |
| CN113538315B (zh) | 图像处理方法及装置 | |
| WO2018196854A1 (zh) | 一种拍照方法、拍照装置及移动终端 | |
| KR102628714B1 (ko) | 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법 | |
| CN107343142A (zh) | 一种照片的拍摄方法及拍摄装置 | |
| CN107578006B (zh) | 一种照片处理方法及移动终端 | |
| CN114898084B (zh) | 视觉定位方法、设备和存储介质 | |
| CN116363725A (zh) | 显示设备的人像追踪方法、系统、显示设备及存储介质 | |
| US10282633B2 (en) | Cross-asset media analysis and processing | |
| CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
| CN114693702B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |