KR20170023494A - 카메라를 구비하는 장치에서 사진 촬영 지원 기법 - Google Patents

카메라를 구비하는 장치에서 사진 촬영 지원 기법 Download PDF

Info

Publication number
KR20170023494A
KR20170023494A KR1020150118712A KR20150118712A KR20170023494A KR 20170023494 A KR20170023494 A KR 20170023494A KR 1020150118712 A KR1020150118712 A KR 1020150118712A KR 20150118712 A KR20150118712 A KR 20150118712A KR 20170023494 A KR20170023494 A KR 20170023494A
Authority
KR
South Korea
Prior art keywords
face
signal
photographing area
area
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150118712A
Other languages
English (en)
Other versions
KR102469694B1 (ko
Inventor
비시누 빈잠
아뿌르브 칸살
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150118712A priority Critical patent/KR102469694B1/ko
Priority to PCT/KR2016/009389 priority patent/WO2017034321A1/ko
Priority to US15/754,970 priority patent/US10868956B2/en
Priority to CN201680049317.1A priority patent/CN107925724B/zh
Publication of KR20170023494A publication Critical patent/KR20170023494A/ko
Application granted granted Critical
Publication of KR102469694B1 publication Critical patent/KR102469694B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H04N5/23219—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H04N5/2256—
    • H04N5/23216—
    • H04N5/23293—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 카메라 구비 장치에서 사진 촬영을 지원하는 방법에 있어서, 카메라가 구동되면 상기 카메라의 촬영 영역 내에서 피사체의 얼굴을 인식하는 동작; 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작; 및 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 출력하는 동작을 포함하는 방법을 제공한다.

Description

카메라를 구비하는 장치에서 사진 촬영 지원 기법{SCHEME FOR SUPPORTING TAKING PICTURE IN APPARATUS EQUIPPED WITH CAMERA}
본 개시는 카메라를 구비하는 장치에서의 사진 촬영 지원 기법에 관한 것으로써, 개선된 셀피(selfie) 또는 스냅샷을 촬영하도록 큐(cue)를 제공하는 지원 기법에 관한 것이다.
최근 스마트폰 및 태블릿과 같이 디지털카메라가 구비된 사용자 단말이 널리 사용됨에 따라서, 카메라 구비된 단말을 이용하여 사용자가 자신의 사진을 찍는 일(즉, 셀피)이 일상화되고 있다.
도 1은 사용자가 셀피의 형식으로 촬영한 사진의 일 예이다.
도 1을 참고하면, 프레임(frame) 내에 피사체(subject)에 해당하는 사람의 얼굴의 전부 또는 일부가 포함된 형태로 사진이 촬영되었음을 알 수 있다.
일반적인 사진 촬영에 있어서, 사용자는 뷰파인더를 통해 피사체를 확인하고 사진을 촬영하므로, 피사체가 프레임 내에 적절한 위치에 배치되도록 사진을 촬영 할 수 있다. 한편, 셀피(selfie)는 사용자가 카메라 구비 단말의 렌즈를 자신을 향하게 한 상태에서 촬영 버튼을 누름으로써 촬영된다. 즉, 셀피의 경우에 있어서, 사용자는 뷰파인더(viewfinder)를 통해, 피사체를 적절히 확인하지 못한 상태에서 사진을 촬영하게 된다. 따라서, 셀피는 프레임 내에 피사체의 전부 또는 일부가 포함되지 않거나 피사체가 적절하지 못한 위치에 배치되는 등의 불완전한 형태로 촬영되는 경우가 발생하게 된다.
본 개시는 한번의 클릭(또는 버튼 입력)만으로 원하는 피사체가 포함된 셀피 또는 스냅샷을 촬영할 수 있게 하는 기법을 제공한다.
또한, 본 개시는 카메라 구비 단말을 이용하여 셀피 또는 스냅샷을 촬영함에 있어서 촬영 영역 내에 피사체의 전부 또는 일부가 포함되지 않거나 피사체가 부적절한 위치에 배치되는 결과를 미리 예방할 수 있는 기법을 제공한다.
또한, 본 개시는 촬영 영역 내에 모르는 사람이 포함되는 사진이 촬영 되는 결과를 미리 방지할 수 있는 기법을 제공한다.
본 개시는 카메라 구비 장치에서 사진 촬영을 지원하는 방법에 있어서, 카메라가 구동되면 상기 카메라의 촬영 영역 내에서 피사체의 얼굴을 인식하는 동작; 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작; 및 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 출력하는 동작을 포함하는 방법을 제안한다.
또한 본 개시는 사진 촬영을 지원하는 카메라 구비 장치에 있어서, 촬영 영역 내에서 피사체의 얼굴을 인식하는 카메라; 및 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하고, 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호 출력을 제어하는 제어부를 포함하는 장치를 제안한다.
본 개시에 따르면, 사용자는 용이하게 셀피를 촬영할 수 있다. 또한, 단 한번의 클릭(또는 버튼 입력)만으로 피사체가 촬영 영역 내의 적절한 위치에 배치되는 사진을 촬영할 수 있다.
본 개시에 따르면 사용자가 전문가 인지 초보자인지 여부에 관계 없이 누구나 피사체를 포함하는 셀피를 완벽하게 촬영할 수 있다.
또한, 본 개시에 따르면 사용자는 한번의 클릭만으로 원하지 않는 피사체(예를 들어, 모르는 사람)를 제외 시킨 사진을 찍을 수도 있다.
도 1은 사용자가 셀피의 형식으로 촬영한 사진의 일 예시도;
도 2는 본 개시에 따른 카메라 구비 단말의 얼굴 인식 과정을 예시하는 도면;
도 3은 본 개시에 따른 카메라 구비 단말이 얼굴 인식에 기반하여 바람직한 셀피 촬영을 지원하는 일 방법을 예시하는 도면;
도 4는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 디스플레이를 통해서 출력하는 예시도;
도 5는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 LED 플래쉬 라이트를 통해 출력하는 예시도;
도 6은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 소리 신호를 스피커를 통해 출력하는 예시도;
도 7은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 진동 신호를 바이브레이터를 통해 출력하는 예시도;
도 8은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면;
도 9는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면;
도 10은 본 개시에 따른 카메라 구비 단말이 누락된 얼굴을 확인하고 단말의 줌 기능을 이용하여 셀피를 촬영하는 방안을 예시하는 도면;
도 11은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면;
도 12는 본 개시에 따른 카메라 구비 단말이 z-거리 및 z-간격을 계산하여 촬영 영역 내에 위치하는 모르는 얼굴의 후보를 결정하는 과정을 예시하는 도면;
도 13은 본 개시에 따른 카메라 구비 단말이 촬영 영역 내의 인식된 얼굴의 z-축 거리를 획득하는 개념을 예시하는 도면;
도 14는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 도면;
도 15는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 다른 도면;
도 16은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 또 다른 도면;
도 17는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하고, 와이드 촬영에서 적용하는 경우를 예시하는 도면;
도 18는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면;
도 19는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 결정하는 경우를 예시하는 도면;
도 20은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면;
도 21는 본 개시에 따른 카메라 구비 단말이 촬영 영역의 변경이 필요함을 판단하는 3가지 경우를 순차적으로 수행하는 예시적 방법의 예시도;
도 22은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 예시도;
도 23은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 24는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 25는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 26는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 27는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 28은 본 개시의 따른 단말 장치의 구성을 개략적으로 설명하는 도면이다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다.
본 개시에서 '카메라 구비 단말(user equipment)'은 디지털카메라를 구비하는 모든 종류의 장치(apparatus) 즉, '카메라 구비 장치'를 의미한다. 예를 들어, 상기 단말은 스마트폰, 태블릿, 컴팩트 카메라와 같은 장치가 될 수 있다. 상기 단말은 UE, 이동국(Mobile Station; MS), 이동장비(Mobile Equipment; ME), 디바이스(device), 터미널(terminal) 등으로 지칭될 수도 있다.
본 개시에서 촬영 영역(a range of a picture to be taken)이란 카메라 구비 단말이 촬영을 하려고 하는 대상 영역을 의미한다. 상기 촬영 영역에 대해 사용자가 촬영(shooting) 버튼을 누름으로써, 상기 촬영 영역에 대한 사진이 촬영될 수 있다. 상기 촬영 영역은 프레임(frame)이라는 용어로 대체될 수도 있을 것이다.
본 개시에서 누락된 얼굴(missed face)는 촬영 영역에 포함될 것이 기대되지만 포함되지 않은 얼굴을 의미한다.
본 개시에서 모르는 얼굴(unknown face)이란 사진을 촬영하는 사용자가 모르는 사람의 얼굴을 의미한다.
본 개시에서 잘린 얼굴(cut face)는 촬영 영역에 완전한 얼굴이 포함되지 못하고 얼굴의 일부분만이 포함된 얼굴을 의미한다.
본 개시는 카메라 구비 단말이 촬영 영역에서 피사체의 얼굴 인식(또는 안면 인식)을 하고, 상기 인식된 얼굴의 정보를 이용하여, 촬영 영역의 변경을 지시하는 신호를 보냄으로써, 사용자가 상기 카메라의 촬영 영역을 변경할 수 있도록 하는 기법을 제안한다.
도 2는 본 개시에 따른 카메라 구비 단말의 얼굴 인식 과정을 예시하는 도면이다.
얼굴 인식(face recognition)은 사진 속의 사람을 인식하는 기술이다. 도 2(a)와 도 2(b)는 카메라 구비 단말이 카메라 촬영 영역내의 피사체(즉, 인물)의 얼굴 인식 동작을 도면으로 예시하고 있다. 도 2(a) 또는 도 2(b)에서 인물의 얼굴을 둘러싸는 사각형들(예를 들어, 200, 202)는 카메라 구비 단말이 촬영 영역 내에서 인물의 얼굴을 인식한 것을 나타내고 있다. 인물의 얼굴은 모든 얼굴 각도(facial angle)에서 인식될 수 있다. 상기 촬영 영역의 각 인물(즉, 얼굴)은 눈, 입, 코, 광대뼈 또는 턱의 상대적인 위치나 형태를 이용함으로써 고유하게 식별될 수 있다. 도 2(c)는 하나의 인물이 다양한 얼굴 각도들에서도 식별될 수 있음을 나타내고 있다. 도 2(c)에서 얼굴을 둘러싼 사각형 내의 십자형 포인트(cross shaped point)(210, 212, 214)는 얼굴 인식 기술을 통해 인식된 눈 및 입의 위치들을 나타낸다. 이러한 얼굴 인식 기술은 본 개시에서 피사체가 모두 적절히 포함된 사진을 찍기 위해 요구되는 동작들을 결정하는데 이용될 수 있다. 본 개시의 본질을 흐릴 수 있으므로 얼굴 인식 기술의 구체적인 구현의 자세한 설명은 생략된다.
도 3은 본 개시에 따른 카메라 구비 단말이 얼굴 인식에 기반하여 바람직한 셀피 촬영을 지원하는 일 방법을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(300). 상기 피사체는 예를 들어, 사람이 될 수 있다.
상기 단말은 상기 얼굴 인식 동작(300)의 결과에 근거하여, 현재의 촬영 영역이 변경될 필요가 있는지 판단하고, 필요하다면 촬영 영역 변경을 지시하는 신호를 결정할 수 있다(305). 예를 들어, 상기 단말은 상기 촬영 영역 내에 상기 인식된 완전한(complete) 얼굴이 포함되어 있는지 판단함으로써, 촬영 영역의 변경이 필요하다고 판단할 수 있다. 이렇게 함으로써, 상기 단말은 얼굴이 잘린(cut off) 사진을 방지할 수 있다. 다른 예로써, 상기 단말은 이전 촬영 영역에서 인식된 얼굴에 대한 정보와 현재 촬영 영역에서 인식된 얼굴에 대한 정보를 비교함으로써, 촬영 영역의 변경이 필요하다고 판단할 수 있다. 이렇게 함으로써, 상기 단말은 사진에 누락된 얼굴을 포함시킬수 있게 된다. 다른 예로써, 상기 단말은 상기 촬영 영역 내에 포함되는 얼굴들 사이의 3차원 상 거리의 격차를 산출함으로써, 촬영 영역의 변경이 필요하다고 판단할 수도 있다. 이렇게 함으로서, 상기 단말은 모르는 얼굴(unknown face; 셀피를 촬영하는 사용자가 알지 못하는 타인의 얼굴)을 촬영 영역에서 제거하도록 할 수 있다.
상기 단말은 상기 판단(305)에 근거하여 촬영 영역의 변경을 지시하는 신호를 출력할 수 있다(310). 본 개시에서 상기 '신호'는 '큐(cue)'라는 용어로 대체될 수 있다. 상기 촬영 영역의 변경을 지시하는 신호는 상기 단말이 출력할 수 있는 다양한 형태로 표현될 수 있다. 예를 들어, 상기 지시 신호는 디스플레이 또는 LED(light emitting diode) 플래쉬 라이트 등을 통해 출력되는 시각적(visual) 신호, 스피커를 통해 출력되는 소리(sound) 신호, 또는 바이브레이터(vibrator)를 통해 출력되는 진동(vibration) 신호의 형태를 가질 수 있다.
추가적으로, 상기 촬영 영역 변경 지시 신호에 의해서 (사용자에 의한) 촬영 영역의 변경이 발생한 경우, 상기 단말은 상기 얼굴 인식 동작(300), 촬영 영역 변경 필요여부 판단 동작(305) 및 촬영 영역 변경 지시 신호 출력 동작(310) 중 적어도 하나를 다시 수행하여 보다 바람직한 셀피 촬영을 지원할 수도 있을 것이다.
도 4는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 디스플레이를 통해서 출력하는 예시도이다.
즉, 본 개시에 따른 카메라 구비 단말은 도 4에 예시되는 이미지 또는 아이콘 형태의 시각적 신호를 디스플레이부를 통해 출력할 수 있다. 상기 시각적 신호를 확인하는 사용자는 상기 시각적 신호에 상응하는 동작을 수행함으로써, 상기 단말에 구비된 카메라가 주시하는 방향을 조정하게 되고, 결과적으로 상기 카메라의 촬영 영역을 변경할 수 있게 된다.
도 4(a)는 단말의 좌단부(left end)을 사용자의 반대편으로 돌리는 행동 즉, '좌측으로 회전(turn left)'을 지시하는 예시적 신호이다.
도 4(b)는 단말의 우단부(right end)를 사용자의 반대편으로 돌리는 행동 즉, '우측으로 회전(turn right)'을 지시하는 예시적 신호이다.
도 4(c)는 단말의 상단부(top end)를 사용자의 반대편으로 돌리는 행동 즉, '위로 회전(turn up)'을 지시하는 예시적 신호이다.
도 4(d)는 단말의 하단부(bottom end)를 사용자의 반대편으로 돌리는 행동 즉, '아래로 회전(turn down)'을 지시하는 예시적 신호이다.
도 4(e)는 수직 방향의 단말을 수평 방향으로 돌리는 행동 즉, '90도 회전(수평)(rotate 90-horizontal)' 또는 '플립(flip)'을 지시하는 예시적 신호이다.
도 4(f)는 수평 방향의 단말을 수직 방향으로 돌리는 행동 즉, '90도 회전(수직)(rotate 90-vertical)' 또는 '플립'을 지시하는 예시적 신호이다.
도 4(g)는 단말을 (회전시키지 않고) 우측으로 이동시키는 행동 즉, '우측으로 이동(move right)'을 지시하는 예시적 신호이다.
도 4(h)는 단말을 (회전시키지 않고) 좌측으로 이동시키는 행동 즉, '좌측으로 이동(move left)'을 지시하는 예시적 신호이다.
도 5는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 LED 플래쉬 라이트를 통해 출력하는 예시도이다.
도 5(a)~5(j)는 카메라 구비 단말이 카메라 렌즈의 옆에 2개의 LED 플래쉬 라이트(500, 510)을 구비하고 있는 경우를 예시한다.
도 5(a)~5(g)는 LED 플래쉬 라이트의 색(color)에 근거하여 촬영 영역 변경을 지시하는 신호의 예시들이고, 도 5(h)~5(j)는 상기 LED 플래쉬 라이트의 깜박거리는(blink) 비율에 따라서 촬영 영역 변경을 지시하는 신호의 예시들이다.
도 5(a)는 LED 플래쉬 라이트 500, 510이 모두 꺼져 있는 상태로써, 단말이 사용자에게 신호를 출력하지 않는 상태를 예시한다.
도 5(b)는 2개의 LED 플래쉬 라이트가 상하로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 빨간색으로 켬으로써, '아래로 이동(move down)'을 지시하는 예시적 신호이다. 도 5(c)는 '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 녹색으로 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 이루어졌음을 알리는 예시적 신호이다.
도 5(d)는 2개의 LED 플래쉬 라이트가 좌우로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '좌측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 빨간색으로 켬으로써, '좌측으로 이동(move left)'을 지시하는 예시적 신호이다. 도 5(e)는 '좌측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 녹색으로 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 이루어졌음을 알리는 예시적 신호이다.
도 5(f)는 2개의 LED 플래쉬 라이트가 좌우로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '우측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 빨간색으로 켬으로써, '우측으로 이동(move right)'을 지시하는 예시적 신호이다. 도 5(g)는 '우측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 녹색으로 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 이루어졌음을 알리는 예시적 신호이다.
도 5(h)는 2개의 LED 플래쉬 라이트가 상하로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 깜박거림으로써, '아래로 이동(move down)'을 지시하는 예시적 신호이다. 상기 도 5(h)의 지시 신호에 의한 사용자의 단말 이동 작업이 바람직한 방향으로 이루어지는 경우, 상기 단말은 상기 '아래' 방향에 위치한 LED 플래쉬 라이트의 깜박거리는 비율(깜박거리는 속도)을 증가시키거나 감소시킴으로써 바람직한 변화가 이루어짐을 나타낼 수 있다. 예를 들어, 깜박거리는 비율을 감소시킴으로써 바람직한 변화가 이루어짐을 나타내는 경우라면, 도 5(i)에서와 같이 도 5(h)에서 상기 깜박거리던 '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 완전히 끔으로써, 사용자에 의한 적절한 촬영 영역 변경이 완료되었음을 알릴 수 있다. 예를 들어, 깜박거리는 비율을 증가시킴으로써 바람직한 변화가 이루어짐을 나타내는 경우라면, 도 5(j)에서와 같이 도 5(h)에서 상기 깜박거리던 '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 완전히 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 완료되었음을 알릴 수도 있다.
도 6은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 소리 신호를 스피커를 통해 출력하는 예시도이다.
일 예로써, 상기 단말은 스피커(600)를 통해 "Turn left(좌측으로 회전)", "Turn right(우측으로 회전)", "Turn up(위로 회전)", "Turn down(아래로 회전)", "Move left(좌측으로 이동)", "Move right(우측으로 이동)", "Move up(위로 이동)", "Move down(아래로 이동)", "Move backward(뒤로 이동)", "Move forward(앞으로 이동)", "Rotate 90 degree(90도 회전)", "Zoom in(줌 인)", 또는 "Zoom out(줌 아웃)" 등의 음성(voice) 신호를 출력할 수 있다. 다른 예로써, 상기 단말은 비프음(beep sound)과 같은 소리 신호를 사용자에게 출력할 수도 있을 것이다. 이때, 상기 단말은 비프음의 회수를 달리함으로써 지시할 동작의 내용을 구분할 수 있다.
도 7은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 진동 신호를 바이브레이터를 통해 출력하는 예시도이다.
본 개시에 따른 단말은 하우징의 네 단부에 각각 바이브레이터를 구비함으로써 상기 네 단부는 개별적으로 진동을 발생시킬 수 있다. 즉, 상기 단말은 국지적(localized) 진동을 통해 사용자에게 촬영 영역 변경을 위한 행동을 지시할 수 있다.
도 7(a)는 단말이 우단부(right end)의 바이브레이터를 구동시켜 상기 우단부에서 진동 신호를 발생시킴으로써, 상기 단말의 우단부를 사용자의 반대편으로 돌리는 행동 즉, '우측으로 회전(turn right)'을 지시하는 진동 신호를 예시한다.
도 7(b)는 단말이 좌단부(left end)의 바이브레이터를 구동시켜 상기 좌단부에서 진동 신호를 발생시킴으로써, 상기 단말의 좌단부를 사용자의 반대편으로 돌리는 행동 즉, '좌측으로 회전(turn left)'을 지시하는 진동 신호를 예시한다.
도 7(c)는 단말이 하단부(bottom end)의 바이브레이터를 구동시켜 상기 하단부에서 진동 신호를 발생시킴으로써, 상기 단말의 하단부를 사용자의 반대편으로 돌리는 행동 즉, '아래로 회전(turn down)'을 지시하는 진동 신호를 예시한다.
도 7(d), 7(e)는 단말이 네 개의 단부들 중 인접하는 두 개의 단부들에서 바이브레이터를 동시에 구동시켜 진동 신호를 발생시킴으로써, 90도 회전을 지시하는 진동 신호를 예시한다. 예를 들어, 도 7(d)는 하단부(bottom end) 및 우단부에서 동시에 진동 신호를 출력함으로써, 수직 방향의 단말을 수평 방향으로 돌리는 행동 즉, '90도 회전(수평)(rotate 90-horizontal)'을 지시하는 진동 신호를 예시한다. 예를 들어, 도 7(e)는 하단부 및 좌단부에서 동시에 진동 신호를 출력함으로써, 수평 방향의 단말을 수직 방향으로 돌리는 행동 즉, '90도 회전(수직)(rotate 90-vertical)'을 지시하는 진동 신호를 예시한다.
이하에서는, 본 개시에 따른 카메라 구비 단말의 지원 방법에서 촬영 영역의 변경이 필요하다고 판단하는 동작(305)에 대하여 보다 상세히 검토한다.
도 8은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(800).
상기 단말은 상기 인식된 모든 얼굴에 대한 정보를 계산한다(805). 상기 얼굴에 대한 정보란 예를 들어, 상기 얼굴 주변에 위치하는 인식된 얼굴의 개수일 수 있으며, 래디얼 그래프(radial graph)의 형식을 가질 수 있다. 상기 래디얼 그래프는 고유하게 식별된 각 얼굴마다 계산될 수 있다. 상기 래디얼 그래프에 대해서는 아래 도 9에서 보다 자세히 설명될 것이다.
상기 단말은 상기 인식된 얼굴에 대한 정보에 근거하여 촬영 영역 내에 누락된(missing) 얼굴이 존재하는지 확인할 수 있다(810). 누락된 얼굴이 존재하는지 여부는 상기 단말이 저장한 이전 촬영 영역 내의 얼굴에 대한 정보와의 비교를 통해 수행될 수 있다. 즉, 상기 단말은 이전 촬영 영역에서의 인식된 얼굴에 대한 정보(예를 들어, 래디얼 그래프)와 현재의 촬영 영역에서의 인식된 얼굴에 대한 정보를 비교하고, 상기 두 정보가 일치하지 않을 경우에 현재 촬영 영역에 누락된 얼굴이 존재한다고 판단할 수 있다. 따라서, 상기 단말이 처음으로 얼굴 인식을 수행한 경우라면 비교 대상인 촬영 영역이 없으므로 본 동작(810)은 수행되지 않을 수도 있다.
상기 확인 결과에 따라서 상기 단말은 촬영 영역의 변경이 필요하다고 판단하고, 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다(815). 예를 들어, 상기 단말이 현재 촬영 영역의 좌측에서 누락된 얼굴이 있다고 확인한 경우, 상기 단말은 촬영 영역이 좌측으로 확장될 필요가 있으므로 '좌측으로 회전' 또는 '좌측으로 이동'을 지시하는 다양한 형식(시각적 신호, 소리 신호, 또는 진동 신호)의 신호를 결정할 수 있다.
이어서 상기 단말은 상기 결정된 신호를 출력할 수 있다(820). 선택적으로, 상기 단말은 동일한 의미의 지시 신호를 2 가지 이상의 형식으로 동시에 출력할 수도 있다. 예를 들어, 단말의 후면 카메라를 이용하여 셀피를 촬영하는 경우에는 사용자가 디스플레이를 통해 출력되는 시각적 신호를 확인할 수는 없으므로, 사용자의 인식도를 높이기 위해 LED 플래쉬 라이트를 통한 시각적 신호와 스피커를 통한 음성 신호를 동시에 출력할 수도 있을 것이다.
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(825). 이 경우, 상기 단말은 상기 800 내지 820 동작들을 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 9는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면이다.
사용자가 단말의 전면에 위치한 카메라 또는 후면에 위치한 카메라를 이용하여 촬영을 할 때, 단말은 얼굴 인식을 수행함으로써 누락된 얼굴이 있음을 알려서 사용자의 카메라 조정을 유도할 수 있다.
상기 단말은 촬영 영역에 포함된 모든 얼굴을 고유하게 인식하고 인식된 얼굴에 대한 정보를 저장할 수 있다. 예를 들어, 상기 단말은 인식된 얼굴 각각에 대해 방사성 방향(radial direction) 숫자를 래디얼 그래프로 계산할 수 있다.
도 9(a)는 촬영 영역의 일부분에서 인식된 3개의 얼굴을 3개의 사각형(900, 902, 904)으로 각각 표시하고 있다.
도 9(b)는 단말이 고유하게 식별된 얼굴(900)에 대한 정보를 계산하는 것을 예시하고 있다. 예를 들어, 상기 단말은 상기 정보로써 상기 얼굴(900)의 주변에서 인식된 다른 얼굴의 개수를 래디얼 그래프(910)의 형식으로 계산할 수 있다. 도 9(b)의 상기 래디얼 그래프(910)는 도 9(a)에서 인식된 상기 얼굴(900)의 10시 방향에 1 개의 인식된 얼굴이 존재하고 2시 방향에 1개의 인식된 얼굴이 존재함을 나타낸다.
도 9(c)는 두 개의 촬영 영역 내에 인식된 얼굴의 정보를 비교함으로써 누락된 얼굴이 존재함을 판단하는 원리를 설명한다.
일 예로써, 우측 이미지(930)가 이전 촬영 영역을 나타내고 좌측 이미지(920)가 현재의 촬영 영역을 나타낸다고 가정한다. 이전 촬영 영역(930)에서 인식된 얼굴(940)의 래디얼 그래프(944)는 9시 방향과 4시 방향에 각각 1 개의 얼굴이 있음을 나타낸다. 현재 촬영 영역(920)에서 인식된 얼굴(940)의 래디얼 그래프(942)는 4시 방향에만 1개의 얼굴이 있음을 나타낸다. 따라서, 상기 단말은 현재 촬영 영역(920)에는 1개의 누락된 얼굴(922)이 있음을 확인할 수 있다.
다른 예로써, 좌측 이미지(920)가 이전 촬영 영역을 나타내고 우측 이미지(930)이 현재의 촬영 영역을 나타낸다고 가정한다. 이전 촬영 영역(920)에서 인식된 얼굴(950)의 래디얼 그래프(952)는 8시 방향과 3시 방향에 각각 1 개의 얼굴이 있음을 나타낸다. 현재 촬영 영역(930)에서 인식된 얼굴(950)의 래디얼 그래프(954)는 8시 방향에만 1개의 얼굴이 있음을 나타낸다. 따라서, 상기 단말은 현재 촬영 영역(930)에는 1개의 누락된 얼굴(932)이 있음을 확인할 수 있다.
따라서, 상기 단말은 상기 누락된 얼굴(922 또는 932)을 포함시키기 위한 촬영 영역의 변경이 필요하다고 판단하고, 상응하는 촬영 영역 변경 지시 신호를 출력할 수 있다.
도 10은 본 개시에 따른 카메라 구비 단말이 누락된 얼굴을 확인하고 단말의 줌 기능을 이용하여 셀피를 촬영하는 방안을 예시하는 도면이다.
제1 촬영 영역(1000)에서 얼굴 인식을 통해 좌측에 누락된 얼굴이 있음을 확인한 단말은 촬영 영역 변경(좌측으로 이동)을 지시하는 제1 신호를 출력할 수 있다. 제2 촬영 영역(1010)은 상기 제1 신호에 상응하여 카메라의 조정이 이루어진 후의 촬영 영역이다. 상기 제2 촬영 영역(1010)에서 얼굴 인식을 통해 우측에 누락된 얼굴이 있음을 확인한 단말은, 이미 좌측에서 누락된 얼굴이 발생할 수 있음을 알기에, 우측으로 이동을 지시하는 신호를 출력하는 대신 줌 아웃(zoom out)을 지시하는 제2 신호를 출력할 수 있다. 예를 들어, 상기 제2 촬영 영역(1010)은 2배의 줌이 적용된 결과이고, 제3 촬영 영역(1020)은 1.5배의 줌이 적용된 결과를 나타낸다. 선택적으로, 상기 단말은 사용자에게 '줌 아웃'을 지시하는 신호를 출력하지 않고 바로 렌즈를 '줌 아웃'하여 촬영 영역을 취할 수도 있을 것이다.
도 11은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(1100).
상기 단말은 상기 인식된 얼굴들 사이의 3차원 상의 거리(즉, z-축 거리)와 2차원 평면 상에서의 거리(즉, x-축 간격)을 계산한다(1105). 상기 단말은 상기 z-축 거리 및 x-축 간격을 이용하여 '모르는 얼굴'이 될 수 있는 후보들을 결정할 수 있다. 선택적으로, 상기 z-축 거리와 x-축 간격을 이용하여 모르는 얼굴의 후보를 결정하는 동작은 도 12에서 예시될 동작들을 포함할 수 있다.
상기 단말은 상기 계산된 z-축 거리와 x-축 간격을 이용하여 촬영 영역 내에 모르는 얼굴이 있는지 확인할 수 있다(1110). 예를 들어, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 z-축 거리가 미리 설정된 임계 값보다 큰 얼굴을 '모르는 얼굴'이라고 확인할 수 있다. 다른 예로써, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 z-축 거리가 가장 큰 얼굴을 모르는 얼굴이라고 확인할 수 있다. 다른 예로써, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 x-축 간격이 임계 값보다 큰 얼굴을 모르는 얼굴이라고 확인할 수 있다. 다른 예로써, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 x-축 간격이 가장 큰 얼굴을 모르는 얼굴이라고 확인할 수 있다. 다른 예로써, 상기 단말은 인식된 얼굴 내부의 기준점(fiducial point)들의 집합인 하나 이상의 클러스터를 정의하고 적은 개수의 기준점을 갖는 클러스터 내부의 얼굴을 모르는 얼굴이라고 확인할 수도 있다. 상기 클러스터를 이용하는 확인 방법은 도 16에서 보다 자세히 설명할 것이다.
상기 확인 결과에 따라서 상기 단말은 촬영 영역의 변경이 필요하다고 판단하고, 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다(1115). 예를 들어, 상기 단말이 현재 촬영 영역의 좌측에서 누락된 얼굴이 있다고 확인한 경우, 상기 단말은 촬영 영역이 좌측으로 확장될 필요가 있으므로 '우측으로 회전' 또는 '우측으로 이동'을 지시하는 다양한 형식(시각적 신호, 소리 신호, 또는 진동 신호)의 신호를 결정할 수 있다.
지시하는 방향에 대한 이해의 편의를 위해 부연 설명을 하자면, 카메라 촬영 영역에 배치되는 얼굴의 위치는 셀피를 촬영하는 사용자의 입장에서는 반대 방향에 위치하므로, 지시 신호는 상기 사용자의 입장에서 누락된 얼굴의 위치(좌측)의 반대 방향인 '우측으로 회전' 또는 '우측으로 이동'을 지시하게 된다. 본 개시에서, 지시 신호가 지시하는 방향은 이러한 이해에 근거하여 설명될 것이다.
이어서 상기 단말은 상기 결정된 신호를 출력할 수 있다(1120). 선택적으로, 상기 단말은 동일한 의미의 지시 신호를 2 가지 이상의 형식으로 동시에 출력할 수도 있다.
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(1125). 이 경우, 상기 단말은 상기 1110 내지 1120 동작들을 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 12는 본 개시에 따른 카메라 구비 단말이 z-거리 및 z-간격을 계산하여 촬영 영역 내에 위치하는 모르는 얼굴의 후보를 결정하는 과정을 예시하는 도면이다.
상기 단말이 카메라를 구동하여 얼굴을 인식을 수행하면, 상기 카메라로부터 상기 인식된 얼굴들 사이의 z-축 거리를 획득할 수 있다(1200). 상기 단말이 인식된 얼굴의 z-축 거리를 획득하는 개념은 도 13에서 예로써 설명될 것이다.
상기 단말은 촬영 영역내의 인식된 얼굴의 직교 좌표(rectangular coordinate)를 획득할 수 있다(1205). 상기 단말은 상기 직교 좌표를 이용하여 얼굴들 사이의 x-축 간격을 획득한다(1210). 상기 단말은 상기 촬영 영역 내의 얼굴 들 중 가장 먼(extreme) x-축 간격을 갖는 얼굴을 결정한다(1215).
상기 단말은 상기 획득한 z-축 거리를 크기 순으로 정렬할 수 있다(1225). 상기 단말은 상기 z-축 거리가 가장 큰 얼굴 또는 미리 설정된 임계 값보다 큰 얼굴을 결정한다(1230).
상기 단말은 상기 결정된 가장 먼 x-축 간격의 얼굴, 상기 결정된 가장 큰 z-축 거리의 얼굴 또는 미리 설정된 임계 값보다 큰 z-축 거리의 얼굴을 모르는 얼굴의 후보로 결정할 수 있다(1220).
도 13은 본 개시에 따른 카메라 구비 단말이 촬영 영역 내의 인식된 얼굴의 z-축 거리를 획득하는 개념을 예시하는 도면이다.
촬영 영역 내에서 인식된 얼굴(1300) 내의 하나의 기준점(1302)의 2차원 직교 좌표는 (XImi k, YImi k)로 나타낼 수 있다. 여기서, XImi k 는 k번째 얼굴의 i번째 기준점의 x 좌표를 나타내고, YImi k 는 k번째 얼굴의 i번째 기준점의 y 좌표를 나타낸다. 상기 단말은 상기 얼굴(1300)의 상기 기준점(1302)의 2차원 직교 좌표를 실제 공간에서의 얼굴(1310)의 기준점(1312)의 3차원(3 dimensional) 직교 좌표 (XRi k, YRi k, ZRi k)로 변환할 수 있다. 여기서, XRi k 는 k번째 얼굴의 i번째 기준점의 x 좌표를 나타내고, YRi k 는 k번째 얼굴의 i번째 기준점의 y 좌표를 나타내고, ZRi k 는 k번째 얼굴의 i번째 기준점의 z 좌표를 나타낸다.
상기 단말은 상기 촬영 영역 내의 상기 얼굴(1300)에 대한 z 좌표를 이용함으로써, 얼굴들 사이의 z-축 거리를 계산할 수 있게 된다.
예를 들어, 상기 단말이 2차원 직교 좌표로부터 3차원의 z 좌표를 구하는 과정은 다음과 같이 수행될 수 있다. 우선, 상기 단말은 z 좌표를 결정하는데 필요한 모델을 생성하는 사전 처리를 수행할 수 있다. 상기 사전 처리는 2차원의 기준점과 3차원 위치 트레이닝 데이터를 수집하는 과정과 상기 3차원 트레이닝 데이터로부터 상기 모델을 구축하는 과정을 포함할 수 있다. 이어서, 상기 모델을 이용하여 상기 단말이 z 좌표를 결정하는 절차는 다음과 같다. 첫째로, 상기 단말은 카메라를 통해 얼굴을 인식한다. 둘째로, 상기 단말은 상기 인식된 얼굴의 기준점에 대한 2차원 직교 좌표를 찾는다. 셋째로, 상기 단말은 상기 모델에 상기 2차원 직교 좌표를 입력한다. 넷째로, 상기 단말은 상기 모델로부터 상기 기준점에 대한 z 좌표를 구할 수 있다.
도 14는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 도면이다.
도 14의 좌측 이미지는 단말의 현재 촬영 영역을 예시한다. 상기 촬영 영역에 대해 상기 단말이 인식한 얼굴이 우측 이미지 내에 사각형(1420, 1422, 1424)으로 표시된다.
상기 단말은 상기 촬영 영역 내의 인식된 얼굴들에 대해 z-축 거리를 계산한다. 제1 얼굴(1420)과 제2 얼굴(1422) 사이의 2차원 평면상의 x-축 간격은 상기 제1 얼굴(1420)과 제3 얼굴(1424) 사이의 2차원 평면상의 x-축 간격과 비슷한 값을 갖는다. 그렇지만, 상기 3차원 공간 상에서는 제3 얼굴(1424)이 상기 제1 얼굴(1420)과 멀리 떨어져 있음을 알 수 있다. 3차원 공간 상의 거리는 x-축(1400) 상의 z-축 거리를 통해 판단할 수 있다. 즉, 상기 제1 얼굴(1420)과 상기 제3 얼굴(1424) 사이의 z-축 거리(1404)는 상기 제1 얼굴(1400)과 상기 제2 얼굴(1402) 사이의 z-축 거리(1402)에 비해 상대적으로 큰 값을 갖는다.
상기 제3 얼굴(1424)과 상기 제1 얼굴(1420)이 동일한 z-축(1420) 위에 존재하더라도, 상기 제3 얼굴(1424)이 큰 값의 z-축 거리를 가지면 상기 제3 얼굴(1424)은 상기 제1 얼굴(1420)과 실제 3D 공간에서는 멀리 떨어져 있음을 의미한다. 따라서, 상기 제3 얼굴(1424)은 사진을 촬영하는 사용자(즉, 제1 얼굴(1420)가 모르는 얼굴일 가능성이 높으며, 상기 단말은 상기 제3 얼굴(1424)를 모르는 얼굴로 결정할 수 있다. 이때, 상기 단말은 촬영 영역의 좌측에 위치한 모르는 얼굴(1424)을 촬영 영역에서 제거하기 위해 예를 들어, 상기 촬영 영역을 좌측으로 이동하라는 지시 신호(1410)를 출력할 수 있다.
도 15는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 다른 도면이다.
도 15의 좌측 이미지는 단말의 현재 촬영 영역을 예시한다. 상기 촬영 영역에 대해 상기 단말이 인식한 얼굴이 우측 이미지 내에 사각형(1520, 1522, 1524, 1526)으로 표시된다.
상기 단말은 상기 촬영 영역 내의 인식된 얼굴들에 대해 x-축 간격을 계산한다. 제1 얼굴(1520)과 제2 얼굴(1522) 사이의 2차원 평면상의 x-축 간격(1502)은 상기 제2 얼굴(1520)과 제3 얼굴(1524) 사이의 2차원 평면상의 x-축 간격(1504)과 비슷한 값을 갖는다. 그렇지만, 상기 제1 얼굴(1520)과 제4 얼굴(1526)의 x-축 간격(1500)은 상대적으로 큼을 알 수 있다.
이와 같이, 상기 제4 얼굴(1526)이 상대적으로 큰 x-축 간격을 갖는 경우, 상기 단말은 상기 제4 얼굴(1526)을 모르는 얼굴로 결정할 수 있다. 따라서, 상기 단말은 촬영 영역의 우측에 위치한 모르는 얼굴(1526)를 촬영 영역에서 제거하기 위해 예를 들어, 상기 촬영 영역을 우측으로 회전하라는 지시 신호(1510)를 출력할 수 있다.
도 16은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 또 다른 도면이다.
단말은 인식된 얼굴 내부의 기준점들을 2차원 평면 상의 위치의 근접도를 기준으로 클러스터링하고, 적은 개수의 기준점을 갖는 클러스터 내부의 얼굴을 모르는 얼굴로 판단할 수도 있다.
구체적으로, 상기 단말은 인식된 얼굴의 기준점을 감지할 수 있다. 도 16(a)는 상기 단말의 카메라가 기준점을 인식하여 얼굴을 둘러싸는 사각형을 결정하는 과정을 예시하고 있다. 즉, 상기 단말은 1600, 1602, 1604와 같은 순서로 기준점 인식하여 얼굴을 둘러싸는 사각형을 결정할 수 있다.
상기 단말은 기준점들이 모여있는 영역을 클러스터로 지정할 수 있다. 도 16(b)는 상기 단말이 촬영 영역에서 인식한 얼굴의 기준점들의 집합인 클러스터(cluster)들(1610, 1612, 1614, 1616)을 예시하고 있다.
상기 단말은 2차원 평면 상에서 가깝게 위치하는 클러스터들을 하나의 클러스터로 병합(merge)할 수 있다. 도 16(c)는 상기 클러스터 1610, 1612 및 1614가 하나의 클러스터 1620으로 병합된 것을 예시하고 있다. 이때, 상기 클러스터 1616은 가깝게 위치하는 클러스터가 없으므로 병합하지 않고 홀로 새로운 클러스터(1622)로 위치한다.
상기 단말은 상기 클러스터 1620, 1622 중 적은 개수의 기준점을 포함하는 클러스터 1622에 포함되는 얼굴(1636)을 모르는 얼굴로 결정할 수 있다. 도 16(d)는 인식된 얼굴 1630, 1632, 1634, 1636 중 1636을 모르는 얼굴로 결정한 예를 도시한다.
도 17는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하고, 와이드 촬영에서 적용하는 경우를 예시하는 도면이다.
단말을 이동하면서 촬영하여 하나의 와이드 사진(파노라마 사진과 같은)을 촬영하는 와이드 셀피 촬영의 경우에도 본 개시의 모르는 얼굴 인식 기법이 적용될 수 있다. 이미지(1700)은 와이드 셀피 촬영을 통해 다수의 사람들이 하나의 사진에 촬영되는 경우를 예시하고 있다.
와이드 셀피 촬영을 통해 생성된 이미지(1710)에서 우측 상단에 위치한 얼굴(1712)은 본 개시의 모르는 얼굴로 결정될 수 있다. 예를 들어, 상기 얼굴(1712)은 z-축 거리가 가장 큰 얼굴이어서 모르는 얼굴로 결정될 수 있다. 이때, 상기 단말은 상기 이미지(1710)에 대한 후처리 과정을 통해 상기 모르는 얼굴(1712)을 자동적으로 크랍(crop)할 수 있다. 이로써, 상기 단말은 모르는 얼굴이 포함되지 않은 새로운 와이드 셀피 사진(1720)을 생성할 수 있게 된다.
도 18는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(1800).
상기 단말은 상기 인식된 얼굴들 각각을 둘러싸는 사각형 영역을 결정한다(1805). 이때, 상기 사각형은 얼굴뿐만 아니라 모발 또는 귀와 같은 영역을 둘러싸기 위한 버퍼 영역까지 포함하도록 결정될 수 있다.
상기 단말은 얼굴에 해당하는 사각형이 촬영 영역 내에 완전하게 포함되지 않았는지 체크함으로써 잘린 얼굴이 포함되었는지 확인할 수 있다(1810). 예를 들어, 상기 단말은 인식된 얼굴에 해당하는 사각형이 상기 촬영 영역 내에 포함된 비율에 근거하여 잘린 얼굴이 있는지 여부를 판단할 수 있다. 즉, 특정 사각형의 임계 비율(예를 들어, 0.95) 이하의 부분만이 촬영 영역 내에 포함된 경우, 상기 단말은 상기 특정 사각형에 해당하는 얼굴은 잘린 얼굴이라고 확인할 수 있다.
상기 확인 결과에 따라서 상기 단말은 촬영 영역의 변경이 필요하다고 판단하고, 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다(1815). 예를 들어, 상기 단말이 현재 촬영 영역의 좌측에서 잘린 얼굴이 있다고 확인한 경우, 상기 단말은 촬영 영역이 좌측으로 확장될 필요가 있으므로 '좌측으로 회전' 또는 '좌측으로 이동'을 지시하는 다양한 형식(시각적 신호, 소리 신호, 또는 진동 신호)의 신호를 결정할 수 있다. 상기 단말이 상기 지시 신호를 결정하는 예는 도 19에서 보다 자세히 설명할 것이다.
이어서 상기 단말은 상기 결정된 신호를 출력할 수 있다(1820). 선택적으로, 상기 단말은 동일한 의미의 지시 신호를 2 가지 이상의 형식으로 동시에 출력할 수도 있다.
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(1825). 이 경우, 상기 단말은 상기 1810 내지 1820 동작들을 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 19는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 결정하는 경우를 예시하는 도면이다.
도 18의 1810 동작이후 상기 단말은 이하의 동작을 선택적으로 수행할 수 있다.
상기 단말은 잘린 얼굴이 포함되었는지 체크할 수 있다(1900).
잘린 얼굴이 포함되지 않았다고 판단되는 경우, 상기 단말은 지시 신호를 출력하지 않을 것으로 결정할 수 있다(1915).
잘린 얼굴이 포함되었다고 판단되는 경우, 상기 단말은 상기 잘린 얼굴의 사각형이 위치한 방향의 반대 방향에 얼굴이 위치하지 않는 여유 공간(gap available)이 있는지 체크할 수 있다(1905).
상기 반대 방향에 여유 공간이 있는 경우, 상기 단말은 상기 잘린 얼굴에 해당하는 사각형을 완전히 촬영 영역에 포함시키기 위한 촬영 영역 변경 지시 신호를 출력할 수 있다. 예로써, 상기 단말은 (촬영 영역의 좌측에 잘린 얼굴이 있을 때) "좌측으로 회전" 과 같은 지시 신호를 출력하도록 결정할 수 있다(1920).
상기 반대 방향에 여유 공간이 없는 경우, 상기 단말은 상기 단말이 현재 수직 방향으로 놓여 있는지 체크할 수 있다(1910).
상기 단말이 현재 수직 방향으로 놓여 있는 경우, 상기 단말은 좌측 및 우측에 여유 공간을 더 확보하도록 상기 단말을 수평 방향으로 놓이도록 지시하는 신호를 출력할 수 있다. 예로써, 상기 단말은 "90도 회전(수평)"과 같은 지시 신호를 출력하도록 결정할 수 있다(1925).
상기 단말이 현재 수직 방향으로 놓여 있지 않은 경우, 상기 단말은 더 이상 측 및 우측의 여유공간을 확보할 수 없으므로, 예로써, "줌 아웃" 또는 "뒤로 이동"과 같은 신호를 출력하도록 결정할 수 있다(1930).
도 20은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면이다.
도 20(a)을 예로 들면, 단말은 촬영 영역에서 4개의 얼굴들을 인식하고 상기 얼굴들에 해당하는 4 개의 사각형을 결정한다. 상기 4개의 사각형 중 가장 좌측에 위치한 사각형(2000)은 상기 촬영 영역 내에 완전하게 포함되지 않았다. 상기 단말은 상기 '완전하지 않은(not complete)' 사각형(2000)에 해당하는 얼굴이 '잘린 얼굴(cut face)'이라고 확인할 수 있다. 따라서, 상기 단말은 상기 잘린 얼굴에 해당하는 얼굴을 상기 촬영 영역 내에 완전하게 포함시키기 위해서 상기 촬영 영역의 변경을 지시하는 신호 출력을 결정할 수 있다.
도 20(b)를 예로 들면, 단말은 촬영 영역에서 4개의 얼굴들을 인식하고 상기 얼굴들에 해당하는 4 개의 사각형을 결정한다. 상기 4 개의 사각형 중 가장 우측에 위치한 사각형(2010)의 일부분은 상기 촬영 영역 내에 포함되지 않았다. 상기 단말은 일부분이 포함되지 않은 상기 사각형(2010)에 해당하는 얼굴이 '잘린 얼굴'이라고 확인할 수 있다. 이때, 상기 단말은 상기 촬영 영역에서 상기 잘린 얼굴(2010)이 위치하는 방향(즉, 우측)의 반대 방향(즉, 좌측)에 여유 공간(2015)이 있음을 확인하고, 상기 잘린 얼굴이 위치하는 방향으로 촬영 영역을 확대하기 위해 '우측으로 회전' 또는 '우측으로 이동'과 같은 지시 신호의 출력을 결정할 수 있다.
도 21는 본 개시에 따른 카메라 구비 단말이 촬영 영역의 변경이 필요함을 판단하는 3가지 경우를 순차적으로 수행하는 예시적 방법을 도시한다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(2100).
상기 단말은 상기 인식된 얼굴에 대한 정보를 이용함으로써, 상기 촬영 영역 내에 잘린 얼굴이 있는지 판단하는 동작(2105), 모르는 얼굴이 상기 촬영 영역에 있는지 판단하는 동작(2115), 및 상기 촬영 영역에 누락된 얼굴이 있는지 판단하는 동작(2120) 중 적어도 하나를 순서대로 수행할 수 있다. 그러나, 상기 단말이 반드시 도 21에서 예시된 순서에 따라 판단해야 하는 것은 아니고 다른 순서에 의해 판단할 수도 있을 것이다. 상기 단말은 상기 잘린 얼굴이 있거나, 상기 모르는 얼굴이 있거나, 상기 누락된 얼굴이 있다고 판단하는 경우, 상기 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다.
이어서 상기 단말은 상기 판단(2105, 2115, 2120) 중 적어도 하나에 근거하여 결정된 지시 신호를 출력할 수 있다(2110).
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(2125). 이 경우, 상기 단말은 상기 2100 내지 2120 동작들 중 적어도 하나를 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 22은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 일 예를 도시한다.
도 22에서 예시된 촬영 영역 내에 인식된 얼굴들(2200, 2202)는 모두 우측으로 치우쳐 있음을 알 수 있다. 이 경우, 단말은 상기 얼굴들(2200, 2202)을 상기 촬영 영역의 중앙에 배치시키기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 촬영 영역을 우측으로 확장시키기 위하여 '좌측으로 회전'을 지시하는 신호(2210)을 출력할 수 있다.
도 23은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 23에서 예시된 촬영 영역 내에 인식된 얼굴들 중 가장 좌측에 위치한 얼굴 사각형(2305)와 가장 상부에 위치한 얼굴 사각형(2300)은 상기 촬영 영역의 테두리(즉, 경계) 부분과 접하고 있다. 단말은 상기 사각형 2305, 2300은 온전하지 않게 상기 촬영 영역 내에 포함되어 있다고 판단하고 상기 사각형 2305, 2300을 잘린 얼굴이라고 확인할 수 있다. 이 경우, 상기 단말은 상기 잘린 얼굴(2305, 2300)에 해당하는 사각형이 온전하게 상기 촬영 영역 내에 포함되도록 하는 지시 신호의 출력할 수 있다. 예를 들어, 상기 단말은 촬영 영역을 좌측 및 위로 확장시키기 위하여 '좌측으로 회전' 및 '위로 회전'을 지시하는 신호들(각각, 2310, 2315)을 출력할 수 있다.
도 24는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 24에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2400, 2402, 2406)은 z-축(2410) 상에 배치된다. 상기 인식된 얼굴들 중 좌측에 위치한 얼굴(2406)은 가운데 위치한 얼굴(2402)에 대해 큰 값(예를 들어, 임계 값 이상의)의 z-축 거리(2415)를 갖는다. 상기 단말은 큰 값의 z-축 거리를 갖는 상기 좌측의 얼굴(2406)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2406)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재의 가로 구도(horizontal composition)인 촬영 영역을 세로 구도(vertical composition)의 촬영 영역으로 바꾸기 위해 '90도 회전(수직)'을 지시하는 신호(2420)를 출력할 수 있다.
도 25는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 25에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2500, 2502, 2504)은 z-축(2510) 상에 배치된다. 상기 인식된 얼굴들 중 좌측에 위치한 얼굴(2504)은 가운데 위치한 얼굴(2502)에 대해 큰 값(예를 들어, 임계 값 이상의)의 z-축 거리(2515)를 갖는다. 상기 단말은 큰 값의 z-축 거리(2515)를 갖는 상기 좌측의 얼굴(2504)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2504)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재 촬영 영역의 좌측에 위치한 모르는 얼굴을 상기 촬영 영역에서 없애기 위해, 상기 촬영 영역을 우측으로 확장하기 위한 '좌측으로 회전'을 지시하는 신호(2520)를 출력할 수 있다.
도 26는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 26에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2600, 2602, 2604)은 x-축(2610) 상에 배치된다. 상기 인식된 얼굴들 중 우측에 위치한 얼굴(2604)은 가운데 위치한 얼굴(2602)에 대해 큰 값(예를 들어, 임계 값 이상의)의 x-축 간격(2615)을 갖는다. 상기 단말은 큰 값의 x-축 간격(2615)를 갖는 상기 우측의 얼굴(2604)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2604)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재 촬영 영역의 우측에 위치한 모르는 얼굴을 상기 촬영 영역에서 없애기 위해, 현재 가로 구도(horizontal composition)의 촬영 영역을 세로 구도(vertical composition)의 촬영 영역으로 바꾸기 위해 '90도 회전(수직)'을 지시하는 신호(2620)를 출력할 수 있다.
도 27는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 27에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2700, 2702, 2704)은 x-축(2710) 상에 배치된다. 상기 인식된 얼굴들 중 우측에 위치한 얼굴(2704)은 가운데 위치한 얼굴(2702)에 대해 큰 값(예를 들어, 임계 값 이상의)의 x-축 간격(2715)을 갖는다. 상기 단말은 큰 값의 x-축 간격(2715)를 갖는 상기 우측의 얼굴(2704)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2704)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재 촬영 영역의 우측에 위치한 모르는 얼굴을 상기 촬영 영역에서 없애기 위해, 상기 촬영 영역을 좌측으로 확장하기 위한 '우측으로 회전'을 지시하는 신호(2720)를 출력할 수 있다.
도 28은 본 개시의 따른 단말 장치의 구성을 개략적으로 설명하는 도면이다.
본 개시에 따른 단말(2800)은 제어부(2810) 및 카메라(2830)을 포함할 수 있다. 상기 제어부(2810)는 본 개시에서 설명된 방법의 동작(들)을 제어할 수 있다. 상기 카메라(2830)는 상시 제어부(2810)의 제어에 의해 사진 촬영, 얼굴 인식, 또는3차원상의 z-축 좌표 산출 등의 동작을 수행할 수 있다.
상기 단말(2800)은 본 개시에서 예시된 적어도 하나의 지시 신호를 출력하는 출력부를 적어도 하나 더 포함할 수 있다. 예를 들어, 상기 출력부는 영상 신호를 출력하는 디스플레이(2820), 소리를 출력하는 스피커(2840), 빛을 출력하는 플래쉬 라이트(2850) 또는 진동을 발생시키는 적어도 하나의 바이브레이터(2870)가 될 수 있다. 상기 단말(2800)은 하우징의 네 단부 중 적어도 2 개의 단부에 각각 하나씩의 바이브레이터(2870)를 포함할 수 있다.
상기 단말(2820)은 네트워크의 기지국 또는 타 단말과 통신을 수행하는 송수신부(2860)을 더 포함할 수도 있다.
상기 도 2 내지 도 28이 예시하는 촬영 영역 예시도, 지원 방법의 플로우 차트, 지시 신호의 예시도, 및 단말의 구성도는 본 개시의 권리범위를 한정하기 위한 의도가 없음을 유의하여야 한다. 즉, 상기 도 2 내지 도 28에 기재된 모든 구성부, 또는 동작의 단계가 본 개시의 실시를 위한 필수구성요소인 것으로 해석되어서는 안되며, 일부 구성요소 만을 포함하여도 본 개시의 본질을 해치지 않는 범위 내에서 구현될 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 단말 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 단말 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 단말 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (30)

  1. 카메라 구비 장치에서 사진 촬영을 지원하는 방법에 있어서,
    카메라가 구동되면 상기 카메라의 촬영 영역 내에서 피사체의 얼굴을 인식하는 동작;
    상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작; 및
    상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 출력하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 신호는 상기 촬영 영역의 변경을 지시하는 시각적 신호, 소리 신호 및 진동 신호 중 적어도 하나임을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 시각적 신호는 상기 카메라 구비 장치의 디스플레이부를 통해 이미지 또는 아이콘의 형태로 출력됨을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 시각적 신호는 상기 카메라 구비 장치의 LED 플래쉬 라이트를 통해 빛의 형태로 출력됨을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 소리 신호는 상기 카메라 구비 장치의 스피커를 통해 음성의 형태로 출력됨을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 진동 신호는 상기 카메라 구비장치의 네 단부 중 적어도 2 개의 단부에 각각 구비되는 바이브레이터에서 생성되는 진동의 형태로 출력됨을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경이 필요한지 결정하는 동작은:
    상기 인식된 얼굴에 대한 정보를 이용하여 상기 촬영 영역에 누락된 얼굴이 있는지 확인하는 동작; 및
    상기 촬영 영역에 누락된 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작을 포함하는 방법.
  8. 제1항에 있어서, 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경이 필요한지 결정하는 동작은:
    상기 인식된 얼굴에 대한 정보를 이용하여 상기 촬영 영역에 모르는 얼굴이 있는지 확인하는 동작; 및
    상기 촬영 영역에 모르는 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작을 포함하는 방법.
  9. 제1항에 있어서, 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경이 필요한지 결정하는 동작은:
    상기 인식된 얼굴에 대한 정보를 이용하여 잘린 얼굴이 있는지 확인하는 동작; 및
    상기 촬영 영역에 잘린 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작을 포함하는 방법.
  10. 제1항에 있어서,
    상기 신호는, 상기 카메라 구비 장치의 배치를 특정 방향으로 회전시키는 제1 신호, 상기 카메라 구비 장치의 배치를 특정 방향으로 이동시키는 제2 신호, 상기 카메라 구비 장치의 배치를 수평 구도 또는 수직 구도로부터 수직 구도 또는 수평 구도로 변경시키는 제3 신호, 또는 상기 카메라의 줌 기능을 조작하도록 지시하는 제4 신호 중 어느 하나임을 특징으로 하는 방법.
  11. 제7항에 있어서,
    상기 인식된 얼굴에 대한 정보는 래디얼 그래프의 형식으로 저장된 상기 얼굴 근접하여 배치되는 타 인식 얼굴의 개수이고,
    상기 촬영 영역에 누락된 얼굴이 있는지 확인하는 동작은:
    이전 촬영 영역 내의 상기 인식된 얼굴에 대한 래디얼 그래프와 상기 촬영 영역 내의 상기 인식된 얼굴에 대한 래디얼 그래프가 서로 다른 값을 갖는 경우에 상기 촬영 영역에 누락된 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  12. 제8항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 인식된 얼굴에 대한 상기 촬영 영역 내의 z-축 거리 또는 x-축 간격이고,
    상기 촬영 영역에 모르는 얼굴이 있는지 확인하는 동작은:
    상기 인식된 얼굴에 대한 z-축 거리 또는 x-축 간격이 미리 정해진 임계 값보다 큰 경우에 상기 촬영 영역에 모르는 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  13. 제9항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 인식된 얼굴의 기준점을 포함하는 사각형 영역이고,
    상기 촬영 영역에 잘린 얼굴이 있는지 확인하는 동작은:
    상기 인식된 얼굴에 대한 사각형 영역이 상기 촬영 영역에 온전히 포함되지 않는 경우에 상기 촬영 영역에 잘린 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  14. 제1항에 있어서,
    상기 촬영 영역의 변경이 상기 촬영 영역에서 제1 방향으로의 확장인 경우, 상기 신호는 상기 제1 방향의 반대 방향으로 '이동' 또는 '회전'을 지시하는 신호임을 특징으로 하는 방법.
  15. 제8항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 촬영 영역 내에서 인식된 기준점들을 근접도에 따라서 병합한 적어도 두 개의 클러스터에 대한 정보이고,
    상기 촬영 영역에 모르는 얼굴이 있는지 확인하는 동작은:
    상기 적어도 두 개의 클러스터 중 포함하는 기준점의 개수가 적은 클러스에 포함되는 얼굴을 상기 촬영 영역 내부의 모르는 얼굴이라고 확인하는 동작임을 특징으로 하는 방법.
  16. 사진 촬영을 지원하는 카메라 구비 장치에 있어서,
    촬영 영역 내에서 피사체의 얼굴을 인식하는 카메라; 및
    상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하고, 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호 출력을 제어하는 제어부를 포함하는 장치.
  17. 제16항에 있어서,
    상기 신호는 상기 촬영 영역의 변경을 지시하는 시각적 신호, 소리 신호 및 진동 신호 중 적어도 하나임을 특징으로 하는 장치.
  18. 제17항에 있어서,
    이미지 또는 아이콘을 출력하는 디스플레이부를 더 포함하고,
    상기 시각적 신호는 상기 디스플레이부를 통해 이미지 또는 아이콘의 형태로 출력됨을 특징으로 하는 장치.
  19. 제17항에 있어서,
    빛을 출력하는 LED 플래쉬 라이트를 더 포함하고,
    상기 시각적 신호는 상기 LED 플래쉬 라이트를 통해 빛의 형태로 출력됨을 특징으로 하는 장치.
  20. 제17항에 있어서,
    소리를 출력하는 스피커를 더 포함하고,
    상기 소리 신호는 상기 스피커를 통해 음성의 형태로 출력됨을 특징으로 하는 장치.
  21. 제17항에 있어서,
    하우징의 네 단부 중 적어도 2 개의 단부에 각각 구비되는 바이브레이터를 더 포함하고,
    상기 진동 신호는 상기 네 단부 중 적어도 2 개의 단부에 각각 구비되는 바이브레이터에서 생성되는 진동의 형태로 출력됨을 특징으로 하는 장치.
  22. 제16항에 있어서,
    상기 제어부는, 상기 인식된 얼굴에 대한 정보를 이용하여 상기 촬영 영역에 누락된 얼굴이 있는지 확인하고, 상기 촬영 영역에 누락된 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 것을 특징으로 하는 장치.
  23. 제16항에 있어서,
    상기 제어부는, 상기 인식된 얼굴에 대한 정보를 이용하여 상기 촬영 영역에 모르는 얼굴이 있는지 확인하고, 상기 촬영 영역에 모르는 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 것을 특징으로 하는 장치.
  24. 제16항에 있어서,
    상기 제어부는, 상기 인식된 얼굴에 대한 정보를 이용하여 잘린 얼굴이 있는지 확인하고, 상기 촬영 영역에 잘린 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 것을 특징으로 하는 장치.
  25. 제16항에 있어서,
    상기 신호는, 상기 카메라 구비 장치의 배치를 특정 방향으로 회전시키는 제1 신호, 상기 카메라 구비 장치의 배치를 특정 방향으로 이동시키는 제2 신호, 상기 카메라 구비 장치의 배치를 수평 구도 또는 수직 구도로부터 수직 구도 또는 수평 구도로 변경시키는 제3 신호, 또는 상기 카메라의 줌 기능을 조작하도록 지시하는 제4 신호 중 어느 하나임을 특징으로 하는 장치.
  26. 제22항에 있어서,
    상기 인식된 얼굴에 대한 정보는 래디얼 그래프의 형식으로 저장된 상기 얼굴 근접하여 배치되는 타 인식 얼굴의 개수이고,
    상기 제어부는, 이전 촬영 영역 내의 상기 인식된 얼굴에 대한 래디얼 그래프와 상기 촬영 영역 내의 상기 인식된 얼굴에 대한 래디얼 그래프가 서로 다른 값을 갖는 경우에 상기 촬영 영역에 누락된 얼굴이 있다고 확인함을 특징으로 하는 장치.
  27. 제23항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 인식된 얼굴에 대한 상기 촬영 영역 내의 z-축 거리 또는 x-축 간격이고,
    상기 제어부는, 상기 인식된 얼굴에 대한 z-축 거리 또는 x-축 간격이 미리 정해진 임계 값보다 큰 경우에 상기 촬영 영역에 모르는 얼굴이 있다고 확인함을 특징으로 하는 장치.
  28. 제24항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 인식된 얼굴의 기준점을 포함하는 사각형 영역이고,
    상기 제어부는, 상기 인식된 얼굴에 대한 사각형 영역이 상기 촬영 영역에 온전히 포함되지 않는 경우에 상기 촬영 영역에 잘린 얼굴이 있다고 확인함을 특징으로 하는 장치.
  29. 제16항에 있어서,
    상기 촬영 영역의 변경이 상기 촬영 영역에서 제1 방향으로의 확장인 경우, 상기 제어부는 상기 신호로써 상기 제1 방향의 반대 방향으로 이동하거나 회전할 것을 지시하는 신호를 결정하는 장치.
  30. 제23항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 촬영 영역 내에서 인식된 기준점들을 근접도에 따라서 병합한 적어도 두 개의 클러스터에 대한 정보이고,
    상기 제어부는, 상기 적어도 두 개의 클러스터 중 포함하는 기준점의 개수가 적은 클러스에 포함되는 얼굴을 상기 촬영 영역 내부의 모르는 얼굴이라고 확인함을 특징으로 하는 장치.
KR1020150118712A 2015-08-24 2015-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법 Active KR102469694B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150118712A KR102469694B1 (ko) 2015-08-24 2015-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법
PCT/KR2016/009389 WO2017034321A1 (ko) 2015-08-24 2016-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
US15/754,970 US10868956B2 (en) 2015-08-24 2016-08-24 Picture-taking technique for self-photography using device having camera and device therefor
CN201680049317.1A CN107925724B (zh) 2015-08-24 2016-08-24 在具有相机的设备中支持摄影的技术及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150118712A KR102469694B1 (ko) 2015-08-24 2015-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법

Publications (2)

Publication Number Publication Date
KR20170023494A true KR20170023494A (ko) 2017-03-06
KR102469694B1 KR102469694B1 (ko) 2022-11-23

Family

ID=58100496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150118712A Active KR102469694B1 (ko) 2015-08-24 2015-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법

Country Status (4)

Country Link
US (1) US10868956B2 (ko)
KR (1) KR102469694B1 (ko)
CN (1) CN107925724B (ko)
WO (1) WO2017034321A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228615A (zh) * 2018-12-28 2021-08-06 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN116912666A (zh) * 2018-03-29 2023-10-20 苹果公司 用于生成头部相关传递函数滤波器的布置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11863863B2 (en) * 2020-07-22 2024-01-02 Unity IPR ApS System and method for frustum context aware digital asset suggestions
WO2024240353A1 (en) * 2023-05-25 2024-11-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and devices for media capturing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329784A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR20090017355A (ko) * 2007-08-14 2009-02-18 삼성전자주식회사 영상구도를 자동조정하는 영상촬영 장치 및 방법
US20140192217A1 (en) * 2013-01-04 2014-07-10 Samsung Electronics Co., Ltd. Apparatus and method for photographing portrait in portable terminal having camera
WO2015122624A1 (ko) * 2014-02-12 2015-08-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP2008225550A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20080089839A (ko) * 2007-04-02 2008-10-08 삼성테크윈 주식회사 영상 촬영 장치 및 방법
JP4818987B2 (ja) 2007-05-21 2011-11-16 オリンパスイメージング株式会社 撮像装置、表示方法、及びプログラム
JP2009055449A (ja) 2007-08-28 2009-03-12 Fujifilm Corp 撮影装置
JP4894712B2 (ja) * 2007-10-17 2012-03-14 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4950836B2 (ja) * 2007-10-24 2012-06-13 富士フイルム株式会社 撮像装置およびその動作制御方法
KR101362765B1 (ko) * 2007-11-07 2014-02-13 삼성전자주식회사 촬영 장치 및 그 제어 방법
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
JP5144487B2 (ja) * 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
JP2010278624A (ja) 2009-05-27 2010-12-09 Sony Corp 撮影装置および方法、並びにプログラム
JP2012010162A (ja) * 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
US8675113B2 (en) 2012-02-24 2014-03-18 Research In Motion Limited User interface for a digital camera
JP2014077994A (ja) * 2012-09-20 2014-05-01 Canon Inc 画像表示装置、その制御方法および制御プログラム並びに撮像装置
KR101316805B1 (ko) * 2013-05-22 2013-10-11 주식회사 파이브지티 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
JP6641181B2 (ja) * 2016-01-06 2020-02-05 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
US10469730B2 (en) * 2016-05-18 2019-11-05 Canon Kabushiki Kaisha Imaging device and control method for simultaneously outputting an image pickup signal and a parallax image signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329784A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR20090017355A (ko) * 2007-08-14 2009-02-18 삼성전자주식회사 영상구도를 자동조정하는 영상촬영 장치 및 방법
US20140192217A1 (en) * 2013-01-04 2014-07-10 Samsung Electronics Co., Ltd. Apparatus and method for photographing portrait in portable terminal having camera
WO2015122624A1 (ko) * 2014-02-12 2015-08-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912666A (zh) * 2018-03-29 2023-10-20 苹果公司 用于生成头部相关传递函数滤波器的布置
CN113228615A (zh) * 2018-12-28 2021-08-06 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN113228615B (zh) * 2018-12-28 2023-11-07 索尼集团公司 信息处理装置、信息处理方法和计算机可读记录介质
US12126895B2 (en) 2018-12-28 2024-10-22 Sony Group Corporation Side-view head and ear image capturing for head related transfer functions

Also Published As

Publication number Publication date
CN107925724B (zh) 2021-06-11
WO2017034321A1 (ko) 2017-03-02
KR102469694B1 (ko) 2022-11-23
US10868956B2 (en) 2020-12-15
US20200244873A1 (en) 2020-07-30
CN107925724A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
US20240069412A1 (en) Image pickup device and method of tracking subject thereof
KR100840023B1 (ko) 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
US20150201124A1 (en) Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
EP2993894A1 (en) Image capturing method, panorama image generating method and electronic apparatus
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
CN106664361B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
JP2013070164A (ja) 撮像装置及び撮像方法
CN104202527A (zh) 用于在便携式终端中调整镜头的设备和方法
KR20170023494A (ko) 카메라를 구비하는 장치에서 사진 촬영 지원 기법
WO2016088368A1 (ja) 方向制御装置、方向制御方法および記録媒体
CN109995991A (zh) 一种拍摄方法、机器人及移动终端
CN110622501B (zh) 图像处理装置及电子设备
CN105306819A (zh) 一种基于手势控制拍照的方法及装置
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
JP2018085579A (ja) 撮像装置、制御方法、及び情報処理プログラム
JP2017204795A (ja) 追尾装置
US11949993B2 (en) Electric device, controlling method of controlling electric device, and computer readable storage medium
JP2020067534A (ja) 撮像装置
KR100651206B1 (ko) 안면인식 알고리즘을 이용한 휴대폰의 영상 촬영 시스템 및그 방법
TWI502268B (zh) 攝影導引方法與電子裝置
JP2016162164A (ja) 操作装置および操作方法
JP2015186015A (ja) 画像処理装置、画像処理方法、プログラム及びカメラ
KR20210115786A (ko) 자기 이미지 캡쳐 방법 및 이를 위한 전자 장치
JP2001251548A (ja) 画像入力装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150824

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200731

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150824

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220304

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220819

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221117

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221118

End annual number: 3

Start annual number: 1

PG1601 Publication of registration