WO2014088125A1 - 영상 촬영 장치 및 그 방법 - Google Patents

영상 촬영 장치 및 그 방법 Download PDF

Info

Publication number
WO2014088125A1
WO2014088125A1 PCT/KR2012/010413 KR2012010413W WO2014088125A1 WO 2014088125 A1 WO2014088125 A1 WO 2014088125A1 KR 2012010413 W KR2012010413 W KR 2012010413W WO 2014088125 A1 WO2014088125 A1 WO 2014088125A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
composition
face
facial
extracted
Prior art date
Application number
PCT/KR2012/010413
Other languages
English (en)
French (fr)
Inventor
이정호
윤정석
이성수
황정환
안수남
양원근
손진호
백승민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/649,645 priority Critical patent/US9503632B2/en
Priority to PCT/KR2012/010413 priority patent/WO2014088125A1/ko
Priority to KR1020157009655A priority patent/KR101671137B1/ko
Publication of WO2014088125A1 publication Critical patent/WO2014088125A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the rear camera 113 may have better image quality or resolution than the front camera 111.
  • the facial expression extractor 170 may extract the facial expression of the user by comparing the relative ratios of the long axis length and the short axis length of each closed curve. That is, the expression extracting unit 170 may compare the relative ratios of the long axis length and the short axis length of each closed curve, and determine how much the user's eyes are opened and how much the user's mouth is open. You can extract the expression of.
  • the controller 195 of the image capturing apparatus 100 checks whether 1 second has elapsed after the photographing notification signal is output (S119), and when 1 second has elapsed, automatically captures the image of the user displayed on the preview screen ( S121).
  • the image capturing apparatus 100 may capture an image of a user through the rear camera 113.

Abstract

본 발명의 일 실시예에 따른 전면 카메라 및 후면 카메라를 통해 영상을 촬영하는 영상 촬영 장치는 디스플레이부와 상기 후면 카메라를 통해 상기 디스플레이부의 프리뷰 화면에 표시된 사용자의 얼굴 영상으로부터 얼굴 특징을 추출하는 특징 추출부와 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 얼굴 구도를 추출하는 구도 추출부와 상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는 경우, 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 표정을 추출하는 표정 추출부 및 상기 추출된 사용자의 표정이 기준 얼굴 표정과 일치하는 경우, 촬영 알림 신호를 출력하는 알람부를 포함한다.

Description

영상 촬영 장치 및 그 방법
본 발명은 영상 촬영 장치 및 그 방법에 관한 것이다.
최근 영상 처리 기술의 발달에 따라 사람이 휴대하기 편리한 디지털 카메라, 캠코더 그리고 더 나아가서는 휴대폰과 같은 휴대용 통신 단말에 영상 촬영 기능을 부가한 휴대폰 카메라와 같은 영상 촬영 장치가 등장하여 널리 이용되고 있다. 이러한 영상 촬영 장치들은 정지된 영상(still picture)뿐만 아니라 움직이는 피사체를 위한 동영상(moving picture) 촬영 기능도 구비하고 있는데, 특히 영상 촬영 장치는 인물에 대한 영상을 촬영하는 데에 많이 이용되고 있다.
또한, 휴대용 통신 단말의 전면과 후면에는 각각 카메라가 장착되어 있어, 사용자는 전면 카메라와 후면 카메라를 이용하여 자신의 영상을 촬영할 수도 있다.
그러나, 전면 카메라의 경우, 사용자가 각도 및 포즈를 프리뷰 화면을 통해 볼 수 있어, 손쉽게 촬영할 수 있으나, 일반적으로 전면 카메라는 후면 카메라에 비해 화질이나 해상도가 부족해 사용자의 만족도가 떨어지는 문제가 있다.
본 발명은 전면 카메라를 이용하여 사용자가 선호하는 각도나 포즈를 등록한 것을 기초로, 후면 카메라로 촬영할 수 있도록 사용자에게 유도 신호를 보내 손쉽게 고화질의 원하는 영상을 얻을 수 있는 영상 촬영 장치 및 그 방법의 제공을 목적으로 한다.
본 발명의 일 실시예에 따른 전면 카메라 및 후면 카메라를 통해 영상을 촬영하는 영상 촬영 장치는 디스플레이부와 상기 후면 카메라를 통해 상기 디스플레이부의 프리뷰 화면에 표시된 사용자의 얼굴 영상으로부터 얼굴 특징을 추출하는 특징 추출부와 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 얼굴 구도를 추출하는 구도 추출부와 상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는 경우, 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 표정을 추출하는 표정 추출부 및 상기 추출된 사용자의 표정이 기준 얼굴 표정과 일치하는 경우, 촬영 알림 신호를 출력하는 알람부를 포함한다.
본 발명의 또 다른 실시 예에 따른 전면 카메라 및 후면 카메라를 통해 영상을 촬영하는 영상 촬영 장치의 영상 촬영 방법은 상기 후면 카메라를 통해 디스플레이부의 프리뷰 화면에 사용자의 얼굴 영상을 표시하는 단계와 상기 표시된 사용자의 얼굴 영상으로부터 얼굴 특징을 추출하는 단계와 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 얼굴 구도를 추출하는 단계와 상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는 경우, 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 표정을 추출하는 단계 및 상기 추출된 사용자의 표정이 기준 얼굴 표정과 일치하는 경우, 촬영 알림 신호를 출력하는 단계를 포함한다.
본 발명의 다양한 실시예는 전면 카메라를 이용하여 사용자가 선호하는 각도나 포즈를 등록한 것을 기초로, 사용자에게 후면 카메라를 통해 자신의 영상을 촬영할 수 있도록 유도 신호를 보내 손쉽게 고화질의 원하는 영상을 얻을 수 있도록 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 촬영 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 촬영 장치 및 그 방법을 설명하기 위한 흐름도이다.
도 3은 사용자가 영상 촬영 장치의 후면 카메라를 통해 자신의 얼굴을 촬영하는 과정을 설명하기 위한 도면이다.
도 4는 현재 프리뷰 화면에 표시된 사용자의 얼굴 구도가 기준 얼굴 구도와 일치하지 않는 경우, 유도 신호를 출력하는 과정을 설명하기 위한 도면이다.
도 5는 출력된 유도 신호에 따라 사용자가 자신의 얼굴 구도를 변경시키는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따라 프리뷰 화면에 표시된 사용자의 눈 영역 및 입 영역에 대한 에지를 통해 사용자의 표정을 추출하는 방법을 설명하기 위한 도면이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 촬영 장치(100)의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 영상 촬영 장치(100)는 카메라부(110), 디스플레이부(120), 저장부(130), 특징 추출부(140), 구도 추출부(150), 구도 비교부(160), 표정 추출부(170), 표정 비교부(180), 알람부(190) 및 제어부(195)를 포함할 수 있다.
본 발명의 실시 에에 따른 영상 촬영 장치(100)는 이동 단말기에 장착될 수 있고, 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
디스플레이부(120)는 영상 촬영 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 영상 촬영 장치(100)가 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시할 수 있다.
디스플레이부(120)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(120)(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(120)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
영상 촬영 장치(100)의 구현 형태에 따라 디스플레이부(120)는 2개 이상 존재할 수 있다. 예를 들어, 영상 촬영 장치(100)에는 복수의 디스플레이부(120)들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(120)와 터치 동작을 감지하는 센서(이하, 터치 센서라 함)가 상호 레이어 구조를 이루는 경우(이하, 터치 스크린이라 함)에, 디스플레이부(120)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
카메라부(110)는 전면 카메라(111) 및 후면 카메라(113)를 포함할 수 있다.
전면 카메라(111)는 영상 촬영 장치(100)의 전면에 장착되어 촬영 모드에서 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있고, 처리된 화상 프레임은 디스플레이부(120)를 통해 표시될 수 있다.
후면 카메라(113)는 영상 촬영 장치(100)의 후면에 장착되어 촬영 모드에서 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있고, 처리된 화상 프레임은 디스플레이부(120)를 통해 표시될 수 있다.
일반적으로 후면 카메라(113)는 전면 카메라(111)에 비해 화질이나 해상도가 더 좋을 수 있다.
저장부(130)에는 기준 얼굴 구도가 저장되어 있을 수 있고, 저장부(130)에 저장된 기준 얼굴 구도는 기준 얼굴 정보 즉, 기준 얼굴의 각도, 기준 얼굴의 방향 및 기준 얼굴의 면적에 대한 정보가 저장되어 있을 수 있다. 여기서, 영상 촬영 장치(100)와 사용자 얼굴 간의 거리가 멀어질수록 프리뷰 화면에 표시된 얼굴의 면적은 작아지고, 거리가 가까워질수록 프리뷰 화면에 표시된 얼굴의 면적은 커질 수 있기 때문에 기준 얼굴의 면적은 영상 촬영 장치(100)와 사용자 얼굴간 거리와 동일한 의미로 쓰일 수 있다.
저장부(130)에는 기준 얼굴 표정이 저장되어 있을 수 있고, 상기 기준 얼굴 표정은 기준 표정 정보 즉, 기준 눈 표정에 대한 정보, 기준 입 표정에 대한 정보가 저장되어 있을 수 있다.
일 실시 예에서 기준 얼굴 표정은 디스플레이부(120)의 프리뷰 화면에 표시된 사용자의 얼굴 표정을 사용자가 원하는 얼굴 표정으로 유도하기 위한 표정일 수 있고, 이는 사용자의 기호에 따라 달리 설정될 수 있다. 즉, 저장부(130)에는 기존에 사용자가 촬영했던 얼굴 표정 중 사용자가 설정한 기준 얼굴 표정이 저장되어 있을 수 있다.
저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
특징 추출부(140)는 디스플레이부(120)의 프리뷰 화면에 표시된 얼굴 영상으로부터 현재 사용자의 얼굴 특징을 추출할 수 있다.
일 실시 예에서 특징 추출부(140)는 프리뷰 화면에 표시된 사용자 얼굴의 눈, 사용자 얼굴의 코, 사용자 얼굴의 입, 사용자 얼굴의 귀를 이용하여 사용자의 얼굴 특징을 추출할 수 있다. 자세한 설명은 후술한다.
구도 추출부(150)는 특징 추출부(140)에서 추출된 얼굴 특징을 이용하여 프리뷰 화면에얼굴 표시된 사용자의 얼굴 구도를 추출할 수 있다.
일 실시 예에서 구도 추출부(150)는 기하 검증(Geometric Verification)을 이용하여 프리뷰 화면에 표시된 사용자의 얼굴 구도를 추출할 수 있다. 자세한 설명은 후술한다.
구도 비교부(160)는 추출된 사용자의 얼굴 구도와 저장부(130)에 저장된 기준 얼굴 구도가 일치하는지를 확인할 수 있다.
표정 추출부(170)는 추출된 얼굴 구도가 저장된 기준 얼굴 구도와 일치하는 것으로 확인된 경우, 프리뷰 화면에 표시된 사용자 얼굴의 표정을 추출할 수 있다. 자세한 설명은 후술한다.
표정 비교부(180)는 추출된 사용자의 표정과 저장부(130)에 저장된 기준 얼굴 표정이 일치하는지를 확인할 수 있다.
알람부(190)는 유도 신호 출력부 및 알림 신호 출력부를 포함할 수 있다.
알람부(190)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드, 촬영 모드 등에서 저장부(130)에 저장된 오디오 데이터를 출력할 수 있다. 알람부(190)는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등을 포함할 수 있다.
유도 신호 출력부는 상기 추출된 얼굴 구도가 기준 얼굴 구도와 일치하지 않지 않는 것으로 확인된 경우, 사용자로 하여금 사용자의 얼굴의 각도, 방향, 위치 등을 변경하도록 유도 하는 유도 신호를 출력할 수 있고, 추출된 사용자의 표정과 기준 얼굴 표정이 일치하지 않는 것으로 확인된 경우, 사용자로 하여금 사용자의 얼굴 표정을 기준 얼굴 표정에 일치하도록 유도하는 유도 신호를 출력할 수 있다. 자세한 설명은 후술한다.
알림 신호 출력부는 추출된 사용자의 표정과 기준 얼굴 표정이 일치하는 것으로 확인된 경우, 촬영 알림 신호를 출력할 수 있다.
제어부(195)는 영상 촬영 장치(100)의 전반적인 동작을 제어할 수 있다.
예를 들어 촬영, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.
도 2는 본 발명의 일 실시 예에 따른 영상 촬영 장치(100) 및 그 방법을 설명하기 위한 흐름도이다.
이하에서, 본 발명의 실시 예에 따른 영상 촬영 장치(100)의 영상 촬영 방법을 도 1의 내용에 결부시켜 설명한다.
영상 촬영 장치(100)의 디스플레이부(120)는 현재 사용자의 얼굴 영상을 디스플레이부(120)의 프리뷰화면에 표시한다(S101). 일 실시 예에서 디스플레이부(120)의 프리뷰 화면에 표시된 현재 사용자의 얼굴 영상은 후면 카메라(113)를 통해 입력된 영상일 수 있다.
그 후, 영상 촬영 장치(100)의 특징 추출부(140)는 프리뷰 화면에 표시된 얼굴 영상으로부터 현재 사용자의 얼굴 특징을 추출한다(S103). 일 실시 예에서 특징 추출부(140)는 프리뷰 화면에 표시된 사용자 얼굴의 눈, 사용자 얼굴의 코, 사용자 얼굴의 입, 사용자 얼굴의 귀를 이용하여 사용자의 얼굴 특징을 추출할 수 있다.
구체적으로. 특징 추출부(140)는 프리뷰 화면에 표시된 사용자 얼굴의 눈, 코, 입, 귀에 대한 윤곽선(에지, edge)을 아이겐페이스(Eigenface) 알고리즘을 통해 추출할 수 있다. 아이겐페이스 알고리즘은 복수의 아이겐 벡터(eigen vector)를 이용하여 고차원으로 표현된 이미지를 저차원으로 인식하여 얼굴을 쉽게 표현하는데 사용되는 알고리즘이다.
특징 추출부(140)는 아이겐페이스 알고리즘을 통해 눈, 코, 입 및 귀에 대한 윤곽선을 개별적으로 추출할 수 있고, 개별적으로 추출된 윤곽선을 통해 프리뷰 화면에 표시된 사용자의 얼굴에서 눈, 코, 입 및 귀가 위치하는 후보 영역을 추출할 수 있다.
일 실시 예에서 특징 추출부(140)는 프리뷰 화면에 표시된 사용자의 머리카락에 대한 영역을 더 추출할 수 있다. 즉, 특징 추출부(140)는 선형 서포트 백터 머신(Linear Support Vector Machine)을 통해 여러 종류의 머리카락 질감에 대한 표준 질감 모델(Standard Texture Model)을 구축하여, 사용자의 머리카락에 대한 영역을 추출할 수 있다. 선형 서포트 백터 머신(Linear Support Vector Machine)은 공지 기술이므로 자세한 설명은 생략한다.
그 후, 영상 촬영 장치(100)의 구도 추출부(150)는 특징 추출부(140)에서 추출된 얼굴 특징을 이용하여 얼굴 구도를 추출한다(S105). 단계 S105는 프리뷰 화면에 표시된 사용자의 얼굴 영역을 보다 정확히 검출하기 위한 단계이다. 구도 추출부(150)는 기하 검증(Geometric Verification)을 이용하여 프리뷰 화면에 표시된 사용자의 얼굴 구도를 검출할 수 있다. 기하 검증은 추출된 얼굴 특징 즉, 얼굴의 눈, 코, 입 및 귀에 대한 상대적인 위치를 이용하여 존재 가능한 얼굴 영역을 탐색하는 방법이다.
일 실시 예에서 사용자 얼굴의 구도는 영상 촬영 장치(100)와 프리뷰 화면에 표시된 사용자 얼굴의 각도, 얼굴의 방향 및 얼굴의 면적 등을 의미할 수 있다.
그 후, 구도 비교부(160)는 추출된 사용자의 얼굴 구도와 저장부(130)에 저장된 기준 얼굴 구도가 일치하는지를 확인한다(S107). 저장부(130)에는 기준 얼굴 구도가 저장되어 있을 수 있고, 저장부(130)에 저장된 기준 얼굴 구도는 기준 얼굴 정보 즉, 기준 얼굴의 각도, 기준 얼굴의 방향 및 기준 얼굴의 면적에 대한 정보가 저장되어 있을 수 있다. 여기서, 영상 촬영 장치(100)와 사용자 얼굴 간의 거리가 멀어질수록 프리뷰 화면에 표시된 얼굴의 면적은 작아지고, 거리가 가까워질수록 프리뷰 화면에 표시된 얼굴의 면적은 커질 수 있기 때문에 기준 얼굴의 면적은 영상 촬영 장치(100)와 사용자 얼굴간 거리와 동일한 의미로 쓰일 수 있다.
일 실시 예에서 기준 얼굴 구도는 디스플레이부(120)의 프리뷰 화면에 표시된 얼굴 영상을 사용자가 원하는 촬영 구도로 유도하기 위한 구도일 수 있고, 사용자의 기호에 따라 설정될 수 있다. 즉, 저장부(130)에는 기존에 사용자가 촬영했던 촬영 구도 중 사용자에 의해 설정된 기준 얼굴 구도가 저장되어 있다.
또한, 기준 얼굴 구도는 영상 촬영 장치(100)의 전면 카메라(111)를 통해 촬영된 영상에 기초하여 설정될 수 있다. 즉, 사용자가 원하는 촬영 구도는 사용자가 직접 눈으로 확인해야 얻어질 수 있으므로, 저장부(130)에 저장된 기준 얼굴 구도는 영상 촬영 장치(100)의 전면 카메라(111)를 통해 얻어짐이 바람직하다.
만약, 상기 추출된 얼굴 구도가 기준 얼굴 구도와 일치하지 않지 않는 것으로 확인된 경우, 유도 신호 출력부는 사용자로 하여금 사용자의 얼굴의 각도, 방향, 위치 등을 변경하도록 유도 하는 유도 신호를 출력한다(S109). 일 실시 예에서 유도 신호는 사용자의 청각을 활용하는 청각 유도 신호, 사용자의 촉각을 활용하는 촉각 유도 신호, 사용자의 시각을 활용하는 시각 유도 신호일 수 있고, 유도 신호 출력부는 추출된 얼굴 구도가 기준 얼굴 구도와 일치하지 않는 경우, 상기 청각 유도 신호, 상기 촉각 유도 신호 및 상기 시각 유도 신호를 적어도 하나 이상을 출력할 수 있다. 이에 대해서는, 도 3 내지 도 5를 참조하여 설명한다.
도 3은 사용자가 영상 촬영 장치(100)의 후면 카메라(113)를 통해 자신의 얼굴을 촬영하는 과정을 설명하기 위한 도면이고, 도 4는 현재 프리뷰 화면에 표시된 사용자의 얼굴 구도가 기준 얼굴 구도와 일치하지 않는 경우, 유도 신호를 출력하는 과정을 설명하기 위한 도면이고, 도 5는 출력된 유도 신호에 따라 사용자가 자신의 얼굴 구도를 변경시키는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 사용자는 영상 촬영 장치(100)를 통해 자신의 얼굴을 촬영하기 위해 특정한 얼굴 구도를 준비하고 있고, 영상 촬영 장치(100)의 프리뷰 화면에는 특정 얼굴 구도를 가진 사용자가 표시되어 있다. 특히, 여기서 사용자는 영상 촬영 장치(100)의 후면 카메라(113)를 통해 자신의 얼굴을 촬영하는 것을 가정한다. 따라서, 사용자는 현 상태에서 영상 촬영 장치(100)의 프리뷰 화면을 확인할 수는 없다.
이 상태에서, 사용자의 현재 얼굴 구도와 저장된 기준 얼굴 구도와 일치하지 않는 경우, 도 4에 도시된 바와 같이, 유도 신호 출력부는 사용자의 얼굴 구도를 변경시키도록 하는 청각 유도 신호 및 촉각 유도 신호를 출력할 수 있다. 예를 들어, 유도 신호 출력부는 사용자의 얼굴 각도를 우측 방향으로 변경시키도록 하는 청각 유도 신호 및 촉각 유도 신호를 출력할 수 있다. 일 실시 예에서 촉각 유도 신호는 영상 촬영 장치(100)와의 접촉한 사용자의 손가락 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 하는 진동 신호일 수 있으나, 이는 예시에 불과하다.
도 5를 참조하면, 유도 신호 출력부의 청각 유도 신호 및 촉각 유도 신호에 의해 사용자는 자신의 얼굴 구도를 기준 얼굴 구도에 맞게 변경시킨 과정이 도시되어 있다. 사용자는 유도 신호 출력부에서 출력된 유도 신호를 통해 현재 얼굴의 구도가 기준 얼굴 구도와 일치하지 않음을 확인할 수 있고, 기준 얼굴 구도에 현재 얼굴 구도를 일치시키도록 얼굴의 구도를 변경시켜 원하는 촬영 구도로 촬영을 준비할 수 있다.
다시 도 2를 설명한다.
한편, 상기 추출된 얼굴 구도가 저장된 기준 얼굴 구도와 일치하는 것으로 확인된 경우, 영상 촬영 장치(100)의 표정 추출부(170)는 프리뷰 화면에 표시된 사용자 얼굴의 표정을 추출한다(S111).
일 실시 예에서 표정 추출부(170)는 프리뷰 화면에 표시된 사용자의 눈 영역과 입 영역에 대한 윤곽선(에지, edge)를 추출하여 사용자의 표정을 추출할 수 있다. 구체적으로, 표정 추출부(170)는 추출된 눈 영역과 입 영역에 대한 에지를 통해 폐곡선을 추출하고, 추출된 폐곡선을 이용하여 사용자의 표정을 검출할 수 있다. 더 구체적으로, 상기 추출된 폐곡선은 타원일 수 있으며, 페곡선이 타원임을 가정한 경우, 표정 추출부(170)는 타원의 기준점, 장축의 길이 및 단축의 길이를 이용하여 사용자의 표정을 검출할 수 있다. 이에 대해서는 도 6을 참조하여 설명한다.
도 6은 본 발명의 실시 예에 따라 프리뷰 화면에 표시된 사용자의 눈 영역 및 입 영역에 대한 에지를 통해 사용자의 표정을 추출하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 사용자의 눈 영역의 윤곽선(A) 및 눈 영역의 윤곽선에 대한 제1 폐곡선(B) 및 사용자의 입 영역의 윤곽선(C) 및 입 영역의 윤곽선에 대한 제2 폐곡선(D)이 도시되어 있다. 일반적으로, 사용자의 표정은 눈 및 입에 의해 표현될 수 있으므로, 본 발명의 실시 예에서는 사용자의 눈 영역 및 입 영역의 윤곽선을 이용하여 사용자의 표정을 추출함을 가정하고, 제1 폐곡선(B) 및 제2 폐곡선(D)은 타원임을 가정한다.
제1 폐곡선(B)의 장축 길이는 a이고, 단축 길이는 b, 제2 폐곡선(D)의 장축 길이는 c, 단축 길이는 d라 한다. 제1 폐곡선(B) 및 제2 폐곡선(D)의 장축 길이 및 단축 길이는 사용자의 표정에 따라 달라질 수 있다. 예를 들어, 사용자가 웃는 표정을 짓는 경우에는 일반적으로 제1 폐곡선(B)의 장축 길이(a) 및 제2 폐곡선(D)의 장축 길이(c)는 길어질 수 있고, 제1 폐곡선(B)의 단축 길이(b) 및 제2 폐곡선(D)의 장축 길이(d)는 짧아질 수 있다.
표정 추출부(170)는 각 폐곡선의 장축 길이 및 단축 길이의 상대적인 비율을 비교하여 사용자의 표정을 추출할 수 있다. 즉, 표정 추출부(170)는 각 폐곡선의 장축 길이 및 단축 길이의 상대적인 비율을 비교하여, 사용자의 눈이 얼마큼 떠져 있는지, 사용자의 입이 얼마큼 열려있는지를 확인할 수 있고, 확인된 결과를 통해 사용자의 표정을 추출할 수 있다.
일 실시 예에서 표정 추출부(170)는 추출된 눈 영역의 제1 폐곡선 및 추출된 입 영역의 제2 폐곡선을 이용하여 사용자의 표정을 추출할 수 있으나, 이에 한정될 필요는 없고, 눈 영역의 제1 폐곡선만을 또는 입 영역의 제2 폐곡선만을 이용하여 사용자의 표정을 추출할 수도 있다.
다시 도 2를 설명한다.
영상 촬영 장치(100)의 표정 비교부(180)는 추출된 사용자의 표정과 저장부(130)에 저장된 기준 얼굴 표정이 일치하는지를 확인한다(S113). 저장부(130)에는 기준 얼굴 표정이 저장되어 있을 수 있고, 상기 기준 얼굴 표정은 기준 표정 정보 즉, 기준 눈의 표정에 대한 정보, 기준 입의 표정에 대한 정보가 저장되어 있을 수 있다.
일 실시 예에서 기준 얼굴 표정은 디스플레이부(120)의 프리뷰 화면에 표시된 사용자의 얼굴 표정을 사용자가 원하는 얼굴 표정으로 유도하기 위한 표정일 수 있고, 이는 사용자의 기호에 따라 달리 설정될 수 있다. 즉, 저장부(130)에는 기존에 사용자가 촬영했던 얼굴 표정 중 사용자가 설정한 기준 얼굴 표정이 저장되어 있을 수 있다.
만약, 추출된 사용자의 표정과 기준 얼굴 표정이 일치하지 않는 것으로 확인된 경우, 유도 신호 출력부(191)는 유도 신호를 출력한다(S115).
이 때, 출력되는 유도 신호는 추출된 사용자의 얼굴 표정이 기준 얼굴 표정과 일치하지 않는 경우에 발생될 수 있는 신호로, 유도 신호 출력부는 사용자의 청각을 활용하는 청각 유도 신호, 사용자의 촉각을 활용하는 촉각 유도 신호, 사용자의 시각을 활용하는 시각 유도 신호 중 적어도 하나 이상을 출력하여 사용자로 하여금 사용자의 얼굴 표정을 기준 얼굴 표정에 일치하도록 유도할 수 있다.
한편, 추출된 사용자의 표정과 기준 얼굴 표정이 일치하는 것으로 확인된 경우, 영상 촬영 장치(100)의 알림 신호 출력부는 촬영 알림 신호를 출력한다(S117). 일 실시 예에서 촬영 알림 신호는 프리뷰 화면에 표시된 사용자의 영상의 얼굴 구도가 기준 얼굴 구도와 일치하고, 얼굴 표정이 기준 얼굴 표정과 일치한 경우에 출력되는 신호로 사용자에게 촬영이 임박했음을 알리는 신호일 수 있다. 촬영 알림 신호는 사용자의 청각, 촉각, 시각 중 적어도 어느 하나를 활용하는 신호일 수 있다.
영상 촬영 장치(100)의 제어부(195)는 촬영 알림 신호가 출력된 후, 1초가 경과했는지를 확인하고(S119), 1초가 경과된 경우, 자동으로 프리뷰 화면에 표시된 사용자의 영상을 촬영한다(S121). 일 실시 예에서 영상 촬영 장치(100)는 후면 카메라(113)를 통해 사용자의 영상을 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 전면 카메라 및 후면 카메라를 통해 영상을 촬영하는 영상 촬영 장치에 있어서,
    디스플레이부;
    상기 후면 카메라를 통해 상기 디스플레이부의 프리뷰 화면에 표시된 사용자의 얼굴 영상으로부터 얼굴 특징을 추출하는 특징 추출부;
    상기 추출된 얼굴 특징을 이용하여 상기 사용자의 얼굴 구도를 추출하는 구도 추출부;
    상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는 경우, 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 표정을 추출하는 표정 추출부; 및
    상기 추출된 사용자의 표정이 기준 얼굴 표정과 일치하는 경우, 촬영 알림 신호를 출력하는 알람부를 포함하는
    영상 촬영 장치.
  2. 제1항에 있어서,
    상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는지 확인하는 구도 비교부를 더 포함하는
    영상 촬영 장치.
  3. 제2항에 있어서,
    상기 알람부는
    상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하지 않는 경우, 사용자의 얼굴 구도를 상기 기준 얼굴 구도에 일치하도록 사용자의 움직임을 유도하는 유도 신호를 출력하는 유도 신호 출력부를 포함하는
    영상 촬영 장치.
  4. 제1항에 있어서,
    상기 추출된 사용자의 표정과 상기 기준 얼굴 표정이 일치하는지 확인하는 표정 비교부를 더 포함하는
    영상 촬영 장치.
  5. 제4항에 있어서,
    상기 알람부는
    상기 추출된 표정이 상기 기준 얼굴 표정과 일치하지 않는 경우, 사용자의 표정을 상기 기준 얼굴 표정에 일치하도록 사용자의 표정을 유도하는 유도 신호를 출력하는 유도 신호 출력부를 포함하는
    영상 촬영 장치.
  6. 제3항 또는 제5항 중 어느 한 항에 있어서,
    상기 유도 신호는 청각 유도 신호, 촉각 유도 신호 중 적어도 어느 하나를 포함하는
    영상 촬영 장치.
  7. 제1항에 있어서,
    상기 특징 추출부는
    아이겐페이스(Eigenface) 알고리즘을 이용하여 상기 얼굴 특징을 추출하는
    영상 촬영 장치.
  8. 제7항에 있어서,
    상기 특징 추출부는
    상기 표시된 사용자의 눈, 코, 입, 귀, 머리카락의 영역에 대한 윤곽선을 추출하여 상기 얼굴 특징을 추출하는
    영상 촬영 장치.
  9. 제2항에 있어서,
    상기 구도 추출부는
    기하 검증을 통해 상기 사용자의 얼굴 구도를 추출하고,
    상기 사용자의 얼굴 구도는 상기 사용자의 얼굴 각도, 위치, 방향에 대한 구도를 포함하는
    영상 촬영 장치.
  10. 제1항에 있어서,
    상기 기준 얼굴 구도 및 상기 기준 얼굴 표정을 저장하는 저장부를 더 포함하고,
    상기 기준 얼굴 구도 및 상기 기준 얼굴 표정은 상기 전면 카메라를 통해 촬영된 영상에 기초한 것을 특징으로 하는
    영상 촬영 장치.
  11. 전면 카메라 및 후면 카메라를 통해 영상을 촬영하는 영상 촬영 장치의 영상 촬영 방법에 있어서,
    상기 후면 카메라를 통해 디스플레이부의 프리뷰 화면에 사용자의 얼굴 영상을 표시하는 단계;
    상기 표시된 사용자의 얼굴 영상으로부터 얼굴 특징을 추출하는 단계;
    상기 추출된 얼굴 특징을 이용하여 상기 사용자의 얼굴 구도를 추출하는 단계;
    상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는 경우, 상기 추출된 얼굴 특징을 이용하여 상기 사용자의 표정을 추출하는 단계; 및
    상기 추출된 사용자의 표정이 기준 얼굴 표정과 일치하는 경우, 촬영 알림 신호를 출력하는 단계를 포함하는
    영상 촬영 방법.
  12. 제11항에 있어서,
    상기 추출된 얼굴 구도가 상기 기준 얼굴 구도와 일치하는지 않는 경우, 사용자의 얼굴 구도를 상기 기준 얼굴 구도에 일치하도록 사용자의 움직임을 유도하는 유도 신호를 출력하는 단계를 더 포함하는
    영상 촬영 방법.
  13. 제11항에 있어서,
    상기 추출된 표정이 상기 기준 얼굴 표정과 일치하지 않는 경우, 사용자의 표정을 상기 기준 얼굴 표정에 일치하도록 사용자의 표정을 유도하는 유도 신호를 출력하는 단계를 더 포함하는
    영상 촬영 방법.
  14. 제12항 또는 제13항 중 어느 한 항에 있어서,
    상기 유도 신호를 출력하는 단계는
    청각 유도 신호, 촉각 유도 신호 중 적어도 어느 하나를 출력하는 단계를 포함하는
    영상 촬영 방법.
  15. 제11항에 있어서,
    상기 얼굴 특징을 추출하는 단계는
    아이겐페이스(Eigenface) 알고리즘을 이용하여 상기 표시된 사용자의 눈, 코, 입, 귀, 머리카락의 영역에 대한 윤곽선의 통해 상기 얼굴 특징을 추출하는 단계를 포함하는
    영상 촬영 방법.
  16. 제11항에 있어서,
    상기 얼굴 구도를 추출하는 단계는
    기하 검증을 통해 상기 사용자의 얼굴 구도를 추출하는 단계를 포함하고,
    상기 사용자의 얼굴 구도는 상기 사용자의 얼굴 각도, 위치, 방향에 대한 구도를 포함하는
    영상 촬영 방법.
  17. 제11항에 있어서,
    상기 촬영 알림 신호를 출력한 후, 일정 시간이 경과하면, 자동으로 상기 디스플레이부의 프리뷰 화면에 표시된 사용자의 얼굴 영상을 촬영하는 단계를 더 포함하는
    영상 촬영 장치.
  18. 제11항에 있어서,
    상기 전면 카메라를 통해 상기 기준 얼굴 구도 및 상기 기준 얼굴 표정을 획득하는 단계; 및
    상기 획득된 기준 얼굴 구도 및 기준 얼굴 표정을 저장하는 단계를 포함하는
    영상 촬영 방법.
  19. 제18항에 있어서,
    상기 저장하는 단계는
  20. 제11항에 기재된 영상 촬영 방법을 수행하기 위한 프로그램이 기록된 기록매체.
PCT/KR2012/010413 2012-12-04 2012-12-04 영상 촬영 장치 및 그 방법 WO2014088125A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/649,645 US9503632B2 (en) 2012-12-04 2012-12-04 Guidance based image photographing device and method thereof for high definition imaging
PCT/KR2012/010413 WO2014088125A1 (ko) 2012-12-04 2012-12-04 영상 촬영 장치 및 그 방법
KR1020157009655A KR101671137B1 (ko) 2012-12-04 2012-12-04 영상 촬영 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2012/010413 WO2014088125A1 (ko) 2012-12-04 2012-12-04 영상 촬영 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2014088125A1 true WO2014088125A1 (ko) 2014-06-12

Family

ID=50883532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010413 WO2014088125A1 (ko) 2012-12-04 2012-12-04 영상 촬영 장치 및 그 방법

Country Status (3)

Country Link
US (1) US9503632B2 (ko)
KR (1) KR101671137B1 (ko)
WO (1) WO2014088125A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981169A (zh) * 2017-04-10 2017-07-25 南京大学 一种低头族骑车安全监测与警告方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039355A (ko) * 2013-10-02 2015-04-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
CN106210526A (zh) * 2016-07-29 2016-12-07 维沃移动通信有限公司 一种拍摄方法及移动终端
KR102289837B1 (ko) * 2017-01-06 2021-08-17 삼성전자주식회사 촬영 방법 및 전자 장치
US10194078B2 (en) * 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
WO2023181808A1 (ja) * 2022-03-23 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060027481A (ko) * 2004-09-23 2006-03-28 전자부품연구원 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법
KR20060068242A (ko) * 2004-12-16 2006-06-21 주식회사 팬택 접이식 보조 디스플레이를 구비한 이동통신 단말기
US20090169108A1 (en) * 2007-12-27 2009-07-02 Chi Mei Communication Systems, Inc. System and method for recognizing smiling faces captured by a mobile electronic device
KR20110123630A (ko) * 2010-05-07 2011-11-15 김제민 셀프 카메라 기능 부여용 핸드폰 거치대
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
EP1650711B1 (en) * 2003-07-18 2015-03-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP2005266984A (ja) * 2004-03-17 2005-09-29 Konica Minolta Holdings Inc 画像処理システム
US7454039B2 (en) * 2004-07-12 2008-11-18 The Board Of Trustees Of The University Of Illinois Method of performing shape localization
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7627149B2 (en) * 2005-11-25 2009-12-01 Quantum Signal, Llc Dot templates for object detection in images
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US7715598B2 (en) * 2006-07-25 2010-05-11 Arsoft, Inc. Method for detecting facial expressions of a portrait photo by an image capturing electronic device
JP4789825B2 (ja) * 2007-02-20 2011-10-12 キヤノン株式会社 撮像装置及びその制御方法
US7995106B2 (en) 2007-03-05 2011-08-09 Fujifilm Corporation Imaging apparatus with human extraction and voice analysis and control method thereof
KR20080089839A (ko) 2007-04-02 2008-10-08 삼성테크윈 주식회사 영상 촬영 장치 및 방법
KR100840023B1 (ko) * 2007-11-13 2008-06-20 (주)올라웍스 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
KR20090101733A (ko) 2008-03-24 2009-09-29 삼성전자주식회사 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
JP4914398B2 (ja) * 2008-04-09 2012-04-11 キヤノン株式会社 表情認識装置、撮像装置、方法及びプログラム
KR20100027700A (ko) 2008-09-03 2010-03-11 삼성디지털이미징 주식회사 촬영 방법 및 장치
JP5208711B2 (ja) * 2008-12-17 2013-06-12 アイシン精機株式会社 眼開閉判別装置及びプログラム
US20100179874A1 (en) * 2009-01-13 2010-07-15 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons and brands
TW201039251A (en) * 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
KR101626157B1 (ko) * 2009-06-05 2016-06-13 삼성전자주식회사 화상통화시 음성 신호의 출력 레벨 제어 방법 및 장치
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP5385032B2 (ja) * 2009-07-08 2014-01-08 ソニーモバイルコミュニケーションズ株式会社 撮影装置および撮影制御方法
KR101615290B1 (ko) * 2009-08-26 2016-04-26 삼성전자주식회사 촬영 방법 및 시스템
KR101170339B1 (ko) 2010-03-11 2012-08-01 에스케이플래닛 주식회사 표정 인식을 이용한 이상상황 관리 시스템 및 방법, 그 단말 및 원격감시장치
JP2011197999A (ja) 2010-03-19 2011-10-06 Casio Computer Co Ltd 画像処理装置及び画像処理方法
US20150186912A1 (en) * 2010-06-07 2015-07-02 Affectiva, Inc. Analysis in response to mental state expression requests
JP2012010162A (ja) * 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
US8593534B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Auto-triggered camera self-timer based on recognition of subject's presence in scene
EP2616993A4 (en) * 2010-09-13 2017-04-19 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
EP2697775A4 (en) * 2011-04-11 2015-03-04 Intel Corp METHOD FOR DETECTING FACE FEATURES
JP5913940B2 (ja) * 2011-12-01 2016-05-11 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
TW201337641A (zh) * 2012-03-15 2013-09-16 Fih Hong Kong Ltd 自拍提示系統及方法
US9106821B1 (en) * 2013-03-13 2015-08-11 Amazon Technologies, Inc. Cues for capturing images
KR102037417B1 (ko) * 2013-08-13 2019-10-28 삼성전자주식회사 홍채 영상 촬영 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 홍채 영상 촬영 장치
US9639742B2 (en) * 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
KR102031874B1 (ko) * 2014-06-10 2019-11-27 삼성전자주식회사 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
US9444999B2 (en) * 2014-08-05 2016-09-13 Omnivision Technologies, Inc. Feature detection in image capture
US9848121B2 (en) * 2014-10-09 2017-12-19 Lenovo (Singapore) Pte. Ltd. Method and device to obtain an image aligned with a reference image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060027481A (ko) * 2004-09-23 2006-03-28 전자부품연구원 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법
KR20060068242A (ko) * 2004-12-16 2006-06-21 주식회사 팬택 접이식 보조 디스플레이를 구비한 이동통신 단말기
US20090169108A1 (en) * 2007-12-27 2009-07-02 Chi Mei Communication Systems, Inc. System and method for recognizing smiling faces captured by a mobile electronic device
KR20110123630A (ko) * 2010-05-07 2011-11-15 김제민 셀프 카메라 기능 부여용 핸드폰 거치대
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981169A (zh) * 2017-04-10 2017-07-25 南京大学 一种低头族骑车安全监测与警告方法
CN106981169B (zh) * 2017-04-10 2019-01-11 南京大学 一种低头族骑车安全监测与警告方法

Also Published As

Publication number Publication date
KR20150073174A (ko) 2015-06-30
KR101671137B1 (ko) 2016-10-31
US20150304549A1 (en) 2015-10-22
US9503632B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
CN109034102B (zh) 人脸活体检测方法、装置、设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
WO2017181769A1 (zh) 一种人脸识别方法、装置和系统、设备、存储介质
KR101317047B1 (ko) 얼굴표정을 이용한 감정인식 장치 및 그 제어방법
WO2011081379A2 (en) Display device and control method thereof
CN109684980B (zh) 自动阅卷方法及装置
TWI706270B (zh) 身分識別方法、裝置和電腦可讀儲存媒體
CN110287671B (zh) 验证方法及装置、电子设备和存储介质
WO2018124633A1 (ko) 전자 장치 및 그의 메시지 전달 방법
WO2020171621A1 (en) Method of controlling display of avatar and electronic device therefor
US20220309836A1 (en) Ai-based face recognition method and apparatus, device, and medium
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN112434546A (zh) 人脸活体检测方法及装置、设备、存储介质
CN109977846B (zh) 一种基于近红外单目摄像的活体检测方法及系统
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
CN109145878B (zh) 图像提取方法及装置
WO2013125915A1 (en) Method and apparatus for processing information of image including a face
WO2021227426A1 (zh) 确定性能参数的方法及装置、设备、存储介质和程序产品
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
CN105427228A (zh) 照片水印处理方法及装置
CN109151327A (zh) 一种图像处理方法及终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12889566

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157009655

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14649645

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12889566

Country of ref document: EP

Kind code of ref document: A1