KR101983288B1 - 카메라 촬영 제어장치 및 방법 - Google Patents

카메라 촬영 제어장치 및 방법 Download PDF

Info

Publication number
KR101983288B1
KR101983288B1 KR1020120132737A KR20120132737A KR101983288B1 KR 101983288 B1 KR101983288 B1 KR 101983288B1 KR 1020120132737 A KR1020120132737 A KR 1020120132737A KR 20120132737 A KR20120132737 A KR 20120132737A KR 101983288 B1 KR101983288 B1 KR 101983288B1
Authority
KR
South Korea
Prior art keywords
image
camera
user
face
portable terminal
Prior art date
Application number
KR1020120132737A
Other languages
English (en)
Other versions
KR20140065817A (ko
Inventor
강지영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120132737A priority Critical patent/KR101983288B1/ko
Priority to US14/086,644 priority patent/US9621812B2/en
Publication of KR20140065817A publication Critical patent/KR20140065817A/ko
Application granted granted Critical
Publication of KR101983288B1 publication Critical patent/KR101983288B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Abstract

휴대단말기가 휴대단말기의 후면에 장착되어 제1이미지를 생성하는 제1카메라와, 휴대단말기의 전면에 장착되어 제2이미지를 생성하는 제2카메라와, 제1이미지를 표시하는 표시부와, 카메라 촬영시 제1 및 제2카메라를 구동하며, 제2이미지에서 촬영자 얼굴이 검출되지 않고 촬영된 제1이미지가 이전 이미지와 비교하여 차이가 감지되면 촬영영역을 벗어났음을 경보하는 제어부로 구성된다.

Description

카메라 촬영 제어장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING A SHOOTING STATUS IN A PORTABLE DEVICE HAVING A DUAL CAMERA}
본 발명은 카메라를 구비하는 휴대단말기의 촬영 제어장치 및 방법에 관한 것으로, 특히 듀얼 카메라를 구비하는 휴대단말기의 촬영 제어장치 및 방법에 관한 것이다.
현재 휴대단말기는 전면 및 후면에 각각 카메라가 장착되는 듀얼 카메라를 가지고 있다. 그리고 사용자는 전면 혹은 후면 카메라 중의 한 카메라를 선택하여 영상을 촬영하게 되며, 휴대단말기의 표시부를 보면서 촬영되는 영상을 확인할 수 있다. 영상 촬영시, 사용자의 시선은 언제나 뷰 파인더(view finder) 또는 표시부(촬영되는 영상을 표시)에 고정되어 있어야 하며, 시선이 뷰 파인더 또는 표시부를 벗어나는 경우 원치않는 영상을 촬영할 수 있다. 따라서 영상을 촬영할 때 사용자는 focus하고자 하는 영역에 대해 사용자가 영상을 처음부터 끝까지 지켜보면서 촬영을 제어해야 한다. 이는 사용자가 촬영되는 영상을 확인하지 않는 경우, 사용자의 의도하지 않은 동작에 의해 포커싱 위치가 변동되어 사용자가 의도한대로 영상을 촬영할 수 없기 때문이다.
또한 후면 카메라를 이용하여 영상을 촬영하는 경우, 사용자는 화각을 변경하기 위하여 버튼 또는 렌즈 등의 조작을 하여 원하는 화각을 설정하여야 한다.
본 발명은 전면 및 후면 카메라를 구비하는 휴대단말기에서 후면 카메라의 촬영되는 이미지를 효율적으로 제어하는 장치 및 방법에 관한 것이다.
본 발명은 전면 카메라를 통해 사용자의 촬영상태를 감지하고, 촬영상태 변경시 후면 카메라로부터 촬영되는 이미지를 분석하여 촬영조건이 변경되면 이를 경보 및/또는 화각을 변경하여 촬영하는 방법을 제안한다.
또한 본 발명은 전면 카메라를 통해 사용자의 촬영상태를 감지하고, 촬영상태가 변경되면 후면 카메라로부터 촬영되는 이미지의 화각을 변경하여 촬영하는 방법을 제안한다.
본 발명의 제1실시예에 따른 휴대단말기의 촬영장치는, 상기 휴대단말기의 후면에 장착되어 제1이미지를 생성하는 제1카메라와, 상기 휴대단말기의 전면에 장착되어 제2이미지를 생성하는 제2카메라와, 상기 제1이미지를 표시하는 표시부와, 카메라 촬영시 상기 제1 및 제2카메라를 구동하며, 상기 제2이미지에서 촬영자 얼굴이 검출되지 않고 촬영된 상기 제1이미지가 이전 이미지와 비교하여 차이가 감지되면 촬영영역을 벗어났음을 경보하는 제어부로 구성된 것을 특징으로 한다.
그리고 본 발명의 제2실시예에 따른 휴대단말기의 촬영장치는, 상기 휴대단말기의 후면에 장착되어 제1이미지를 생성하는 제1카메라와, 상기 휴대단말기의 전면에 장착되어 제2이미지를 생성하는 제2카메라와, 상기 제1이미지를 표시하는 표시부와, 카메라 촬영시 제2이미지에서 촬영자의 얼굴크기를 및 제1이미지의 화각을 버퍼링하고, 상기 제2이미지의 촬영자 얼굴크기 변화시 변화 값에 따라 상기 제2이미지의 화각을 변경 제어하는 제어부로 구성된 것을 특징으로 한다.
또한 본 발명의 제1실시예에 따른 휴대단말기는 상기 휴대단말기의 후면에 장착되어 제1이미지를 생성하는 제1카메라 및 상기 휴대단말기의 전면에 장착되어 제2이미지를 생성하는 제2카메라를 구비하며, 상기 휴대단말기의 촬영제어방법은, 카메라 촬영시 상기 제1 및 제2카메라를 구동하는 과정과, 상기 제2카메라로부터 생성되는 상기 제2이미지에서 촬영자 얼굴을 검출하는 과정과, 상기 검출과정에서 촬영자 얼굴이 검출되지 않고 촬영된 상기 제1이미지가 이전의 제1이미지와 설정된 크기 이상 변경되면 촬영영역을 벗어났음을 경보하는 과정으로 이루어짐을 특징으로 한다.
그리고 본 발명의 제2실시예에 따른 휴대단말기는 휴대단말기의 후면에 장착되어 제1이미지를 생성하는 제1카메라 및 상기 휴대단말기의 전면에 장착되어 제2이미지를 생성하는 제2카메라를 구비하며, 상기 휴대단말기의 촬영제어방법은, 카메라 촬영시 상기 제1 및 제2카메라를 구동하는 과정과, 상기 제2카메라로부터 생성되는 상기 제2이미지에서 촬영자 얼굴을 검출하는 과정과, 상기 제2이미지에서 검출되는 촬영자 얼굴크기가 변화되면 변화 값에 따라 상기 제2이미지의 화각을 변경하는 과정으로 이루어짐을 특징으로 하는 방법.
본 발명은 양면 카메라를 구비하는 휴대단말기의 촬영장치 및 방법에 관한 것으로, 휴대단말기는 전면 카메라로 촬영되는 촬영자의 상태를 분석하여 촬영 조건의 변경 여부를 확인할 수 있으며, 상기 촬영자의 촬영 상태가 변경되면 휴대단말기는 후면 카메라로부터 촬영되는 이미지의 상태를 확인하여 의도하지 않은 영상이 촬영되는 경우에는 이를 경보할 수 있다. 또한 상기와 같이 의도하지 않은 영상이 촬영되는 경우, 휴대단말기는 촬영조건의 변경 가능 여부를 판단하며 촬영조건의 변경이 가능한 경우에는 촬영 조건을 자동으로 변경하여 촬영을 계속 수행할 수 있다. 예를들면 촬영자가 의도를 가지고 촬영하고자 하는 고정된 영역의 영상 촬영을 진행할 때, 촬영될 대상을 view finder 또는 표시부를 통해서 확인하지 않고 촬영 대상(실물)을 직접 보면서도 영역을 벗어나지 않도록 녹화할 수 있으며, 촬영 영역을 벗어나는 경우에는 이를 경보하여 촬영자가 원하는 촬영영역으로 재설정할 수 있는 기능을 제공함으로써 영상 촬영 시의 사용 편의성을 향상시킬 수 있다.
또한 본 발명의 휴대단말기는 전면 카메라로 촬영되는 촬영자의 이미지를 분석하여 촬영자와 휴대단말기의 거리를 확인하고 확인된 거리에 따라 후면 카메라로부터 촬영되는 이미지의 화각을 자동으로 조절할 수 있다. 따라서 휴대단말기는 휴대단말기와 촬영자 간의 거리를 자동으로 확인하여 촬영되는 영상의 줌인 또는 줌아웃을 자동으로 실행할 수 있으며, 이로인해 촬영자가 촬영 중에 화각을 설정하기 위해 번거로운 버튼 또는 렌즈 조작을 하지 않아도 되는 이점이 있다.
따라서 본 발명의 휴대단말기는 촬영자가 전후면 카메라 동시 사용이라는 새로운 경험을 함과 동시에 영상 촬영을 안정적이면서도 손쉽게 할 수 있도록 지원할 수 있는 이점을 가진다.
도 1은 본 발명의 실시예에 따른 휴대단말기의 구성을 도시하는 도면
도 2는 본 발명의 제1실시예에 따른 휴대단말기의 카메라 촬영 제어 절차를 도시하는 흐름도
도 3은 도 2에서 얼굴인식 실패시 후면 카메라의 촬영을 제어하는 절차를 도시하는 흐름도
도 4a - 도 4b는 도 2 및 도 3과 같은 절차로 촬영하는 이미지의 표시 예를 설명하기 위한 도면
도 5는 본 발명의 제2실시예에 따른 휴대단말기에서 사용자와 단말기의 거리에 따라 카메라의 촬영 조건을 변경하는 절차를 도시하는 흐름도
도 6은 상기 도 5와 같은 동작을 수행하는 상태를 설명하기 위한 도면
도 7은 휴대단말기에서 본 발명의 제3실시예에 따라 카메라의 촬영을 제어하는 절차를 도시하는 흐름도
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
본 발명은 휴대단말기는 전면 및 후면에 장착되는 카메라들을 구비하는 휴대단말기의 촬영제어장치 및 방법에 관한 것으로, 영상 촬영시 전면 및 후면 카메라를 사용하여 단방향적인 사용 방식과 구분되는 전/후면 카메라 동시 실행 방법을 제공하며, 이로인해 사용자의 usability를 향상시킬 수 있다.
이를 위하여 본 발명의 실시예는 휴대단말기는 전면 카메라로 촬영되는 사용자의 상태를 분석하여 촬영 조건의 변경 여부를 확인할 수 있으며, 상기 사용자의 촬영 상태가 변경되면 휴대단말기는 후면 카메라로부터 촬영되는 이미지의 상태를 확인하여 의도하지 않은 영상이 촬영되는 경우에는 경보하거나 촬영조건을 변경하여 촬영한다. 여기서 상기 사용자의 촬영상태를 확인하는 방법은 전면 카메라로부터 촬영되는 사용자의 얼굴을 인식(face detection)하여 사용자가 표시부 또는 뷰파인더를 보고 있는 상태인지를 아닌지를 판단하는 방법이 될 수 있다. 즉, 사용자가 후면 카메라를 통해 이미지를 촬영하는 상태에서 뷰파인더 또는 표시부로 향하던 시선을 피사체의 촬영 영역으로 변경하는 경우, 사용자의 움직임에 의해 촬영되는 이미지가 원래 사용자가 의도한 촬영영역의 이미자와 다르게 변경될 수 있다. 여기서 사용자는 촬영자를 의미하며, 이하의 설명에서 촬영자 및 사용자는 같은 의미의 용어로 사용될 것이다.
본 발명의 실시예에 따른 휴대단말기는 사용자의 촬영 상태가 변경되는 경우, 후면 카메라로부터 촬영되는 영상을 분석하며, 의도하지 않은 영상이 촬영되는 경우 이를 경보하며, 또한 촬영조건의 변경이 가능하면 촬영 조건을 변경하여 촬영한다. 예를들면 사용자가 view finder 또는 표시부를 통해서 확인하지 않고 촬영 대상(실물)을 직접 보면서 촬영하는 상태로 감지되면, 휴대단말기는 이전에 촬영된 후면 카메라의 이미지와 촬영되는 후면 카메라의 이미지를 비교하여 두 이미지의 차이가 설정된 차이 값을 벗어나면 촬영 영역을 벗어났음을 자동으로 경보할 수 있다. 이는 사용자가 촬영중인 상태에서 움직임이 발생되어 의도한 촬영영역의 이미지를 촬영하고 있지 못함을 경보하기 위함이다. 그리고 상기와 같은 상태에서 휴대단말기는 촬영조건의 변경(예를들어 화각의 변경)이 가능한 경우에는 경보와 동시에 의도한 영역의 이미지를 촬영할 수 있는 화각으로 자동변경하여 촬영할 수도 있다.
또한 본 발명의 휴대단말기는 전면 카메라로 촬영되는 사용자의 이미지를 분석하여 사용자와 휴대단말기의 거리를 확인하고 확인된 거리에 따라 후면 카메라로부터 촬영되는 이미지의 화각을 자동으로 조절할 수 있다. 예를들어 후면 카메라를 이용하여 이미지를 촬영하는 상태에서 휴대단말기는 후면 카메라를 이용하여 사용자의 얼굴을 인식하며, 이때 상기 카메라와 사용자의 거리가 변경되어 사용자의 얼굴 인식이 변경되는 경우에 변경 거리에 따라 후면 카메라의 화각을 자동으로 조정할 수 있다. 이때 얼굴 인식에 의한 거리 변경 감지는 사용자의 눈, 코, 입 등의 변화를 감지하는 방법을 사용할 수 있다. 또한 상기 휴대단말기는 장치의 이동을 감지하기 위한 센서들을 구비할 수 있다. 따라서 사용자가 카메라를 구동하는 상태에서 카메라의 이동이 감지되면, 이전의 상태에서 이동에 따른 거리 변화를 감지하는 방법을 사용할 수 있다. 또한 상기 거리 이동 감지 방법은 전면 카메라에 의한 사용자의 얼굴 인식 및 센서에 의한 휴대단말기 이동 거리 감지를 동시에 사용할 수도 있다. 이와 같은 방법으로 휴대단말기는 휴대단말기와 사용자 간의 거리를 자동으로 확인하여 촬영되는 영상의 줌인 또는 줌아웃을 자동으로 실행할 수 있다.
도 1은 본 발명의 실시예에 따른 휴대단말기의 구성을 도시하는 도면이다. 여기서 상기 휴대단말기는 스마트 폰을 포함하는 휴대전화기, MP3단말기, 타블렛, 컴퓨터, 카메라 장치 등의 다양한 디지털 기기들이 될 수 있다.
상기 도 1을 참조하면, 통신부120은 기지국 또는 다른 장치와 무선 통신 기능을 수행한다. 여기서 상기 통신부120은 송신신호의 주파수를 상승변환(frequency up converter) 및 전력 증폭하는 송신부와, 수신신호를 저잡음 증폭 및 주파수를 하강변환(frequency down converter)하는 수신부 등으로 구성될 수 있다. 또한 상기 통신부120은 변조부 및 복조부를 구비할 수 있다. 여기서 변조부는 송신신호를 변조하여 송신부에 전달하며, 복조부는 수신부를 통해 수신되는 신호를 복조한다. 이런 경우, 상기 변복조부는 LTE, WCDMA, GSM 등이 될 수 있으며, 또한 WIFI, WIBRO 등이 될 수 있고, NFC, Bluetooth 등이 될 수 있다. 본 발명의 실시예에서는 상기 통신부120이 LTE, WIFI, bluetooh 통신부들을 구비한다고 가정한다.
제1카메라150은 단말기 장치의 후면에 장착되는 후면 카메라로써 고 해상도의 이미지를 촬영할 수 있다. 제2카메라160은 단말기 장치의 전면에 장착되는 전면 카메라로써, 상기 제1카메라150에 비해 상대적으로 낮은 저해상도 이미지를 촬영할 수 있다.
제어부100은 휴대단말기의 전반적인 동작을 제어하며, 본 발명의 실시예에 따라 카메라 촬영시 상기 제1카메라150 및 제2카메라160을 동시에 구동하며, 상기 제2카메라160으로 촬영되는 사용자의 얼굴을 인식하여 제1카메라150의 촬영을 제어한다.
저장부110은 단말기의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 단말기의 동작을 위한 테이블들 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다.
표시부130은 상기 제어부100의 제어하에 실행중인 어플리케이션의 정보를 표시한다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 정정용량 방식 또는 저항막 방식으로 구현할 될 수 있으며, 사용자의 터치(이하 손가락 터치라고 가정한다)의 위치정보를 상기 제어부100에 출력한다. 또한 상기 입력부140은 EMR센서 패드를 더 구비할 수 있으며, 펜 터치입력을 감지하여 상기 제어부100에 출력한다. 여기서 상기 표시부130 및 입력부140은 일체형으로 구성할 수 있다.
센서부170은 휴대단말기의 움직임을 감지하기 위한 센서들을 구비한다. 상기 센서부160은 휴대단말기의 움직임을 감지하며, 상기 제어부100은 상기 센서부170의 출력을 분석하여 단말기와 사용자 간의 거리를 감지할 수 있다. 여기서 상기 센서들은 가속도센서, 지자기센서 및/또는 위치감지 센서들로 구성될 수 있다.
상기 도 1과 같은 구성을 가지는 본 발명의 실시예에 따른 휴대단말기느는 영상을 촬영하는 후면 카메라150과 사용자의 시선 및 방향을 인식할 수 있는 전면 카메라160을 구비한다. 그리고 상기 제어부100은 후면 카메라150에 의해 영상이 촬영되고 있는 동안, 전면 카메라160을 통해 사용자의 시선이 단말(view finder)을 향하고 있는지 여부를 판단한다. 이때 상기 제어부100은 전면 카메라150을 통해 촬영되는 이미지를 분석하여, 사용자의 얼굴 검출여부 및/또는 사용자의 시선, 방향 및 거리를 기준으로 시선에 변화가 생겼을 때, 각 상황에 맞게 기능을 수행하기 위해 상황을 판단한다. 이후 상기 제어부100은 판단된 상황에 따라 후면 카메라150의 영상을 control하거나 사용자가 인지할 수 있는 신호를 생성 및 대응할 수 있는 방법을 제공한다.
상기한 바와 같이 카메라 촬영시 상기 제어부100은 전면 카메라160 및 후면 카메라150을 동시에 구동한다. 그리고 후면 카메라150로 사용자 전면에 있는 피사체를 촬영할 때, 상기 제어부100은 전면 카메라160으로 사용자의 얼굴을 인식한 후, 인식 결과에 따라 상기 후면 카메라150에서 더 좋은 영상을 촬영할 수 있는 환경을 제공한다.
예를들어 동영상 촬영시의 동작을 살펴보면, 제어부100은 후면 카메라150으로 동영상 촬영을 할 때 전면 카메라160에서 촬영되는 사용자의 시선(얼굴 방향)을 함께 인식 및 tracking하여, 사용자의 시선이 단말(view finder)를 향하고 있는지 여부를 판단한다. 이때 후면 카메라150의 영상이 설정된 시간(N sec) 이상 고정된 높이나 고정된 자세로 촬영하게 되고 있다고 판단하는 경우, 상기 제어부100은 현재 후면 카메라150에서 촬영되고 있는 영상의 높이, 영역(혹은 단말의 높이 및 각도)을 측정 및 분석하여 저장(기록)한다. 이때 상기 제어부100은 센서170의 출력 감지 및/또는 전면 카메라160에서 촬영되는 이미지를 분석하여 영상의 높이, 영역 등을 설정할 수 있다.
상기 후면 카메라150을 통해 촬영되는 영상이 지속적으로 유지되는 상태(즉, 단말의 높이나 방향이 변경되지 않고 고정된 상태)에서 상기 제어부100은 전면 카메라160의 이미지를 tracking하면서 사용자의 시선이 다른 곳을 향하는 여부를 판단한다. 이때 상기 전면 카메라160에서 촬영되는 영상 및/또는 높이(휴대단말기의 위치 수평 및 상하 이동, 사용자의 단말기 파지 각도 등)가 여전히 고정되어 있는 상태로 판단되면, 상기 제어부100은 이 시점을 기준으로 단말이 고정되어야 있는 것으로 설정한다.
이후 상기 전면 카메라160으로부터 촬영되는 영상에서 사용자의 얼굴이 검출되지 않거나 또는 사용자의 시선이 바뀐 경우, 상기 제어부100은 상기 후면 카메라150으로부터 촬영되는 영상 및/또는 센서170의 출력을 감지하여 후면 카메라150의 촬영을 제어한다. 즉, 앞서 기록했던 측정값을 기준으로 후면 카메라로 촬영되는 영상의 높이, 방향(수직 및/또는 수평 방향), 각도 등이 변경되는 경우(예를들면 단말의 높이가 M cm이상 이동하게 될 경우), 상기 제어부100은 사용자가 인지할 수 있는 신호(alert, e.g. vibration, sound, flash, etc..)를 제공하여 사용자가 의도적으로 촬영하고자 했던 영상에 다시 초점을 맞춰 촬영을 진행할 수 있도록 한다. 또한 상기 촬영 중에 경보를 발생하는 경우, 상기 제어부100은 촬영 조건을 변경하여 의도된 영역을 촬영할 수 있는 경우, 촬영 영상이 잘못되지 않도록 단말에서 지원할 수 있는 기능을 제공한다. 예를들면 zoom in 된 상태에서 촬영되는 영상의 높이가 변화한 것이라면 자동으로 zoom out을 하여 촬영하고자 했던 영역이 잘리지 않고 촬영되도록 지원하면서 alert를 제공하여 제대로 된 영상을 촬영할 수 있다.
여기서 단말의 이동을 감지하는 센서170은 고도센서, 자이로센서, 가속도 센서등으로 구성될 수 있다. 그리고 예를들어 단말의 높이 이동을 감지하는 경우, 상기 제어부100은 고도 센서를 사용하여 실제 높이를 측정하거나, 자이로 센서를 사용하여 현재의 높이를 0으로 set 한 이후, 0을 기준으로 움직임을 측정하는 등 다양한 기술을 활용할 수 있다.
도 2는 본 발명의 제1실시예에 따른 휴대단말기의 카메라 촬영 제어 절차를 도시하는 흐름도이다.
상기 도 2를 참조하면, 입력부140을 통해 카메라 구동이 요구되면 상기 제어부100은 상기 제1카메라150 및 제2카메라160을 구동하며, 상기 제1카메라150으로부터 촬영되는 이미지를 처리하여 상기 표시부130에 표시하며, 제2카메라160으로부터 촬영되는 이미지를 분석한다. 여기서 상기 촬영은 정지 이미지(still image) 촬영, 동영상(moving image) 촬영 또는 프리뷰 모드(preview mode) 등이 될 수 있다. 여기서는 상기 카메라 촬영은 동영상 촬영이라고 가정한다.
상기 카메라가 촬영중인 상태이면 상기 제어부100은 211단계에서 이를 감지하고, 213단계에서 상기한 바와 같이 제1카메라150으로부터 촬영되는 이미지 및 제2카메라160으로부터 제1이미지 및 제2이미지를 획득하여 처리한다. 이때 제1카메라150은 상기한 바와 같이 단말기의 후면에 장착된 카메라로써, 단말기가 향하는 방향의 설정 영역(화각)에 위치된 피사체의 이미지를 촬영하게 된다. 이때 상기 제어부100은 동영상 촬영인 경우 연속 입력되는 상기 제1이미지들을 표시이미지로 처리하여 표시부130에 표시하는 동시에 또한 상기 제1이미지를 압축부호화하여 저장부110에 저장한다. 그리고 정지영상인 경우, 연속입력되는 상기 제1이미지를 표시이미지로 처리하여 상기 표시부130에 표시하는 동시에 캡쳐 요구시점의 제1이미지를 압축부호화하여 정지 이미지로 상기 저장부110에 저장한다. 또한 프리뷰 모드인 경우, 상기 제어부100은 연속입력되는 상기 제1이미지를 표시이미지로 처리하여 상기 표시부130에 표시한다.
그리고 상기 제어부100은 215단계에서 상기 제2카메라160으로부터 촬영되는 이미지를 분석한다. 카메라 촬영시 사용자는 표시부130에 표시되는 제1이미지를 확인하면서 단말기 위치를 변경면서 제1카메라150의 촬영 영역을 설정하게 된다. 이때 상기 제2카메라160은 단말기의 전면에 위치되므로 표시부130을 보는 사용자의 얼굴을 촬영하게 된다. 따라서 상기 제어부100은 상기 제2카메라160으로부터 촬영되는 이미지(즉, 얼굴)을 인식하여 사용자가 표시부130을 보고있는지 아닌지를 판단할 수 있다.
일반적으로 얼굴인식은 크게 두 가지 단계로 나눌 수 있다. 이는 촬영되는 이미지 전체에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출 과정과 찾아낸 얼굴이 누구의 얼굴인지 감별하는 얼굴인식 과정이 될 수 있다. 여기서 상기 얼굴 영역 추출 과정은 먼저 얼굴과 배경을 구분하기 위해 밝기, 움직임, 색상, 눈 위치 추정 등의 정보들을 이용한다. 일반적으로 얼굴 영역을 정확하게 추출하기 위해 2가지 이상의 정보를 취합 후 상호 보완하는 방식을 사용할 수 있다. 본 발명의 실시예에서 얼굴인식 기능은 이 얼굴 영역 추출을 이용하여 구현할 수 있다. 상기 제어부100은 상기 얼굴 인식 기능을 구비하며, 이를 이용하여 사람의 코, 눈, 입 및 얼굴 테두리 등을 구분할 수 있다. 특히 상기 제어부100은 상기 눈의 방향을 감지하여 사용자의 시선 및 방향이 표시부130을 향하는지 아닌지를 판변할 수 있다. 이하의 설명에서 상기 제어부100은 얼굴 인식시 상기 제2이미지에 사용자의 얼굴이 검출되면 얼굴인식으로 판정하며, 특히 사용자의 얼굴 인식시 사용자의 시선(눈동자가 위치되는 방향)이 표시부130을 향하는지를 판정할 수도 있다.
따라서 상기 얼굴이 인식되면, 상기 제어부100은 217단계에서 이를 감지하고, 221단계에서 상기 제1카메라150으로부터 촬영되는 전면 촬영 이미지를 정상적으로 처리한다. 이때 상기 221단계에서 상기 제어부100은 상기 제1이미지를 기준이미지로 버퍼링한다. 이는 다음 단계에서 사용자의 얼굴이 인식되지 않는 경우, 상기 제어부100이 상기 버퍼링된 기준이미지와 촬영되는 이미지와 비교 분석하고, 분석 결과를 확인하여 사용자가 원하는 촬영 영역의 이미지가 촬영되고 있는지 여부를 확인하기 위한 기준이미지로 사용하기 위함이다. 즉, 상기 기준이미지는 사용자가 원하는 촬영영역의 이미지가 될 수 있다.
상기와 같이 촬영하는 중에 사용자는 표시부130 또는 뷰 파인더를 보지 않고 촬영되는 피사체를 육안으로 확인하는 동작을 수행할 수 있다. 예를들면 사용자는 동영상을 촬영하는 상태에서 실제 촬영되는 피사체를 사용자의 눈으로 보는 동작을 수행할 수 있으며, 이런 경우 사용자의 얼굴이 제2카메라160의 촬영영역을 벗어나거나 또는 사용자의 시선(눈의 방향)이 표시부 또는 뷰파인더와 다른 방향을 보게 된다. 이런 경우 상기 제어부100은 제2카메라160에서 촬영되는 제2이미지에서 사용자의 얼굴을 감지하지 못하거나 또는 사용자의 시선이 다른 방향으로 향하고 있음을 확인할 수 있다. 이런 경우 사용자는 휴대단말기를 들고 있는 팔 또는 몸의 움직임에 의해 사용자가 원하는 촬영영역과 다른 영역을 촬영할 수 있게 된다. 따라서 상기 217단계에서 사용자의 얼굴을 인식하지 못한 것으로 판단되면, 상기 제어부100은 219단계에서 상기 제1카메라150으로부터 촬영되는 후면 이미지를 분석하여 처리한다. 이때 상기 제어부100은 상기 기준 이미지와 상기 제1카메라150에서 촬영되는 이미지를 비교하여 두 이미지의 촬영 영역을 분석한다. 이때 상기 두 이미지의 촬영영역이 설정된 차이 이상이 되면 상기 제어부100은 상기 219단계에서 설정된 촬영 영역을 벗어났음을 경보한다. 여기서 상기 촬영영역은 피사체에 인물이 포함된 경우 인물의 얼굴이 검출(face detection)되면 설정된 촬영영역으로 간주할 수 있다. 또한 상기 피사체에 인물이 포함되지 않은 경우, 두 이미지의 차이를 비교하여 설정된 크기 내의 이미지차이를 가지는 경우에는 설정된 촬영 영역으로 간주할 수 있다. 그리고 상기 경보 방법은 오디오, 진동 및/또는 경보 표시(lighting) 등이 될 수 있다. 또한 상기 경보를 표시하는 상태에서 상기 제어부100은 화각을 변경하여 기준이미지의 촬영영역을 촬영할 수 있는 경우, 상기 219단계에서 경보를 수행하면서 또는 경보를 하지 않고 화각을 변경하여 촬영할 수도 있다.
상기와 같은 방법으로 촬영을 하는 중에 사용자가 촬영을 종료하면, 상기 제어부100은 223단계에서 이를 감지하고 카메라 촬영 동작을 종료한다. 여기서 상기 카메라 촬영은 정지영상 및 동영상 촬영, 프리뷰 모드를 포함할 수 있으며, 이런 경우 상기 카메라 촬영은 카메라 구동 요구시 상기 제어부100은 제1카메라150 및 제2카메라160을 구동하며, 상기 223단계의 종료는 카메라 구동오프시가 될 수 있다. 또한 상기 카메라 촬영은 정지영상 및 동영상 촬영이 될 수 있다. 이런 경우 상기 제어부100은 카메라가 구동되는 상태(preview mode)에서 정지영상 또는 동영상 촬영 촬영 요구시 제1카메라150 및 제2카메라160을 구동하며, 상기 223단계의 종료는 정지영상 또는 동영상 촬영이 종료되는 시점이 될 수 있다.
도 3은 상기 도 2에서 얼굴인식 실패시 후면 카메라의 촬영을 제어하는 절차를 도시하는 흐름도이며, 도 4a - 도 4b는 도 2 및 도 3과 같은 절차로 촬영하는 이미지의 표시 예를 설명하기 위한 도면이다.
상기 도 3 - 도 4c를 참조하면, 도 4a와 같이 사용자가 피사체를 촬영하는 경우 사용자는 단말기에 표시되는 화면415를 보면서 피사체를 촬영하게 되며, 상기 제어부100은 도 2의 211단계에서 촬영 상태임을 감지한다. 이때 상기 단말기는 413과 같은 전면 카메라150을 구비하며, 상기 제어부100은 413과 같이 위치되는 전면 카메라160을 통해 사용자의 얼굴을 인식할 수 있으며, 상기 제1카메라150을 통해 촬영되는 제1이미지는 415와 같이 표시부130에 표시되는 상태이다. 상기와 같은 상태에서 제어부100은 도 2의 213단계 및 215단계에서 제1카메라150 및 제2카메라160으로부터 촬영되는 이미지들을 획득 및 처리하고, 상기 제2이미지를 분석한다. 이때 상기 제2이미지에서 사용자의 얼굴이 검출되거나 또는 얼굴 검출 및 검출된 얼굴에서 시선 방향이 표시부130을 향하고 있으면, 상기 제어부100은 221단계에서 상기 제1카메라150으로부터 촬영되는 제1이미지를 처리한다. 이때 상기 제어부100은 상기 제1이미지 처리시, 상기 제1이미지가 설정된 시간(N sec) 이상 고정된 높이나 고정된 자세로 촬영하게 되고 있다고 판단되면 현재 후면 카메라150에서 촬영되고 있는 영상의 높이, 영역(혹은 단말의 높이 및 각도)을 측정 및 분석하여 상기 저장부110에 저장(또는 버퍼링)한다. 그리고 상기와 같이 저장된 정보들은 다음 단계에서 사용자의 움직임이 감지되지 않으면 이를 계속 유지한다. 상기와 같이 221단계에서 처리되는 제1이미지는 도 4b의 431 또는 도 4c의 450과 같은 촬영을 가지게 된다.
상기와 같은 상태에서 상기 제2카메라160으로부터 촬영되는 제2이미지로부터 움직임이 감지되면, 상기 제어부100은 도 3과 같은 동작을 수행하게 된다. 여기서 상기 사용자의 움직임은 상기 전면 카메라160으로부터 촬영된 제2이미지를 분석한 결과에 의해 결정되며, 상기 제2이미지로부터 사용자의 얼굴을 검출하지 못하거나 또는 검출된 얼굴에서 사용자의 시선 방향이 표시부130을 향하고 있지 않은 경우로 판단되는 경우가 될 수 있다. 여기서 상기 제어부100은 상기 221단계에서 제1이미지 처리시 표시부130으로 향하는 사용자의 눈동자 위치 값을 더 저장할 수 있으며, 상기 215단계에서 제2이미지 분석시 상기 사용자의 눈동자 위치를 분석하는 과정을 더 구비할 수 있다.
상기와 같이 사용자의 얼굴이 인식되지 않으면, 상기 제어부100은 311단계에서 휴대단말기의 움직음을 감지한다. 여기서 움직임은 센서170의 출력을 분석하여 확인할 수 있으며, 이때 상기 움직임은 상기 221단계에서 상기 제1이미지 처리시 설정된 휴대단말기의 위치 정보(촬영되는 단말기의 수직 및 수평 위치, 사용자의 단말기 파지 각도 등)와 현재 센서170으로부터 감지되는 휴대단말기의 위치정보를 비교 분석하여 결정할 수 있다. 이때 상기 단말기의 위치정보의 변동이 없으면, 상기 제어부100은 313단계에서 이를 감지하고 상기 도 2로 리턴한다. 그리고 상기 움직임 감지시 317단계에서 상기 제어부100은 상기 휴대단말기의 움직임이 설정된 크기 이상인가를 검사한다. 여기서 상기 움직임이 설정된 크기보다 작은 값을 가지면, 317단계에서 상기 제어부100은 단말이 고정되어야 있는 것으로 판단하고 상기 도 2로 리턴한다. 그러나 상기 313단계 및 317단계에서 감지되는 움직임값이 상기 221단계에서 기록했던 측정값을 기준으로 후면 카메라로 촬영되는 영상의 방향(수직 및/또는 수평 방향) 및 촬영 각도 등이 설정된 크기 이상으로 차이가 나는 경우, 상기 제어부100은317단계에서 이를 감지하고, 319단계에서 사용자가 의도하는 촬영영역을 벗어났음을 경보한다.
즉, 도 4b와 같은 경우, 431과 같이 촬영영역이 설정된 상태이고, 상기 제2카메라160으로부터 촬영되는 이미지로부터 사용자의 얼굴을 인식하지 못한 경우, 상기 제어부100은 단말기의 움직임을 분석한다. 이때 사용자는 촬영되는 화면을 보지않고 촬영하는 상태가 될 수 있으며, 이런 경우 사용자의 팔의 움직임에 의해 휴대단말기의 수평 및/또는 수직 방향이 변경될 수 있으며, 또한 촬영 각도가 변경될 수 있다. 그러면 상기 제1카메라150으로부터 촬영되는 제1이미지는 사용자의 움직임에 의해 휴대단말기도 함께 움직이게 되어 433과 같이 제1카메라150의 촬영영역이 변경될 수 있으며, 이런경우 413과 같이 사용자가 의도하는 촬영영역의 피사체를 촬영할 수 없게 된다. 그러면 상기 제어부100은 317단계에서 이를 감지하고 제1이미지가 설정된 촬영영역을 벗어났음을 경보하여 사용자에 알리게 된다.
또한 상기 단말기의 움직임을 검출하는 방법은 상기 제1이미지를 이용하여 수행할 수 있다. 이런 경우 상기 도 2의 221단계에서 상기 제1이미지를 저장하고, 도 3의 311단계에서 카메라의 움직임 감지시 상기 저장된 제1이미지(기준이미지)와 현재 촬영된 제1이미지를 비교하여 움직임을 판단할 수 있다. 이때 두 이미지의 차이가 설정된 크기 이상 차이가 나는 경우, 상기 제어부100은 317단계에서 이를 감지하고 319단계에서 이를 경보할 수 있다. 특히 상기 제1이미지에 인물이 포함되는 경우, 상기 제어부100은 311단계에서 제1이미지의 인물 얼굴을 검출하여 얼굴이 정상적으로 검출되는지 여부를 판단하여 카메라의 움직임 여부를 결정할 수 있다. 이때 촬영된 제1이미지의 인물 얼굴이 정상적으로 검출되지 않으면 상기 제어부100은 317단계에서 촬영된 제1이미지가 설정된 크기 이상 변경된 것으로 간주하고 319단계에서 이를 경보할 수 있다.
또한 상기 경보를 발생하는 상태에서 상기 제어부100은 현재 제1카메라150의 촬영 조건을 변경하면서 제1이미지를 촬영할 수도 있다. 즉, 상기 제1카메라150은 사용자의 선택에 의해 화각을 변경할 수 있다. 이때 상기 화각이 상기 제1카메라150의 최대 줌인 또는 줌아웃 화각이 아니면, 상기 제어부100은 321단계에서 상기 제1카메라150의 촬영조건 변경이 가능함을 감지하고, 323단계에서 화각을 변경(즉, 줌인 또는 줌아웃)하면서 사용자가 설정된 촬영영역의 피사체를 촬영할 수 있다.
예를들어 도 4c의 451과 같이 줌인된 촬영영역을 가지는 상태에서 휴대단말기의 움직임이 발생되어 455와 같은 촬영영역을 가지는 경우, 상기 제어부100은 321단계에서 촬영조건을 줌아웃으로 변경하여 원하는 촬영영역의 피사체를 촬영할 수 있음을 감지하고, 323단계에서 도 4c와 같이 줌아웃하여 원하는 화각영역의 피사체를 촬영할 수 있다. 이때 상기 줌아웃 동작을 수행하는 상태에서 상기 제어부100은 경보 상태를 유지할 수 있다.
또한 본 발명의 실시예에서는 사용자가 의도하는 카메라의 움직임에 따라 상기 제1카메라150의 촬영조건을 자동으로 변경할 수 있다. 본 발명의 제2실시예는 제어부100이 전면 카메라160을 이용하여 사용자와 단말의 거리를 분석하고, 미리 설정된 조건(predefine condition)에 따라 후면 카메라150의 촬영조건(예를들면 화각 제어(zoom control))을 자동으로 변경할 수 있다. 예를들면 제어부100은 전면 카메라160으로부터 촬영되는 사용자의 시선이 인식한 상태에서, 사용자의 시선과 단말의 거리를 분석하고, 분석된 거리 변화에 따라 후면 카메라160의 줌 인/아웃을 제어할 수 있다. 이때 사용자의 시선과 단말에 가까워지면(사용자의 눈,코,입이 크게 인식되면) 상기 제어부100은 상기 제1카메라150을 zoom in 제어하며, 사용자의 시선과 단말이 멀어지면 상기 제1카메라150을 zoom 0ut 제어할 수 있다.
도 5는 본 발명의 실시예에 따른 휴대단말기에서 사용자와 단말기의 거리에 따라 카메라의 촬영 조건을 변경하는 절차를 도시하는 흐름도이며, 도 6은 상기 도 5와 같은 동작을 수행하는 상태를 설명하기 위한 도면이다.
상기 도 5 및 도 6을 참조하면, 카메라 촬영시 상기 제어부100은 511단계에서 이를 감지하고, 513단계에서 상기 제1카메라150으로부터 촬영되는 제1이미지 및 상기 제2카메라160으로부터 촬영되는 제2이미지를 획득 및 처리한다. 이후 상기 제어부100은 515단계에서 상기 제2이미지를 분석하여 휴대단말기와 사용자 간의 거리를 분석한다. 여기서 상기 거리를 분석하는 방법은 상기 이전에 촬영된 제2이미지와 현재 촬영된 제2이미지를 비교 분석하며, 이때 인식되는 사용자의 얼굴 크기를 비교하여 단말기와 사용자간의 거리를 결정할 수 있다. 그리고 이전 상태의 거리와 현재 검출된 거리를 비교하여 제2이미지의 변경이 없으면 521단계에서 이전 상태에서 설정된 거리를 그대로 유지하고 상기 제1카메라150의 촬영조건(줌 비율)을 그대로 유지한다. 그러나 상기 517단계에서 거리가 변경되었음을 감지하면, 상기 제어부100은 519단계에서 변경된 거리 값을 미리 정의된 조건과 비교하여 제1카메라150의 줌인/아웃 비율을 결정한다.
본 발명의 제2실시예에 따른 촬영 방법은 도 6의 참조번호 610 및 620과 같이 단말기와 사용자 간의 거리에 따라 제어부100은 상기 제1카메라150의 화각을 제어하여 참조번호 630 및 640과 같은 제1이미지를 생성한다. 이때 상기 제어부100은 상기 제2카메라160으로부터 촬영되는 사용자의 얼굴 이미지의 크기를 분석하여 단말기와 사용자 간의 거리를 측정할 수 있다. 예를들어 사용자는 최초 촬영시 제1카메라150의 화각을 설정하고, 카메라 촬영을 시작한다. 그러면 상기 제어부100은 전면의 제2카메라160으로부터 촬영되는 사용자의 얼굴을 촬영하고 사용자의 얼굴의 크기를 측정하여 제1카메라150의 화각 정보(예를들면 줌 비율)와 함께 저장한다. 이때 상기 얼굴 크기 정보는 사용자의 눈과 눈 사이의 거리, 눈과 코 사이의 거리 정보가 될 수 있으며, 또한 전체 얼굴윤곽 크기 정보 등이 될 수 있다. 이후 상기 제어부100은 카메라 촬영시 상기 제2카메라160으로부터 촬영되는 사용자의 얼굴크기 변화에 따라 단말기와 사용자의 거리를 예측하며, 이때 상기 얼굴크기 변화를 판단하는 방법은 상기 얼굴크기 정보들 중에서 적어도 하나의 정보를 사용할 수 있다.
이때 촬영되는 사용자의 얼굴크기가 설정된 얼굴크기보다 작게 검출되면 크기 변화값에 따라 상기 제1카메라150을 줌아웃 제어하여 제1이미지를 획득하고, 촬영되는 사용자의 얼굴크기가 설정된 얼굴크기보다 크게 검출되면 크기 변화값에 따라 상기 제1카메라150을 줌인 제어하여 제1이미지를 획득한다. 예를들면 610과 같이 떨어진 거리에서 630과 같이 촬영되도록 설정된 상태에서 620과 같이 단말기와 사용자간의 거리가 가까워지면 상기 제2카메라160으로부터 촬영되는 사용자의 얼굴 크기는 크게 검출된다. 이런 경우 상기 제어부100은 610과 같은 상태에서 측정된 얼굴크기와 620과 같은 측정되는 얼굴크기를 비교 분석하고 그 차이값에 따라 미리 설정된 비율로 640과 같이 제1이미지가 촬영되도록 제1카메라150을 줌인 제어한다. 반대로 620과 같이 떨어진 거리에서 640과 같이 촬영되도록 설정된 상태에서 610과 같이 단말기와 사용자간의 거리가 멀어지면 상기 제2카메라160으로부터 촬영되는 사용자의 얼굴 크기는 작게 검출된다. 이런 경우 상기 제어부100은 620과 같은 상태에서 측정된 얼굴크기와 610과 같은 측정되는 얼굴크기를 비교 분석하고 그 차이값에 따라 미리 설정된 비율로 630과 같이 제1이미지를 촬영하도록 제1카메라150을 줌아웃 제어한다.
도 7은 휴대단말기에서 본 발명의 제3실시예에 따라 카메라의 촬영을 제어하는 절차를 도시하는 흐름도이다. 상기 도 7은 도 2와 같은 제1실시예 및 도 5와 같은 제2실시예의 카메라 촬영 제어절차를 포함한다.
상기 도 7을 참조하면, 카메라 촬영시 상기 제어부100은 711단계에서 이를 감지하고, 713단계에서 상기 제1카메라150으로부터 촬영되는 제1이미지 및 상기 제2카메라160으로부터 촬영되는 제2이미지를 획득 및 처리하며, 715단계에서 상기 제2이미지를 분석한다. 이때 전면카메라로부터 촬영되는 제2이미지에서 사용자의 얼굴이 검출되지 않으면 상기 제어부100은 719단계에서 도 3과 같은 절차를 수행하면서 제1카메라150으로부터 촬영되는 제1이미지 및/또는 센서17의 출력을 분석하여 제1카메라150의 촬영을 제어한다. 그러나 상기 717단계에서 사용자의 얼굴이 검출되면, 상기 제어부100은 721단계에서 상기 제2이미지에 포함된 얼굴의 크기가 이전 상태에서 촬영된 사용자의 얼굴크기와 다른가 검사한다. 이때 두 제2이미지에 포함된 얼굴의 크기가 다르면 상기 제어부100은 721단계에서 이를 감지하고, 723단계에서 크기 변화값에 대응되는 비율로 상기 제1카메라150의 화각을 제어하여 제2이미지를 촬영한다. 그러나 상기 제2이미지에서 사용자의 얼굴을 검출하고, 또한 검출된 얼굴크기의 변화가 감지되지 않으면 상기 제어부100은 721단계에서 이를 감지하고 725단계에서 상기 제1카메라150의 촬영을 이전상태와 동일하게 제어한다.
상기와 같은 촬영 제어 방법을 사용하는 경우, 휴대단말기에서 동영상 촬영 중 영상 외부 영역을 직접 보면서 동영상이 크게 움직이지 않은 상태로 촬영하고자 할 경우 제1실시예의 촬영제어방법을 사용할 수 있으며, 정지이미지 및 동영상을 촬영하는 중에 제1카메라150의 화각을 자동으로 제어하고 하는 경우에는 제2실시예의 촬영 제어방법을 사용할 수 있다. 그러면 사용자가 표시되는 영상을 보지 않는 상태에서 동영상을 촬영할 때 사용자 및/또는 휴대단말기의 움직임이 발생되어 원하는 촬영 영역을 벗어나면 이를 자동으로 경보할 수 있으며, till영상 및/또는 동영상 촬영 중에 단말과 사용자 간의 거리가 짧아지면 제1카메라150을 zoom in 제어하고 멀어지면 zoom out 제어할 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (16)

  1. 휴대단말기의 촬영장치에 있어서,
    상기 휴대단말기의 후면에 장착되어 제1 이미지를 생성하는 제1 카메라와,
    상기 휴대단말기의 전면에 장착되어 제2 이미지를 생성하는 제2 카메라와,
    상기 제1 이미지를 표시하는 표시부와,
    카메라 촬영시 상기 제1 카메라 및 상기 제2 카메라를 구동하고, 상기 제2 이미지에서 사용자 얼굴을 검출하고, 상기 제2 이미지에서 상기 사용자 얼굴이 설정시간 검출되면, 상기 제1 이미지를 기준 이미지로 버퍼링하고, 상기 제2 이미지에서 상기 사용자 얼굴이 검출되지 않으면, 상기 제1 이미지를 기준 이미지와 비교하여 차이가 감지되면 촬영영역을 벗어났음을 경보하는 제어부로 구성된 것을 특징으로 하는 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 제2 이미지에서 상기 사용자 얼굴이 검출되지 않으면, 상기 제1 이미지와 상기 기준 이미지를 비교한 후 그 차이값이 설정된 크기 이상이면 경보하는 것을 특징으로 하는 장치.
  3. 제2항에 있어서,
    상기 휴대단말기의 움직임을 감지하는 센서를 더 구비하며,
    상기 제어부는 상기 제2 이미지에서 상기 사용자 얼굴이 설정시간 검출되면 상기 센서로부터 상기 휴대단말기의 높이 및 방향 정보를 감지하여 버퍼링하고, 상기 제2 이미지에서 상기 사용자 얼굴이 검출되지 않으면 상기 센서로부터 상기 휴대단말기의 높이 및 방향 정보를 감지하고 감지된 센서정보 및 버퍼링된 센서정보를 비교한 후 그 차이값이 설정된 크기 이상이면 경보하는 것을 특징으로 하는 장치.
  4. 제2항 또는 제3항에 있어서, 상기 제어부는,
    경보 발생시 상기 제1 카메라의 촬영조건의 변경 가능 여부를 검사하며, 촬영조건 변경 가능시 상기 제1 카메라의 촬영조건을 제어하여 상기 제1 이미지를 생성하는 것을 특징으로 하는 장치.
  5. 제4항에 있어서, 상기 촬영조건은 화각이며,
    상기 제어부는 상기 제1 카메라가 줌인 제어상태이면 설정된 촬영영역이 포함되도록 상기 제1 카메라를 줌아웃 제어하는 것을 특징으로 하는 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 카메라 촬영시 상기 제2 이미지에서 사용자의 얼굴크기 및 상기 제1 카메라의 화각을 버퍼링하고, 상기 제2 이미지에서 상기 사용자의 얼굴크기 변화시 변화 값에 따라 상기 제1 카메라의 화각을 변경 제어하는 것을 특징으로 하는 장치.
  7. 제6항에 있어서, 상기 제어부는
    상기 제2 이미지에서 상기 사용자의 얼굴크기가 커지면 상기 제1 카메라를 줌인 제어하며 얼굴크기가 작아지면 상기 제1 카메라를 줌아웃 제어하는 것을 특징으로 하는 장치.
  8. 제7항에 있어서, 상기 얼굴크기는 눈과 눈 사이의 거리, 눈과 코 사이의 거리 또는 얼굴의 윤곽들 중에 적어도 하나를 포함하는 것을 특징으로 하는 장치.
  9. 휴대단말기의 후면에 장착되어 제1 이미지를 생성하는 제1 카메라 및 상기 휴대단말기의 전면에 장착되어 제2 이미지를 생성하는 제2 카메라를 구비하는 휴대단말기의 촬영제어방법에 있어서,
    카메라 촬영시 상기 제1 카메라 및 상기 제2 카메라를 구동하는 과정과,
    상기 제2 카메라로부터 생성되는 상기 제2 이미지에서 사용자 얼굴을 검출하는 과정과,
    상기 검출과정에서 상기 제2 이미지에서 상기 사용자 얼굴이 설정시간 검출되면, 상기 제1 이미지를 기준 이미지로 버퍼링하는 과정과,
    상기 검출과정에서 상기 제2 이미지에서 상기 사용자 얼굴이 검출되지 않으면, 상기 제1 이미지를 기준 이미지와 비교하여 차이가 감지되면 촬영영역을 벗어났음을 경보하는 과정으로 이루어짐을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 경보과정은, 상기 제2 이미지에서 상기 사용자 얼굴이 검출되지 않으면 상기 제1 이미지와 상기 기준 이미지를 비교한 후 그 차이값이 설정된 크기 이상이면 경보하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 사용자의 얼굴을 검출하는 과정에서 상기 제2 이미지로부터 상기 사용자 얼굴이 설정시간 검출되면 상기 휴대단말기의 움직임을 감지하는 센서로부터 상기 휴대단말기의 높이 및 방향 정보를 감지하여 버퍼링하는 과정을 더 구비하고,
    상기 경보과정은 상기 제2 이미지로부터 상기 사용자 얼굴이 검출되지 않으면 상기 센서로부터 상기 휴대단말기의 높이 및 방향 정보를 감지하고 상기 감지된 센서 정보 및 버퍼링된 센서정보를 비교한 후 그 차이값이 설정된 크기 이상이면 경보하는 것을 특징으로 하는 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 경보과정은 경보 발생시 상기 제1 카메라의 촬영조건의 변경 가능 여부를 검사하며, 촬영조건 변경 가능시 상기 제1 카메라의 촬영조건을 제어하여 상기 제1 이미지를 생성하는 것을 특징으로 하는 방법.
  13. 제12항에 있어서, 상기 촬영조건은 화각이며,
    상기 제1 카메라가 줌인 제어상태이면 설정된 촬영영역이 포함되도록 상기 제1 카메라를 줌아웃 제어하는 것을 특징으로 하는 방법
  14. 제9항에 있어서,
    상기 카메라 촬영시 상기 제2 이미지에서 사용자의 얼굴크기 및 상기 제1 카메라의 화각을 버퍼링하는 과정과,
    상기 제2 이미지의 상기 사용자의 얼굴크기가 변화되면 변화 값에 따라 상기 제1 카메라의 화각을 변경하는 과정을 더 구비하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 화각을 변경하는 과정은 상기 제2 이미지에서 상기 사용자의 얼굴크기가 커지면 상기 제1 카메라를 줌인 제어하며 얼굴크기가 작아지면 상기 제1 카메라를 줌아웃 제어하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 얼굴크기는 눈과 눈 사이의 거리, 눈과 코 사이의 거리 또는 얼굴의 윤곽들 중에 적어도 하나를 포함하는 것을 특징으로 하는 방법.
KR1020120132737A 2012-11-22 2012-11-22 카메라 촬영 제어장치 및 방법 KR101983288B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120132737A KR101983288B1 (ko) 2012-11-22 2012-11-22 카메라 촬영 제어장치 및 방법
US14/086,644 US9621812B2 (en) 2012-11-22 2013-11-21 Image capturing control apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120132737A KR101983288B1 (ko) 2012-11-22 2012-11-22 카메라 촬영 제어장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140065817A KR20140065817A (ko) 2014-05-30
KR101983288B1 true KR101983288B1 (ko) 2019-05-29

Family

ID=50727564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120132737A KR101983288B1 (ko) 2012-11-22 2012-11-22 카메라 촬영 제어장치 및 방법

Country Status (2)

Country Link
US (1) US9621812B2 (ko)
KR (1) KR101983288B1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
US9396310B2 (en) * 2013-07-15 2016-07-19 At&T Intellectual Property I, L.P. Method and apparatus for providing secure image encryption and decryption
JP6296801B2 (ja) * 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
CN103795864B (zh) * 2014-01-29 2016-09-28 华为技术有限公司 移动终端前后摄像头的选择方法和移动终端
EP3134850B1 (en) 2014-04-22 2023-06-14 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
US9594970B2 (en) 2014-08-28 2017-03-14 Lenovo (Singapore) Pte. Ltd. Device with camera at or near junction of first panel and second panel
KR102244620B1 (ko) 2014-09-05 2021-04-26 삼성전자 주식회사 렌더링 수준 제어 방법 및 장치
JP6436761B2 (ja) 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
EP3289430B1 (en) 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
WO2016180702A1 (en) * 2015-05-08 2016-11-17 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Eye tracking device and method for operating an eye tracking device
US9860452B2 (en) * 2015-05-13 2018-01-02 Lenovo (Singapore) Pte. Ltd. Usage of first camera to determine parameter for action associated with second camera
US9563643B2 (en) * 2015-06-25 2017-02-07 Intel Corporation Automatic metatagging in images
WO2017007049A1 (ko) * 2015-07-09 2017-01-12 엘지전자 주식회사 이동 단말기
US9800778B2 (en) * 2015-07-21 2017-10-24 Qualcomm Incorporated Camera orientation notification system
US10397484B2 (en) 2015-08-14 2019-08-27 Qualcomm Incorporated Camera zoom based on sensor data
JP6738008B2 (ja) * 2015-12-28 2020-08-12 キヤノンマーケティングジャパン株式会社 携帯端末と、その処理方法及びプログラム
WO2017149526A2 (en) 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
CN106534673A (zh) * 2016-10-26 2017-03-22 上海与德信息技术有限公司 基于特征识别的拍照方法和装置
CN110268703A (zh) * 2017-03-15 2019-09-20 深圳市大疆创新科技有限公司 成像方法和成像控制装置
CN108683850B (zh) * 2018-05-15 2021-01-26 维沃移动通信有限公司 一种拍摄提示方法及移动终端
CN110785993A (zh) * 2018-11-30 2020-02-11 深圳市大疆创新科技有限公司 拍摄设备的控制方法、装置、设备及存储介质
US11454509B2 (en) * 2019-03-05 2022-09-27 International Business Machines Corporation Alert system for environmental changes
CN111314605A (zh) * 2020-02-19 2020-06-19 杭州涂鸦信息技术有限公司 一种多设备终端间人脸识别的合并方法及系统
CN111259183B (zh) * 2020-02-21 2023-08-01 北京百度网讯科技有限公司 图像识图方法、装置、电子设备和介质
WO2021179969A1 (en) * 2020-03-07 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for automatically adjusting focus of a camera
EP3932779B1 (en) * 2020-07-03 2022-08-31 Volvo Truck Corporation A method for guiding a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133903A (ja) * 2007-11-28 2009-06-18 Fujifilm Corp 撮像装置およびその撮像方法
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
WO2011043024A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 撮影装置、方法、プログラムおよび回路

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3301799B2 (ja) * 1992-12-03 2002-07-15 キヤノン株式会社 カメラシステム
JP4127521B2 (ja) * 2003-05-20 2008-07-30 富士フイルム株式会社 ディジタル・カメラおよびその制御方法
JP5093968B2 (ja) * 2003-10-15 2012-12-12 オリンパス株式会社 カメラ
EP1643758B1 (en) * 2004-09-30 2013-06-19 Canon Kabushiki Kaisha Image-capturing device, image-processing device, method for controlling image-capturing device, and associated storage medium
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US7639935B2 (en) * 2007-03-28 2009-12-29 Sony Ericsson Mobile Communications Ab Zoom control
JP5079549B2 (ja) * 2008-03-03 2012-11-21 パナソニック株式会社 撮像装置および撮像装置本体
KR101615290B1 (ko) * 2009-08-26 2016-04-26 삼성전자주식회사 촬영 방법 및 시스템
KR101078057B1 (ko) * 2009-09-08 2011-10-31 주식회사 팬택 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템
JP2012090029A (ja) 2010-10-19 2012-05-10 Panasonic Corp 撮像装置
WO2012138355A1 (en) * 2011-04-08 2012-10-11 Hewlett-Packard Development Company, L. P. System and method of modifying an image
US20130258089A1 (en) * 2011-11-03 2013-10-03 Intel Corporation Eye Gaze Based Image Capture
US20130155309A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking
US9058054B2 (en) * 2012-02-29 2015-06-16 Google Inc. Image capture apparatus
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
KR102020636B1 (ko) * 2013-06-07 2019-09-10 삼성전자주식회사 카메라에 기반한 전자 장치의 제어 방법, 저장 매체 및 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133903A (ja) * 2007-11-28 2009-06-18 Fujifilm Corp 撮像装置およびその撮像方法
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
WO2011043024A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 撮影装置、方法、プログラムおよび回路

Also Published As

Publication number Publication date
US9621812B2 (en) 2017-04-11
US20140139667A1 (en) 2014-05-22
KR20140065817A (ko) 2014-05-30

Similar Documents

Publication Publication Date Title
KR101983288B1 (ko) 카메라 촬영 제어장치 및 방법
KR102092571B1 (ko) 카메라를 구비하는 장치의 인물 촬영장치 및 방법
US8730335B2 (en) Imaging apparatus and imaging system
US9094597B2 (en) Imaging apparatus and imaging system
KR101946437B1 (ko) 파노라마 이미지 획득을 위한 방법 및 단말기
JP6447505B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
US20220114758A1 (en) Camera device, imaging system, control method, and program
KR20150009184A (ko) 카메라를 구비하는 장치의 이미지 처리장치 및 방법
US20120307080A1 (en) Imaging apparatus and imaging system
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
KR20170132833A (ko) 압력 검출 방법, 장치, 프로그램 및 기록 매체
JP2015100001A (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム
JP6201641B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
JP2017069896A (ja) 電子機器
JP2013183433A (ja) クライアント端末、サーバ、およびプログラム
JP2017069618A (ja) 電子機器及び撮像方法
JP6171877B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム
US20170328976A1 (en) Operation device, tracking system, operation method, and program
KR101677699B1 (ko) 카메라 모듈 및 이를 포함한 이동통신 단말기
JP6390766B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法およびプログラム
JP6756103B2 (ja) 電子機器、表示システム、表示装置、撮像装置、表示制御方法及びプログラム
JP6465029B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
JP2016005239A (ja) 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法およびプログラム
KR20100022634A (ko) 카메라모듈의 줌 렌즈 제어장치 및 제어방법
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant