KR20190142290A - Method for control a camera apparatus and the camera apparatus - Google Patents
Method for control a camera apparatus and the camera apparatus Download PDFInfo
- Publication number
- KR20190142290A KR20190142290A KR1020190165812A KR20190165812A KR20190142290A KR 20190142290 A KR20190142290 A KR 20190142290A KR 1020190165812 A KR1020190165812 A KR 1020190165812A KR 20190165812 A KR20190165812 A KR 20190165812A KR 20190142290 A KR20190142290 A KR 20190142290A
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- subject
- camera
- zoom
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H04N5/23219—
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 카메라에 관한 것으로, 더욱 자세히는 카메라의 렌즈를 통해 입력되는 피사체의 제스처에 따라 카메라 장치의 동작을 사용자가 편리하게 제어할 수 있도록 하는 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치에 관한 것이다.The present invention relates to a camera, and more particularly, to a method for controlling an operation of a camera device to allow a user to conveniently control the operation of a camera device according to a gesture of a subject input through a lens of the camera, and to the camera device. It is about.
통상적으로 디지털 영상 처리장치는 디지털 카메라, PDA(Personal Digital Assistant), 폰 카메라, PC 카메라 등의 영상을 처리하거나 영상 인식 센서를 사용하는 모든 장치를 포함한다. 디지털 영상 처리 장치는 촬상 소자를 통하여 입력받은 영상을 디지털 신호 처리기에서 이미지 프로세싱하고 이를 압축하여 이미지 파일을 생성하고, 그 이미지 파일을 메모리에 저장할 수 있다.Typically, the digital image processing apparatus includes all devices that process images such as a digital camera, a personal digital assistant (PDA), a phone camera, a PC camera, or use an image recognition sensor. The digital image processing apparatus may image an image received through an imaging device in a digital signal processor, compress the image, generate an image file, and store the image file in a memory.
한편, 디지털 카메라의 주요 소비 계층이 소수의 전문가로부터 다수의 일반 대중으로 확대되면서 소비 계층의 연령과 이용 분야가 확대되고 있다. 특히나 근래에는 10~30대의 연령층이 디지털 카메라를 자주 이용하고 있는 추세이다. 10~30대의 연령층은 카메라를 이용하여 스스로를 촬영하는 셀프 카메라 방식을 자주 사용하고 있다. 그러나 셀프 카메라 방식을 이용하여 사진을 찍는 경우, 사용자는 피사체의 역할을 겸해야 하므로 카메라 렌즈의 초점을 자신에게 맞추는 동시에 카메라의 셔터를 눌러야 하므로 촬영이 용이하지 않다. 또한 렌즈가 디지털 카메라의 앞면에 배치되는 반면에 카메라의 설정을 바뀌기 위한 메뉴 버튼은 뒷면에 구비된 경우가 많다. 셀프 카메라 방식으로 사진을 하는 경우에는 사용자가 피사체의 역할을 하므로 카메라 렌즈의 전면에 위치하여야 한다. 따라서 사용자는 촬영을 하는 동안 디지털 카메라의 기능을 원하는 대로 사용하기 어려워진다.Meanwhile, as the main consumer class of digital cameras is expanded from a few experts to the general public, the age and field of use of the consumer class are expanding. In particular, in recent years, people in their 10s and 30s frequently use digital cameras. Teenagers in their 30s and 30s frequently use the self-camera method of photographing themselves using a camera. However, when taking a picture using a self-camera method, the user must also serve as the subject, so it is not easy to shoot because the user needs to focus the camera lens on himself and press the shutter of the camera. In addition, the lens is disposed on the front of the digital camera, while the menu button for changing the camera settings is often provided on the rear. When taking a picture by the self-camera method, the user plays the role of a subject and should be located in front of the camera lens. This makes it difficult for the user to use the functions of the digital camera as desired while shooting.
본 발명의 목적은 카메라의 렌즈를 통해 입력되는 피사체의 제스처에 따라 카메라 장치의 동작을 사용자가 편리하게 제어할 수 있도록 하는 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치를 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method of controlling the operation of a camera device and a camera device for allowing a user to conveniently control the operation of a camera device according to a gesture of a subject input through a lens of a camera.
본 발명의 일 실시예에 따른 카메라 장치의 동작을 제어하는 방법은, 카메라 렌즈를 통해 입력되는 영상을 수신하여 영상 프레임을 생성하는 과정과, 상기 영상 프레임과 상기 영상 프레임 이전에 저장된 적어도 하나의 이전 프레임을 비교하여 상기 영상 프레임에 포함된 피사체의 움직임을 검출하는 과정과, 상기 피사체의 움직임이 제스처 UI인지 여부를 판단하는 과정과, 상기 판단결과 상기 움직임이 제스처 UI인 경우, 상기 제스처 UI에 대응하는 동작을 실행하는 과정을 포함한다.According to an embodiment of the present invention, a method of controlling an operation of a camera device includes: receiving an image input through a camera lens to generate an image frame, and at least one transfer stored before the image frame and the image frame Comparing the frames to detect the movement of the subject included in the image frame; determining whether the movement of the subject is a gesture UI; and if the movement is the gesture UI, the determination corresponds to the gesture UI. It includes the process of executing the operation.
본 발명의 다른 실시예에 따른 카메라 장치의 동작을 제어하는 방법은, 피사체로부터 제1제스처 UI를 입력받는 과정과, 상기 피사체로부터 기준 시간 이내에 제2제스처 UI를 입력받았는지 여부를 판단하는 과정과, 상기 기준 시간 이내에 상기 제2제스처 UI를 입력받은 경우, 상기 제1제스처 UI 및 상기 제2제스처 UI를 연속 제스처 UI로 결정하는 과정과, 상기 연속 제스처 UI에 대응하는 동작을 수행하는 과정을 포함한다.According to another aspect of the present invention, there is provided a method of controlling an operation of a camera apparatus, including: receiving a first gesture UI from a subject; determining whether a second gesture UI is received from the subject within a reference time; When the second gesture UI is input within the reference time, determining the first gesture UI and the second gesture UI as a continuous gesture UI, and performing an operation corresponding to the continuous gesture UI. do.
본 발명의 일 실시예에 따른 카메라 장치는, 외부로부터 입력되는 영상을 수신하여 영상 프레임을 생성하는 카메라와, 상기 영상 프레임과 상기 영상 프레임 이전에 저장된 적어도 하나의 이전 프레임을 비교하여 상기 영상 프레임에 포함된 피사체의 움직임을 검출하는 제스처 인식부와, 상기 피사체의 움직임이 제스처 UI인지 여부를 판단하고, 판단결과 상기 움직임이 제스처 UI인 경우, 상기 제스처 UI에 대응하는 동작을 실행하는 제어부를 포함한다.A camera apparatus according to an embodiment of the present invention includes a camera for generating an image frame by receiving an image input from the outside, and comparing the image frame with at least one previous frame stored before the image frame to the image frame. And a gesture recognizing unit detecting a movement of the subject included, and determining whether the movement of the subject is a gesture UI, and if the movement is a gesture UI, executing the operation corresponding to the gesture UI. .
본 발명에 따르면, 카메라의 렌즈를 통해 입력되는 피사체의 제스처에 따라 카메라 장치의 동작을 사용자가 편리하게 제어할 수 있도록 하는 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치를 제공한다.According to the present invention, there is provided a method of controlling an operation of a camera device for allowing a user to conveniently control an operation of a camera device according to a gesture of a subject input through a lens of a camera, and the camera device.
도 1은 본 발명의 일 실시예에 따른 카메라 장치의 구성을 도시한 블록도,
도 2는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 일 예를 나타낸 순서도,
도 3은 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 다른 예를 나타낸 순서도,
도 4는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 또 다른 예를 나타낸 순서도,
도 5는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 또 다른 예를 나타낸 순서도,
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른 제스처 UI들을 나타낸 도면,
도 7a는 본 발명의 다른 실시예에 따른 제스처 UI를 나타낸 도면이고, 도 7b 및 도 7c는 연속 제스처 UI에 따라 디스플레이부에 표시되는 영상 프레임을 나타낸 도면,
도 8a 내지 도 8d는 도 7b에 도시된 제2제스처 UI를 나타낸 도면,
도 9는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 또 다른 예를 나타낸 순서도,
도 10은 본 발명의 일 실시예에 따라 제스처 인식부에 의하여 인식되는 제스처 UI의 움직임 궤적을 나타낸 도면,
도 11은 본 발명의 다른 실시예에 따라 제스처 인식부에 의하여 인식되는 제스처 UI의 움직임 궤적을 나타낸 도면,
도 12a는 도 9에 도시된 방법에 따라 동작하는 카메라 장치의 디스플레이부에 표시되는 영상이고, 도 12b는 카메라 장치의 렌즈를 통해 입력 및 촬영되는 영상을 나타낸 도면,
도 13a는 본 발명의 일 실시예에 따른 연속 제스처 UI 및 연속 제스처 UI에 따른 이미지 처리를 나타낸 도면, 그리고
도 14a 및 도 14b는 본 발명의 다른 실시예에 따른 연속 제스처 UI 및 연속 제스처 UI에 따른 이미지 처리를 나타낸 도면이다.1 is a block diagram showing the configuration of a camera apparatus according to an embodiment of the present invention;
2 is a flowchart illustrating an example of a method of controlling an operation of the camera apparatus shown in FIG. 1;
3 is a flowchart illustrating another example of a method of controlling an operation of the camera apparatus shown in FIG. 1;
4 is a flowchart illustrating still another example of a method of controlling an operation of the camera apparatus shown in FIG. 1;
5 is a flowchart illustrating still another example of a method of controlling an operation of the camera apparatus shown in FIG. 1;
6A-6D illustrate gesture UIs according to an embodiment of the present invention.
7A is a diagram illustrating a gesture UI according to another embodiment of the present invention, and FIGS. 7B and 7C illustrate an image frame displayed on a display unit according to a continuous gesture UI.
8A to 8D are diagrams illustrating a second gesture UI shown in FIG. 7B;
9 is a flowchart illustrating still another example of a method of controlling an operation of the camera apparatus shown in FIG. 1;
10 is a view showing a motion trajectory of a gesture UI recognized by a gesture recognition unit according to an embodiment of the present invention;
11 is a view showing a motion trajectory of a gesture UI recognized by a gesture recognition unit according to another embodiment of the present invention;
FIG. 12A is an image displayed on a display unit of a camera apparatus operating according to the method illustrated in FIG. 9, and FIG. 12B is an image showing an image input and photographed through a lens of the camera apparatus.
13A is a view illustrating a continuous gesture UI and image processing according to a continuous gesture UI according to an embodiment of the present invention; and
14A and 14B illustrate an image processing according to a continuous gesture UI and a continuous gesture UI according to another embodiment of the present invention.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, specific details such as specific components are shown, which are provided to help a more general understanding of the present invention, and it is understood that these specific details may be changed or changed within the scope of the present invention. It will be obvious to those of ordinary skill in the field.
도 1은 본 발명의 일 실시예에 따른 카메라 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a camera apparatus according to an embodiment of the present invention.
도 1을 참조하면, 카메라 장치(100)는 카메라(110), 제스처 인식부(120), 메모리(130) 및 제어부(140)를 포함하며, 사용자 입력부(152) 및 디스플레이부(154)를 더 포함할 수 있다.Referring to FIG. 1, the
카메라(110)는 구비된 렌즈(미도시)를 통하여 영상을 입력받는다. 본 실시예에 따른 카메라(110)는, 2개 이상의 렌즈를 구비할 수 있다. 또한 카메라(110)는 카메라 장치(100)를 사용하는 사용자 또는 상기 카메라 장치(100)에 의해 촬영되는 피사체가 움직임으로써 발생하는 제스처 UI를 입력받을 수 있다. 카메라(110)는 렌즈를 통해 입력된 영상을 영상 프레임으로 변환한다. 카메라(110)는 지속적으로 렌즈를 통해 입력되는 영상을 프레임 단위로 실시간으로 메모리(130)에 저장하거나 또는 임시 저장할 수 있다. 실시예에 따라 카메라(110)는 하나 이상의 제스처 UI에 해당하는 피사체의 움직임을 상기 피사체로부터 순차적으로 입력받을 수 있다.The
이하에서는, 설명의 편이를 위하여 카메라(110)에 의해 생성된 영상 프레임들 중 현재 입력되는 영상을 변환한 영상 프레임을 '현재 프레임'이라 하고, 현재 프레임이 생성되기 이전에 생성된 영상 프레임을 '이전 프레임'이라 하기로 한다.Hereinafter, for convenience of explanation, an image frame obtained by converting an image currently input among the image frames generated by the
제스처 인식부(120)는 카메라(110)를 통해 입력되는 영상으로부터 사용자 또는 피사체의 움직임, 즉 제스처를 검출한다. 제스처 인식부(120)는 카메라(110)에 의해 생성된 현재 프레임과 적어도 하나의 이전 프레임들을 비교하여 사용자 또는 피사체의 제스처를 결정할 수 있다.The
제스처 인식부(120)는 카메라(110)를 통해 실시간으로 변환되고 있는 영상 프레임들로부터 사용자 또는 피사체를 검출할 수 있다. 제스처 인식부(120)는 영상 프레임들 각각에 대하여 상기 영상 프레임들 각각에 포함된 각종 물체의 윤곽선, 명도, 채도, 색상, 좌표, 등의 데이터를 포함하는 프레임 데이터를 생성할 수 있다. 제스처 인식부(120)는 영상 프레임들 각각에 대한 프레임 데이터를 이용하여 피사체를 검출한다. 제스처 인식부(120)는 제어부(140)의 제어 하에 윤곽선, 명도, 채도, 색상, 좌표가 미리 설정된 영상 프레임 수 이상 변하지 않는 물체를 피사체로 결정할 수 있다.The
본 발명에서, '사용자'는 카메라 장치(100)를 이용하여 촬영을 하고자 하는 사람이고, '피사체'는 카메라 장치(100)에 의해 촬영되는 사람을 가리킨다. 본 발명에서 피사체는 카메라 장치(100)의 사용자를 포함할 수 있다.In the present invention, the 'user' is a person who intends to photograph by using the
제스처 인식부(120)는 이전 프레임 및 현재 프레임을 비교하여 상기 프레임들 각각에 포함된 피사체의 움직임을 결정한다. 실시예에 따라 제스처 인식부(120)는 메모리(130)에 미리 저장된 수의 프레임들 또는 미리 저장된 시간 동안 입력되는 영상 프레임들을 비교하여 피사체의 움직임을 결정할 수 있다.The
실시예에 따라 제스처 인식부(120)는 영상 프레임에서 움직임 영역을 검출할 수 있다. '움직임 영역'은, 영상 프레임 중에서도 피사체의 움직임이 가장 큰 영역을 가리키는 것으로, 제스처 인식부(120)는 적어도 두 개의 영상 프레임들을 서로 비교하여 움직임 영역을 추출할 수 있다. 상기 움직임 영역은 영상 프레임의 적어도 일부를 포함할 수 있다.According to an exemplary embodiment, the
움직임 영역이 검출되면, 제스처 인식부(120)는 제어부(140)의 제어 하에 상기 움직임 영역에서의 피사체의 움직임 궤적을 예측할 수 있다. 피사체의 움직임에 따라 피사체의 움직임이 카메라(110)의 렌즈를 통해 모두 입력되지 않을 수 있다. 예를 들어, 피사체가 손으로 원을 그린 경우 피사체에 의해 그려지는 원의 일부가 렌즈의 화각(angle of view)을 벗어나 카메라(110)를 통해 입력되지 않을 수 있다. 이와 같이 피사체의 움직임이 완벽하게 입력되지 않을 경우를 대비하여 본 발명에서는 제스처 인식부(120)가 움직임 영역에서의 피사체의 움직임 궤적을 예측할 수 있도록 한다.When the movement region is detected, the
예를 들어, 현재 프레임 이전에 생성된 이전 프레임들에서 피사체가 오른손으로 원을 그리고 있다고 가정한다. 제스처 인식부(120)는 피사체에 의하여 오른손이 움직이고 있는 영역을 '움직임 영역'으로 검출하고, 상기 움직임 영역에서 피사체의 오른손이 원을 그리고 있음을 감지한다. 그에 따라 제스처 인식부(120)는 제어부(140)의 제어 하에 현재 프레임을 확장하여 피사체의 오른손이 카메라(110)의 화각을 벗어난 지점에서 원을 그리고 있는 움직임의 궤적을 예측할 수 있다.For example, suppose that the subject is drawing a circle with the right hand in the previous frames generated before the current frame. The
상기와 같이, 제스처 인식부(120)에 의하여 인식되는 제스처들 중 카메라 장치(100)의 동작을 요청하기 위한 제스처를 "제스처 UI"라 한다. 예를 들어, 피사체가 오른손을 이용하여 원을 그리고, 그 이후 카메라(110)의 렌즈가 줌 인 되었다고 가정한다. 상기의 예에서, 피사체가 오른손으로 원을 그리는 행위가 제스처 UI에 해당한다.As described above, the gesture for requesting the operation of the
본 실시예에 따른 제스처 인식부(120)는 카메라(110)의 렌즈를 통해 움직임 영역에서 피사체로부터 연속적으로 입력되는 제스처 UI를 감지할 수도 있다. 예를 들어, 제스처 인식부(120)는 움직임 영역에서의 피사체의 제1제스처 및 제2제스처를 순차적으로 감지할 수 있다. 예를 들어, 피사체는 줌 인에 해당하는 제스처 UI를 취한 직후, 촬영에 해당하는 제스처 UI를 취할 수 있다. 또한 카메라 장치(100)는 상기 제1제스처 및 제2제스처를 제스처 UI로서 입력받아 순차적으로 줌 인 동작 및 촬영 동작을 수행할 수 있다. 상기와 같이 카메라(110)를 통해 연속적으로 입력되는 적어도 두 개의 제스처 UI를 '연속 제스처 UI'라 하다.The
실시예에 따라 연속 제스처 UI는 카메라 장치(100)에서 수행될 수 있는 특정 동작 및 상기 특정 동작의 단계별 수행을 위하여 카메라(110)로 입력될 수 있다. 예를 들어, 연속 제스처 UI가 제1제스처 및 제2제스처를 포함한다고 가정한다. 본 실시예에 따른 제1제스처는 줌 인을 요청하기 위한 제스처 UI이고, 제2제스처는 상기 줌 인/아웃의 배율값(예를 들어, '3배')에 대응하는 제스처 UI일 수 있다. 예를 들어, 피사체가 '제1제스처 → 제2제스처'의 순서대로 움직였고, 제어부(140)가 제1제스처 및 제2제스처를 연속 제스처 UI로서 결정하였다면, 제어부(140)는 카메라(110)를 통해 촬영되는 피사체를 3배 줌 인하도록 카메라 장치(100)를 제어할 수 있다. 다른 실시예에 따라 제1제스처가 줌 아웃을 요청하기 위한 제스처 UI이고, 제2제스처는 배율값(예를 들어, '1/3배')에 대응하는 제스처 UI일 수 있다. 피사체가 '제1제스처 → 제2제스처'의 순서대로 움직임으로써 제1제스처 및 제2제스처를 순차적으로 입력하였다고 가정한다. 제어부(140)는 카메라(110)를 통해 촬영되는 피사체의 크기를 1/3배로 축소함으로써, 줌 아웃하도록 카메라 장치(100)를 제어할 수 있다.According to an exemplary embodiment, the continuous gesture UI may be input to the
또 다른 예로서, 제1제스처는 줌 인 동작 중에서도 '2배 줌 인'에 해당하고, 제2제스처는 상기 '3배 줌 인'일 수 있다. 피사체가 '제1제스처 → 제2제스처'의 순서대로 움직였고, 제어부(140)가 상기의 제스처들을 연속 제스처 UI로서 결정하였다고 한다. 제어부(140)는 카메라(110)를 통해 촬영되는 피사체를 먼저 2배 줌 인한 이후, 상기 2배 줌 인된 피사체를 다시 3배 줌 인하도록 카메라 장치(100)를 제어할 수 있다. 그에 따라 초기의 피사체가 '2×3'배, 즉 6배 줌 인될 수 있다.As another example, the first gesture may correspond to '2 times zoom in' among the zoom in operations, and the second gesture may be '3 times zoom in'. The subject moved in the order of 'first gesture to second gesture', and the
실시예에 따라 피사체의 움직임이 카메라(110)의 렌즈를 통해 모두 입력되지 않은 경우에도 제스처 인식부(120)는 피사체의 움직임 궤적을 예측할 수 있다. 예를 들어, 피사체가 손으로 원을 그리는 제스처 UI를 입력하고 있는 중이라고 가정한다. 피사체가 360°의 원을 완성하기 전에 제스처 인식부(120)는 카메라(110)를 통해 입력되는 피사체의 움직임을 감지하여 피사체의 손이 움직이는 움직임 궤적을 예측하여 상기 피사체가 360°의 원을 그린 것으로 결정할 수 있다.According to an exemplary embodiment, even when the movement of the subject is not all input through the lens of the
예를 들어, 제스처 인식부(120)는 피사체가 360°의 원 중에서 330°를 그리고 있는 중이라도 피사체가 360°의 원을 그린 것으로 간주할 수 있다. 또한 상기와 같이 간주된 피사체의 동작 또한 제스처 UI로서 제스처 인식부(120)에 의해 검출될 수 있다.For example, the
메모리(130)에는 카메라 장치(100)의 동작을 제어하기 위한 각종 데이터가 저장된다. 메모리(130)에는 카메라(110)를 통해 실시간으로 입력되는 영상 프레임들이 저장 또는 임시 저장될 수 있다. 또한 메모리(130)는 각종 제스처 UI 및 상기 제스처 UI에 대응하는 카메라 장치(100)의 동작들이 저장될 수 있다. 메모리(130)는 연속 제스처 UI 및 상기 연속 제스처 UI에 대응하는 카메라 장치(100)의 각종 동작들이 저장될 수 있다. 또한 메모리(130)는 제스처 UI들이 연속적으로 입력되는지, 즉 연속 제스처 UI가 입력되었는지 여부를 판단하기 위한 기준 시간이 저장될 수 있다. 후술하는 제어부(140)는 예를 들어, 제1제스처가 제스처 인식부(120)에 의해 인식된 이후 기준 시간 내에 제2제스처가 입력되어야 상기 제1제스처 및 제2제스처를 연속 제스처 UI로서 결정할 수 있다.The
'제스처 UI'는 제스처 인식부(120)에 의해 검출되는 피사체의 움직임들 중 카메라 장치(100)에 의해 특정 동작을 실행하도록 하는 제스처를 가리킨다. 제스처 UI는 예를 들어, 줌 인(Zoom in), 줌 아웃(zoom out), 촬영(shoot), 셔터 속도 증감, ISO 증감, 화이트 밸런스 조절, 초점 위치 조절, 연사 유무, 색 온도 조절, 플래쉬의 사용 유무, 촬영 모드의 선택 등을 하기 위한 제스처를 포함한다.The gesture UI refers to a gesture for executing a specific operation by the
촬영 모드는, 예를 들어, 프로그램 AE(Auto Exposure) 모드, 셔터 우선 AE 모드, 조리개 우선 AE 모드, 수동 노출 모드, 벌브 노출 모드 중 적어도 하나를 포함한다. The photographing mode includes, for example, at least one of a program AE (Auto Exposure) mode, a shutter-priority AE mode, an aperture-priority AE mode, a manual exposure mode, and a bulb exposure mode.
제어부(140)는 카메라 장치(100)의 전반적인 동작을 제어한다.The
본 실시예에 따른 제어부(140)는 제스처 인식부(120)로부터 검출된 피사체의 움직임이 제스처 UI인지 여부를 판단하여 결정한다. 제스처 인식부(120)에 의하여 제스처 UI가 검출된 경우, 해당 제스처 UI에 대응하는 동작을 수행하도록 카메라 장치(100)를 제어한다.The
실시예에 따라 제어부(140)는 연속 제스처 UI에 따라 연속 제스처 UI에 포함된 제스처 UI들 각각에 대응되는 동작을 수행하도록 카메라 장치(100)를 제어할 수 있다.According to an exemplary embodiment, the
예를 들어, 제1제스처가 줌 인을 요청하기 위한 동작이고, 제2제스처가 줌 인/아웃의 배율이라고 가정한다. 제스처 인식부(120)에 의하여 제1제스처가 감지되고, 상기 제1제스처의 입력 직후에 피사체로부터 제2제스처가 입력되면, 제어부(140)는 상기 제1제스처 및 제2제스처를 '연속 제스처 UI'로 결정할 수 있다. 제어부(140)는 연속 제스처 UI에 해당되는 동작을 수행하도록 카메라 장치(100)를 제어한다.For example, assume that the first gesture is an operation for requesting a zoom in and the second gesture is a magnification of the zoom in / out. When the first gesture is detected by the
실시예에 따라 제어부(140)는 제1제스처의 입력 직후, 기준 시간 이내에 피사체로부터 제2제스처가 입력되는지 여부를 판단할 수 있다. 상기 기준 시간 이내에 제2제스처가 입력되지 않으면, 제어부(140)는 제1제스처와 제2제스처를 별개의 제스처 UI로서 결정할 수 있다. 반면에 기준 시간 이내에 제2제스처가 입력되면, 제어부(140)는 제1제스처 및 제2제스처를 연속 제스처 UI로서 결정할 수 있다.According to an exemplary embodiment, the
사용자 입력부(152)는 카메라 장치(100)로 입력되는 사용자 입력을 수신한다. 본 실시예에 따라 사용자 입력부(152)는 제스처 UI를 입력받기 위한 사용자 입력을 수신할 수 있다.The
실시예에 따라 사용자 입력부(152)는 움직임 영역에 대한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 입력부(152)가 사용자로부터 주된 움직임 영역으로서 피사체의 신체 중 '팔'을 입력받았다면, 제스처 인식부(120)는 영상 프레임 중 피사체의 팔이 포함되는 영역이 움직임 영역인지 여부를 우선적으로 분석할 수 있다. 상기와 같이 사용자에 의해 움직임 영역이 미리 설정됨으로써 제스처 인식부(120)가 움직임 영역을 검출하는 시간을 절약할 수 있게 된다.According to an embodiment, the
디스플레이부(154)는 카메라 장치(100)의 각종 데이터들을 표시한다. 실시예에 따라 디스플레이부(154)는 구비된 터치 스크린 등을 이용하여 카메라(110)의 렌즈를 통해 실시간으로 입력되는 영상을 표시할 수 있다. 또한 디스플레이부(154)는 메모리(130)에 저장된 사진 파일을 표시할 수 있다.The
본 실시예에 따른 디스플레이부(154)는 카메라(110)의 렌즈를 통해 실시간으로 입력되는 제스처 UI를 표시할 수 있다.The
도 2는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 일 예를 나타낸 순서도이다.FIG. 2 is a flowchart illustrating an example of a method of controlling an operation of the camera apparatus shown in FIG. 1.
도 2를 참조하면, 먼저 카메라 장치(100)는 카메라(110)를 통해 입력되는 영상을 수신한다(S202). 카메라(110)는 단계 S202에서 입력되는 영상을 이용하여 영상 프레임을 생성하고, 생성된 영상 프레임을 제스처 인식부(120)로 전달한다. 이때 생성된 영상 프레임을 '현재 프레임'이라 하고, 상기 현재 프레임 이전에 생성된 영상 프레임을 '이전 프레임'이라 한다.Referring to FIG. 2, first, the
제스처 인식부(120)는 현재 프레임에 포함된 피사체를 검출한다(S204). 또한 제스처 인식부(120)는 적어도 하나의 이전 프레임과 현재 프레임을 비교하여 단계 S204에서 검출된 피사체의 움직임을 검출한다(S206).The
피사체의 움직임이 검출되면, 제어부(140)는 단계 S206에서 검출된 피사체의 움직임이 제스처 UI인지 여부를 판단한다(S208). 단계 S208의 판단 결과 제스처 UI인 경우, 제어부(140)는 검출된 상기 제스처 UI에 대응하는 동작을 결정한다(S210). 제어부(140)는 메모리(130)를 검색하여 제스처 UI에 대응하는 동작을 결정할 수 있다.When the movement of the subject is detected, the
제스처 UI에 대응하는 동작이 결정되면, 제어부(140)는 카메라 장치(100)를 제어하여 상기 제스처 UI에 대응하는 동작을 실행한다(S212).When the operation corresponding to the gesture UI is determined, the
도 3은 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 다른 예를 나타낸 순서도이다.FIG. 3 is a flowchart illustrating another example of a method of controlling an operation of the camera apparatus shown in FIG. 1.
도 3을 참조하면, 카메라 장치(100)는 카메라(110)를 통해 입력되는 영상을 수신한다(S302). 카메라(110)는 단계 S302에서 입력되는 영상을 이용하여 영상 프레임을 생성하고, 생성된 영상 프레임을 제스처 인식부(120)로 전달한다.Referring to FIG. 3, the
제스처 인식부(120)는 영상 프레임에 포함된 피사체를 검출한다(S304). 또한 제스처 인식부(120)는 적어도 하나의 이전 프레임과 현재 프레임을 비교하여 단계 S304에서 검출된 피사체의 움직임을 검출한다(S306).The
피사체의 움직임이 검출되면, 제어부(140)는 단계 S306에서 검출된 움직임이 줌 인 제스처인지 여부를 판단한다(S308). 단계 S308의 판단결과 줌 인 제스처인 경우(S308: 예), 제어부(140)는 카메라 장치(100)를 제어하여 줌 인 동작을 수행한다(S310). 그에 따라 디스플레이부(154)에는 줌 인된 피사체의 영상이 표시될 수 있다.When the movement of the subject is detected, the
단계 S308의 판단결과 줌 인 제스처가 아닌 경우(S308: 아니오), 제어부(140)는 단계 S306에서 검출된 움직임 줌 아웃 제스처인지 여부를 판단한다(S312). 단계 S312의 판단결과 줌 아웃 제스처인 경우(S312: 예), 제어부(140)는 카메라 장치(100)를 제어하여 줌 아웃 동작을 수행한다(S314). 그에 따라 디스플레이부(154)에는 줌 아웃된 피사체의 영상의 표시될 수 있다.If the result of the determination in step S308 is not a zoom in gesture (S308: No), the
단계 S312의 판단결과 줌 아웃 제스처가 아닌 경우(S312: 아니오), 제어부(140)는 단계 S306에서 검출된 움직임이 촬영 제스처인지 여부를 판단한다(S316). 단계 S316의 판단결과 촬영 제스처인 경우(S316: 예), 제어부(140)는 카메라 장치(100)를 제어하여 촬영 동작을 수행한다(S318). 그에 따라 카메라(110)는 렌즈를 통해 입력되는 영상 프레임, 즉 현재 프레임을 이미지 파일로 변환하여 메모리(130)에 저장할 수 있다. 또한 제어부(140)의 제어 하에 카메라 장치(100)는 메모리(130)에 저장된 이미지 파일을 디스플레이부(154)를 통해 표시할 수도 있다.If the result of the determination in step S312 is not the zoom out gesture (S312: NO), the
본 실시예에서는 제어부(140)가 단계 S306에서 검출된 피사체의 움직임이, 줌 인 제스처인지 여부를 판단하고, 줌 아웃 제스처인지 여부를 판단한 후, 촬영 제스처인지 여부를 판단하는 순서를 따랐으나 다른 실시예에 따라 다른 순서로 제스처 UI의 종류를 판단할 수도 있다. 또한 다른 실시예에 따라 제어부(140)는 단계 S306에서 검출된 피사체의 움직임과 동일한 제스처 UI를, 메모리(130)에서 검색할 수도 있다.In the present embodiment, the
도 4는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 또 다른 예를 나타낸 순서도이다. 도 4에서는 카메라 장치(100)에 입력되는 제스처 UI가 촬영을 위한 제스처 UI 또는 줌 인을 위한 UI인 것으로 가정하기로 한다.4 is a flowchart illustrating still another example of a method of controlling an operation of the camera apparatus shown in FIG. 1. In FIG. 4, it is assumed that a gesture UI input to the
또한 도 4에서는 카메라(110)를 통해 입력되는 피사체의 제스처 UI의 종류를 판단하기 위한 값, gmask가 true(=1)로 설정되어 있는 것으로 가정한다. 즉 메모리(130)에 gmask로서 true(=1)가 이미 저장된 상태인 것으로 가정한다.In FIG. 4, it is assumed that a value for determining a type of a gesture UI of a subject input through the
원형 제스처는 줌 인 동작을 위한 제스처 UI이고, 선형 제스처는 촬영 동작을 위한 제스처 UI인 것으로 가정한다. 또한 본 실시예에서 제스처 인식부(120)에 의해 예측되는 움직임 궤적의 값은, 원형 제스처일 때 '1'이고, 선형 제스처일 때 '0'인 것으로 가정한다.It is assumed that the circular gesture is the gesture UI for the zoom-in operation, and the linear gesture is the gesture UI for the shooting operation. In addition, in the present embodiment, it is assumed that the value of the motion trajectory predicted by the
카메라 장치(100)는 카메라(110)를 통해 입력되는 영상을 수신한다. 카메라(110)는 카메라(110)를 통해 입력된 영상을 이용하여 영상 프레임을 생성하고, 생성된 영상 프레임, 즉 현재 프레임을 제스처 인식부(120)로 전달한다.The
제스처 인식부(120)는 영상 프레임에 포함된 피사체를 검출한다(S402). 또한 제스처 인식부(120)는 단계 S402에서 검출된 피사체의 움직임을 검출한다(S404). 피사체의 움직임이 검출되었으면, 제스처 인식부(120)는 피사체가 움직인 영역, 즉 움직임 영역을 검출한다(S406). 움직임 영역이 검출되면, 제스처 인식부(120)는 움직임 영역에서의 피사체의 움직임 궤적을 예측한다(S408). '움직임 궤적'은, 피사체가 움직임으로써 피사체의 적어도 일부가 영상 프레임들 내에서 이동한 이동 경로를 가리킨다. 제스처 인식부(120)는 이전 프레임들에 포함된 제1움직임 영역들 및 현재 프레임들에 포함된 제2움직임 영역을 기초로 상기 제1 및 제2움직임 영역들 안에서의 피사체의 움직임을 예측할 수 있다.The
실시예에 따라 단계 S408에서, 제어부(140)는 움직임 궤적이 원형 제스처(=true)인지인지 또는 선형 제스처(=false)인지 여부를 예측할 수 있다. 그에 따라 단계 S410에서, 제어부(140)는 gmask와, 단계 S408에서 예측된 움직임 궤적의 값(true 또는 false)을 비교할 수 있다. According to an embodiment, in step S408, the
제어부(140)는 gmask가 true(=1)인지 여부를 판단한다(S410). 단계 S410의 판단결과 true인 경우(S410: 예), 제어부(140)는 단계 S404에서 검출된 피사체의 움직임이 원형 제스처인 것으로 결정한다(S412). 원형 제스처는 카메라 장치(100)에 의해 예측된 피사체의 움직임 궤적이 원형인 제스처를 가리킨다. 피사체는 손을 이용하여 원 또는 타원을 그리는 동작을 행함으로써 원형 제스처를 카메라(110)에 입력할 수 있다.The
제어부(140)는 원형 제스처, 더 정확히는 피사체에 의하여 그려지는 원의 중앙각이 270° 이상인지 여부를 판단한다(S414). 원의 중앙각이 270° 이상인지 여부를 판단하는 것은, 피사체가 원을 덜 그렸거나 또는 피사체에 그려진 원의 일부가 렌즈 화각을 벗어난 경우에도 피사체에 의하여 그려지는 원을 원형 제스처로서 결정하기 위함이다. 즉, 원의 중앙각 270°는 피사체에 의하여 입력되는 움직임이 제스처 UI에 포함되는 움직임인지 여부를 판단하기 위한 기준값이 된다. 실시예에 따라 원의 중앙각은 180°, 360° 등 다양한 값이 될 수 있다. 또한 중앙각은 원의 중심에 대하여 피사체에 의해 그려지는 원의 호가 이루는 각, 즉 중심각이다. 본 실시예에서는 중앙각이 270° 이상인 경우에만 제어부(140)가 피사체의 움직임을 원형 제스처에 해당하는 제스처 UI로 인정하고, 원형 제스처에 대응하는 동작을 수행하기로 한다.The
단계 S414의 판단결과 중앙각이 270° 이상인 경우(S414: 예), 제어부(140)는 카메라 장치(100)를 제어하여 줌 인 동작을 수행한다(S416),If the center angle is 270 ° or more as a result of the determination in step S414 (S414: Yes), the
단계 S414의 판단결과 중앙각이 270° 미만인 경우(S414: 아니오), 제어부(140)는 gmask를 ture의 반대값, 즉 false(=0)로 변경한다(S424). 중앙각이 270° 미만이므로, 제스처 UI는 원형 제스처가 아니다. 따라서 제어부(140)는 상기 제스처 UI가 선형 제스처에 해당하는지 여부를 판단할 수 있다. 제어부(410)는 단계 S410 내지 S422를 반복함으로써, 선형 제스처에 대응하는 동작을 수행하도록 카메라 장치(100)를 제어할 수 있다.As a result of the determination in step S414, when the center angle is less than 270 ° (S414: No), the
단계 S410의 판단결과 true(=1)가 아닌 경우(S410: 아니오), 즉 gmask가 flase(=0)인 경우 제어부(140)는 단계 S404에서 검출된 피사체의 움직임이 선형 제스처인 것으로 결정한다(S418). 선형 제스처는 카메라(110)의 렌즈를 통해 입력되는 피사체의 움직임이 선형인 제스처를 가리킨다. 피사체는 손을 이용하여 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 일직선을 그림으로써 선형 제스처를 카메라(110)에 입력할 수 있다. 또한 피사체는 위에서 아래로 또는 아래에서 위로 일직선을 그림으로써 선형 제스처를 카메라(110)에 입력할 수 있다.If the determination result in step S410 is not true (= 1) (S410: NO), that is, if the gmask is flase (= 0), the
제어부(140)는 선형 제스처가 기준값 이상인지 여부를 판단한다(S420). 이때 기준값 또한 피사체가 일직선을 그리는 과정에서 일직선을 덜 그렸거나 또는 일직선의 일부가 렌즈 화각을 벗어난 경우에도 피사체에 그려진 일직선을 선형 제스처로서 결정하기 위한 것이다. 예를 들어, 피사체가 손을 이용하여 왼쪽에서 오른쪽으로 30cm 이상 그린 일직선이 선형 제스처라고 가정하면, 카메라 장치(100)의 제어부(140)는 피사체에 의해 그려진 일직선이 25cm 이상이 되면 선형 제스처인 것으로 결정할 수 있다. 단계 S420에서는 상기 25cm가 기준값이 될 수 있다.The
단계 S420의 판단결과 기준값 이상인 경우(S420: 예), 제어부(140)는 카메라 장치(100)를 제어하여 촬영 동작을 수행한다(S422)If the determination result of step S420 is greater than or equal to the reference value (S420: YES), the
단계 S420의 판단결과 기준값 미만인 경우(S420: 아니오), 제어부(140)는 gmask를 false의 반대값, 즉 true(=1)로 변경한다(S426). 중앙각이 270° 미만이므로, 제스처 UI는 원형 제스처가 아니다. 따라서 제어부(140)는 상기 제스처 UI가 원형 제스처에 해당하는지 여부를 판단할 수 있다. 제어부(410)는 단계 S410 내지 S416를 반복함으로써, 원형 제스처에 대응하는 동작을 수행하도록 카메라 장치(100)를 제어할 수 있다.If the determination result in step S420 is less than the reference value (S420: no), the
도 5는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 또 다른 예를 나타낸 순서도이다5 is a flowchart illustrating still another example of a method of controlling an operation of the camera apparatus shown in FIG. 1.
도 5를 참조하면, 카메라 장치(100)의 제스처 인식부(120)는 제스처 UI로서 제1제스처를 검출한다(S502).Referring to FIG. 5, the
단계 S502 이전에 카메라 장치(100)는 카메라(110)를 통해 입력되는 적어도 하나의 제스처 UI를 검출한다. 제스처 인식부(120)가 제스처 UI를 검출하는 과정은 다음과 같다. 카메라(110)는 렌즈를 통해 입력되는 영상을 이용하여 영상 프레임을 생성한다. 또한 카메라(110)는 상기 영상 프레임, 즉 현재 프레임을 제스처 인식부(120)로 전달한다. 제스처 인식부(120)는 영상 프레임에 포함된 피사체를 검출한다. 또한 제스처 인식부(120)는 영상 프레임에서 움직임 영역을 검출한다. 움직임 영역이 검출되면, 제스처 인식부(120)는 움직임 영역에서의 피사체의 움직임 궤적을 결정한다. 제스처 인식부(120)는 이전 프레임들에 포함된 제1움직임 영역들 및 현재 프레임들에 포함된 제2움직임 영역을 기초로 상기 제1 및 제2움직임 영역들 안에서의 피사체의 움직임을 결정할 수 있다. 본 실시예에서는 설명의 편이를 위하여 제스처 인식부(120)가 제스처 UI를 검출하는 과정은 도면에서 생략하였다.Before operation S502, the
제1제스처가 검출되면, 제어부(140)는 상기 제1제스처에 대응하는 동작을 결정한다(S504). 제어부(140)는 기준 시간 이내에 제2제스처가 입력되는지 여부를 판단한다(S506).When the first gesture is detected, the
단계 S506의 판단 결과 기준 시간 이내에 제2제스처가 입력되지 않으면(S506: 아니오), 카메라 장치(100)는 제1제스처에 대응하는 동작만을 수행한다 (S514).If the second gesture is not input within the reference time as a result of the determination in step S506 (S506: No), the
단계 S506의 판단 결과 기준 시간 이내에 제2제스처가 입력되면(S506: 예), 제어부(140)는 제1제스처 및 제2제스처를 연속 제스처 UI로 결정한다(S508). 제어부(140)는 상기 연속 제스처 UI에 대응하는 동작을 결정한다(S510). 카메라 장치(100)는 상기 연속 제스처 UI에 대응하는 동작을 수행한다(S512)If the second gesture is input within the reference time as a result of the determination in step S506 (S506: Yes), the
본 실시예에서 하나의 제스처를 포함하는 제스처 UI에 대응하는 동작과, 적어도 두 개의 제스처를 포함하는 연속 제스처 UI에 대응하는 동작은 서로 다를 수 있다. 예를 들어, 제1제스처에 대응하는 동작이 줌 인이라고 가정한다. 상기 제1제스처 및 제2제스처로 이루어지는 연속 제스처 UI에 대응하는 동작은 카메라 장치(100)의 촬영 모드 변경일 수 있다. 상기의 예에 따라 카메라(110)를 통해 피사체로부터 제1제스처만 입력된 경우에는 카메라 장치(100)는 줌 인 동작을 수행한다. 반면에 피사체로부터 제1제스처 및 제2제스처가 연속으로 입려되는 연속 제스처 UI가 입력되면, 카메라 장치(100)는 촬영 모드를 변경한다.In this embodiment, the operation corresponding to the gesture UI including one gesture and the operation corresponding to the continuous gesture UI including at least two gestures may be different. For example, assume that an operation corresponding to the first gesture is zoom in. An operation corresponding to the continuous gesture UI including the first gesture and the second gesture may be a change of a shooting mode of the
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른 제스처 UI들을 나타낸 도면이다. 도 6a 내지 도 6d에서는 피사체가 카메라 장치(100)를 사용하는 사용자인 것으로 가정한다.6A to 6D illustrate gesture UIs according to an embodiment of the present invention. 6A to 6D, it is assumed that the subject is a user who uses the
도 6a는 카메라 장치(100)에 줌 인을 요청하는 줌 인 제스처이고, 도 6b는 줌 아웃을 요청하는 줌 아웃 제스처이다. 피사체가 손을 시계 방향으로 회전시키는 줌 인 제스처를 취하면, 카메라 장치(100)는 상기 줌 인 제스처를 감지하여 줌 인 동작을 수행한다. 피사체가 손을 반시계 방향으로 회전시키는 줌 아웃 제스처를 취하면, 카메라 장치(100)는 상기 줌 아웃 제스처를 감지하여 줌 아웃 동작을 수행한다.6A is a zoom in gesture for requesting a zoom in to the
도 6c 및 도 6d는 촬영을 요청하는 수직 제스처 및 수평 제스처이다. 피사체가 손을 수직방향으로 하강시키거나 또는 손을 수직방향으로 상승시키는 수직 제스처를 취하면, 카메라 장치(100)는 상기 수직 제스처를 감지하여 촬영 동작을 수행한다. 또한 피사체가 손을 수평방향으로 우측에서 좌측으로 이동시키거나 또는 손을 수평방향으로 좌측에서 우측으로 이동시키는 수평 제스처를 취하면, 카메라 장치(100)는 상기 수평 제스처를 감지하여 피사체를 촬영한다.6C and 6D are vertical gestures and horizontal gestures for requesting photographing. When the subject takes a vertical gesture of lowering the hand in the vertical direction or raising the hand in the vertical direction, the
상기와 같이 피사체, 즉 사용자는 도 6a 및 도 6b에 도시된 제스처 UI들에 대응하는 움직임을 취함으로써, 카메라 장치(100)를 직접 조작하지 않고도 카메라(110)의 렌즈를 줌 인 또는 줌 아웃시킬 수 있다. 또한 피사체는 도 6c 및 도 6d에 도시된 제스처 UI들에 대응하는 움직임을 취함으로써 카메라 장치(100)를 직접 조작하지 않고도 피사체 자신을 촬영하도록 카메라 장치(100)를 제어할 수 있다.As described above, the subject, ie, the user, takes a movement corresponding to the gesture UIs illustrated in FIGS. 6A and 6B to zoom in or zoom out the lens of the
도 7a는 본 발명의 다른 실시예에 따른 제스처 UI를 나타낸 도면이고, 도 7b 및 도 7c는 연속 제스처 UI에 따라 디스플레이부(154)에 표시되는 영상 프레임을 나타낸 도면이다. 도 7b 및 도 7c의 연속 제스처 UI들 각각은 카메라(110)의 줌 인 동작 및 카메라(110)의 줌 아웃 동작을 수행하기 위한 것이라 가정하기로 한다.7A is a diagram illustrating a gesture UI according to another exemplary embodiment of the present invention, and FIGS. 7B and 7C are diagrams illustrating an image frame displayed on the
도 7a를 참조하면, 제스처 인식부(120)는 카메라(110)를 통해 실시간으로 생성된 영상 프레임(이하, 원본 프레임)(720)에 포함된 움직임 영역(700)을 검출하고, 상기 움직임 영역(700)에서의 피사체의 움직임을 추적하거나 또는 결정한다. 본 실시예에서 피사체는 손을 시계 방향으로 회전시키는 CW(Counter Wise) 제스처(702) 또는 손을 반시계 방향으로 회전시키는 CCW(CounterClock Wise) 제스처(712)를 제스처 UI로서 카메라 장치(100)에 입력하는 것으로 가정한다.Referring to FIG. 7A, the
도 7b를 참조하면, 피사체는 제1CW 제스처(702)를 입력한 직후에 제2CW 제스처(704)를 카메라 장치(100)로 입력하고 있다. 제2CW 제스처(704)를 취할 때, 피사체는 손을 중심각 A° 회전시킨 것으로 가정한다. 도 7b에서와 같이, 피사체는 제1CW 제스처(702) 및 제2CW 제스처(704)를 순차적으로 취함으로써 연속 제스처 UI를 카메라(110)에 입력할 수 있다.Referring to FIG. 7B, the subject is inputting the second CW gesture 704 to the
도 7b의 연속 제스처 UI는 카메라(110)의 줌 인 동작을 수행하기 위한 것이다. 피사체는 제1CW 제스처(702)를 취함으로써 줌 인을 카메라 장치(100)에 요청하고, 제1CW 제스처(702)와 연속되는 제2CW 제스처(704)를 취함으로써 줌 인 배율을 카메라 장치(100)에 입력할 수 있다. 도 7b에서 배율이 제2CW 제스처(704)의 중심각에 대응하고, A°에 대응하는 배율이 '3배'라고 가정하기로 한다. 제어부(140)는 카메라(110)의 렌즈를 3배 줌 인하도록 카메라(110)를 제어하고, 카메라(110)는 렌즈가 3배 줌 인된 경우의 영상 프레임(이하, 확대 프레임)(730)을 생성한다.The continuous gesture UI of FIG. 7B is for performing a zoom in operation of the
도 7c를 참조하면, 피사체는 제1CCW 제스처(712)를 입력한 직후에 제2CCW 제스처(714)를 카메라 장치(100)로 입력하고 있다. 제2CCW 제스처(714)를 취할 때, 피사체는 손을 중심각 B° 회전시킨 것으로 가정한다. 도 7c에서와 같이, 피사체는 제1CCW 제스처(712) 및 제2CCW 제스처(714)를 순차적으로 취함으로써 연속 제스처 UI를 카메라 장치(100)에 입력할 수 있다.Referring to FIG. 7C, the subject is inputting the
도 7c의 연속 제스처 UI는 카메라(110)의 줌 아웃 동작을 수행하기 위한 것이다. 피사체는 제1CCW 제스처(712)를 취함으로써 줌 아웃을 카메라 장치(100)에 요청하고, 제1CCW 제스처(712)와 연속되는 제2CCW 제스처(714)를 취함으로써 줌 아웃 배율을 카메라 장치(100)에 입력할 수 있다. 도 7c에서 배율이 제2CCW 제스처(714)의 중심각에 대응하고, B°에 대응하는 배율이 '1/2'라고 가정하기로 한다. 제어부(140)는 카메라(110)의 렌즈를 1/2배 줌 아웃하도록 카메라(110)를 제어하고, 카메라(110)는 렌즈가 1/2 줌 아웃된 경우의 영상 프레임(이하, 축소 프레임)(740)을 생성한다.The continuous gesture UI of FIG. 7C is for performing a zoom out operation of the
도 7c를 참조하면, 제1CCW 제스처(712)가 입력되었을 때에 디스플레이부(154)에는 확대 프레임(730)이 표시되고 있었다. 제2CCW 제스처(714)가 입력됨에 따라 디스플레이부(154)에는 상기 확대 프레임(730)의 배율을 1/2로 축소한 축소 프레임(740)이 표시된다.Referring to FIG. 7C, when the
도 8a 내지 도 8d는 도 7b에 도시된 제2제스처 UI를 나타낸 도면이다. 도 8a 내지 도 8d는 모두 원형의 제2제스처 UI로서 도 7b의 제1제스처 UI, 즉 제1CW 제스처(702)가 피사체(800)로부터 카메라 장치(100)로 입력된 이후에 입력될 수 있다.8A to 8D illustrate the second gesture UI illustrated in FIG. 7B. 8A to 8D are all circular second gesture UIs, which may be input after the first gesture UI of FIG. 7B, that is, the
본 실시예에서 피사체(800)는 도 8a 내지 도 8d에 도시된 바와 같이 각기 다른 중심각을 가지는 원형의 제2제스처 UI를 손으로 그려냄으로써 카메라 장치(100)에 각기 다른 배율의 줌 인을 요청할 수 있다.8A to 8D, the
도 8a는 중심각이 90°인 제2제스처 UI, 도 8b는 180°인 제2제스처 UI, 도 8c는 중심각이 270°인 제2제스처 UI, 도 8d는 중심각이 360°인 제2제스처 UI이다. 도 8a 내지 도 8d에서, 줌 인 배율은 중심각에 따라 90°이면 2배, 180°이면 3배, 270°이면 4배, 360°이면 5배인 것으로 가정한다.8A is a second gesture UI having a center angle of 90 °, FIG. 8B is a second gesture UI having a 180 ° angle, FIG. 8C is a second gesture UI having a center angle of 270 °, and FIG. 8D is a second gesture UI having a center angle of 360 °. . 8A to 8D, it is assumed that the zoom-in magnification is 2 times at 90 °, 3 times at 180 °, 4 times at 270 °, and 5 times at 360 °.
본 실시예에 따르면, 사용자, 즉 피사체(800)는 각각의 배율에 대응하는 제2제스처 UI를 손으로 그려냄으로써 원하는 줌 인 배율을 카메라 장치(100)에 요청할 수 있다. 또한 도 8a 내지 도 8d에 도시된 바와 같이, 피사체(800)는 손으로 그리는 원이 원하는 배율에 해당하는 중심각을 가지게 되면, 해당 중심각이 된 지점(801, 802, 803)에서 손의 움직임을 멈춤으로써 제2제스처 UI의 입력이 완료되었음을 카메라 장치(100)에 알릴 수 있다. 상기 지점들(801, 802, 803)에서 피사체(800)의 움직임이 멈추면, 카메라 장치(100)의 제어부(140)는 피사체(800)의 손에 의해 그려진 원형의 중심각을 추정하도록 제스처 인식부(120)를 제어할 수 있다. 제스처 인식부(120)에 의하여 상기 중심각이 추정되면, 제어부(140)는 상기 중심각에 대응하는 배율로 줌 인되도록 카메라(110)를 제어한다.According to the present exemplary embodiment, the user, that is, the subject 800 may request the
다른 실시예에 따라 손으로 그리는 원이 원하는 배율에 해당하는 중심각을 가지게 되면, 피사체(800)는 손을 원위치시킴으로써 제2제스처 UI의 입력을 완료할 수 있다. 해당 중심각이 된 지점(801, 802, 803)에서 원점(811, 812, 813, 814)으로 손이 원위치되면, 카메라 장치(100)의 제어부(140)는 피사체(800)의 손에 의해 그려진 원형의 중심각을 추정하도록 제스처 인식부(120)를 제어할 수 있다. 제스처 인식부(120)에 의하여 상기 중심각이 추정되면, 제어부(140)는 상기 중심각에 대응하는 배율로 줌 인되도록 카메라(110)를 제어한다.According to another embodiment, when the circle drawn by the hand has the center angle corresponding to the desired magnification, the subject 800 may complete the input of the second gesture UI by returning the hand. When the hand is returned to the
도 9는 도 1에 도시된 카메라 장치의 동작을 제어하는 방법의 또 다른 예를 나타낸 순서도이다.9 is a flowchart illustrating still another example of a method of controlling an operation of the camera apparatus shown in FIG. 1.
도 9를 참조하면, 카메라 장치(100)는 줌을 초기화한다(S902). 단계 S902에서 카메라 장치(100)는 카메라(110)를 구동한 상태인 것으로 가정하며, 그에 따라 카메라(110)에 포함된 렌즈의 줌을 초기화한다.Referring to FIG. 9, the
또한 도 9에서 카메라 장치(100)의 줌은 아날로그 줌과 디지털 줌으로 나눌 수 있다. 아날로그 줌은 렌즈를 통해 입력되는 영상 안에서의 피사체의 크기를 늘리거나 줄이기 위하여 카메라 장치(100)가 카메라(110)의 렌즈를 물리적으로 움직이는 것을 의미한다. 디지털 줌은 렌즈를 통해 입력되는 영상 안에서의 피사체의 크기를 늘리거나 줄이기 위하여 카메라(110)에 의하여 생성된 영상 프레임의 적어도 일부를 확대하거나 축소하는 것을 의미한다.In addition, in FIG. 9, the zoom of the
본 실시예에 따른 카메라 장치(100)는 사용자로부터 줌 인/아웃 동작을 위한 사용자 입력을 수신하면, 아날로그 줌 인/아웃 동작을 수행하는 것으로 가정한다. 또한 본 실시예에 따른 카메라 장치(100)는, 촬영을 위한 사용자 입력이 입력되기 전까지는 디지털 줌 인/아웃의 디지털 줌을 이용하여 줌 인/아웃한 피사체를 디스플레이부(154)에 표시하는 것으로 가정한다.When the
카메라 장치(100)는 카메라(110)를 통해 입력되는 영상을 수신하여 피사체를 검출한다(S904). 카메라 장치(100)는 실시간으로 피사체의 움직임을 추적한다(S906). 카메라 장치(100)는 카메라(110)를 통해 입력되는 영상을 수신하고, 카메라(110)는 상기 영상을 이용하여 영상 프레임을 생성한다. 또한 제스처 인식부(120)는 적어도 하나의 이전 프레임과 현재 프레임을 비교하여 피사체의 움직임을 검출함으로써 피사체의 움직임을 실시간으로 추적할 수 있다.The
실시간으로 추적된 움직임이 제스처 UI이면, 제어부(140)는 카메라(110)로부터 제스처 UI가 입력된 것으로 결정한다. 카메라 장치(100)의 카메라(110)가 피사체로부터 제스처 UI를 수신하면(S908), 제어부(140)는 상기 제스처 UI가 줌 인 제스처인지 여부를 판단한다(S910).If the movement tracked in real time is a gesture UI, the
단계 S910의 판단결과 줌 인 제스처인 경우(S910: 예), 제어부(140)는 카메라 장치(100)를 제어하여 디지털 줌으로 줌 인 동작을 수행한다(S912). 그에 따라 디스플레이부(154)에는 줌 인된 피사체의 영상이 표시된다. 이후 카메라 장치(100)는 실시간으로 피사체의 움직임을 추적함으로써(S906) 지속적으로 피사체로부터 제스처 UI를 입력받을 수 있다.If the result of the determination in step S910 is a zoom-in gesture (S910: Yes), the
단계 S910의 판단결과 줌 인 제스처가 아닌 경우(S910: 아니오), 제어부(140)는 단계 S908에서 수신한 제스처 UI가 줌 아웃 제스처인지 여부를 판단한다(S914). 단계 S914의 판단결과 줌 아웃 제스처인 경우(S914: 예), 제어부(140)는 카메라 장치(100)를 제어하여 디지털 줌으로 줌 아웃 동작을 수행한다(S916). 그에 따라 디스플레이부(154)에는 줌 아웃된 피사체의 영상의 표시될 수 있다. 이후 카메라 장치(100)는 실시간으로 피사체의 움직임을 추적함으로써(S906) 지속적으로 피사체로부터 제스처 UI를 입력받을 수 있다.If the determination result in step S910 is not a zoom in gesture (S910: NO), the
단계 S916의 판단결과 줌 아웃 제스처가 아닌 경우(S916: 아니오), 제어부(140)는 단계 S906에서 수신한 제스처 UI가 촬영 제스처인지 여부를 판단한다(S918). 단계 S918의 판단결과 촬영 제스처인 경우(S918: 예), 제어부(140)는 카메라 장치(100)를 제어하여 디지털 줌을 아날로그 줌으로 전환한다(920). 예를 들어, 현재 디지털 줌으로 3배 줌 인 된 상태라고 가정하면, 제어부(140)는 아날로그 줌으로 3배 줌 인 된 상태로 전환하도록 카메라(110)를 제어한다. 이후, 카메라 장치(100)는 아날로그 줌으로 촬영 동작을 수행한다(S922).If the result of the determination in step S916 is not the zoom-out gesture (S916: No), the
상기와 ?이 본 발명에서는 촬영 제스처가 입력된 이후에만 디지털 줌을 아날로그 줌으로 전환할 수 있다. 그에 따라 촬영 동작이 수행되기 전, 도 9의 단계 S902 내지 S918까지의 과정에서 디스플레이부(154)를 통해 표시되는 영상 프레임은 디지털 줌에 의하여 처리된 영상 프레임일 수 있다.In the present invention, the digital zoom can be switched to the analog zoom only after the photographing gesture is input. Accordingly, before the photographing operation is performed, the image frame displayed through the
또한 도 9의 단계 S902 내지 S918까지의 과정에서 카메라(110)의 렌즈를 통해 입력되는 영상은 줌 인 제스처 또는 줌 아웃 제스처의 입력과 상관없이 동일할 수 있다. 즉 카메라 장치(100)는 줌 인/아웃의 최종 배율이 결정되면, 상기 최종 배율에 따라 카메라(110)의 광학 렌즈를 구동시킬 수 있다.In addition, the image input through the lens of the
도 10은 본 발명의 일 실시예에 따라 제스처 인식부에 의하여 인식되는 제스처 UI의 움직임 궤적을 나타낸 도면이고, 도 11은 본 발명의 다른 실시예에 따라 제스처 인식부에 의하여 인식되는 제스처 UI의 움직임 궤적을 나타낸 도면이다.FIG. 10 is a view illustrating a motion trajectory of a gesture UI recognized by a gesture recognition unit according to an embodiment of the present invention, and FIG. 11 is a movement of a gesture UI recognized by a gesture recognition unit according to another embodiment of the present invention. The figure shows the trajectory.
도 10 및 도 11은 모두 피사체로부터 연속적으로 입력되는 제2제스처 UI 및 영상 프레임 상에서 상기 제2제스처 UI에 따른 피사체의 움직임 궤적을 나타낸 도면이다.10 and 11 are diagrams illustrating movement trajectories of a subject according to the second gesture UI on a second gesture UI and an image frame which are continuously input from the subject.
도 10을 참조하면, 피사체(1001: 1001-1, 1001-2, 1001-3, 1001-4, 1001-5)는 손(1001-1, 1001-2, 1001-3, 1001-4, 1001-5)을 시계 방향으로 회전시킴으로써 원형 제스처(1010)를 연속적으로 카메라 장치(100)에 입력한다. 카메라 장치(100)는 상기 원형 제스처(1010)를 취하는 손들(1001-1, 1001-2, 1001-3, 1001-4, 1001-5) 각각에 의해 정해지는 중심각들 각각에 따라 줌 인 배율을 결정한다. 도 10에서는 원형 제스처(1010)의 중심점(1011) 및 원형 제스처(1010)의 시작점(1002)을 기준으로 각각의 중심각을 정하는 것으로 가정한다.Referring to FIG. 10, the subjects 1001: 1001-1, 1001-2, 1001-3, 1001-4, and 1001-5 may have the hands 1001-1, 1001-2, 1001-3, 1001-4, and 1001. The
도 10에서 피사체(1001)가 연속적으로 원형 제스처(1010)를 취함으로써, 즉 손(1001-1, 1001-2, 1001-3, 1001-4, 1001-5)이 연속적으로 움직임으로써 카메라(110)의 줌 인 배율이 연속적으로 변경된다.In FIG. 10, the subject 1001 continuously takes the
손(1001-2)이 제1지점(P1)에 도달하면, 제어부(140)는 제1중심각(A1°)에 대응하는 배율만큼 줌 인하도록 카메라 장치(100)를 제어할 수 있다. 이후, 손(1001-3)은 제2지점(P2)에 도달한다. 제어부(140)는 제2중심각(A2°)에 대응하는 배율만큼 줌 인하도록 카메라 장치(100)를 제어한다. 손(1001-4)이 제3지점(P3)에 도달하면, 제어부(140)는 제3중심각(A3°)에 대응하는 배율만큼 줌 인하도록 카메라 장치(100)를 제어한다. 손(1001-5)이 제4지점(P4)에 도달하면, 제어부(140)는 제4중심각(A4°)에 대응하는 배율만큼 줌 인하도록 카메라 장치(100)를 제어한다.When the hand 1001-2 reaches the first point P1, the
상기와 같이 손(1001-1, 1001-2, 1001-3, 1001-4, 1001-5)에 의하여 원형 제스처(1010)가 실시간으로 그려지는 동안에, 카메라 장치(100)의 줌 인 배율이 실시간으로 변경되므로 상기 손(1001-1, 1001-2, 1001-3, 1001-4, 1001-5)에 의해 그려지는 움직임 궤적(1020)은 원형 제스처(1010)와 일치하지 않을 수 있다.As described above, while the
상기와 같이 원형 제스처(1010)와 상기 원형 제스처(1010)에 의한 움직임 궤적(1020)이 일치하지 않는 경우, 카메라 장치(100)에 의하여 상기 원형 제스처(1010)가 올바르게 인식되지 않을 수 있다. 그에 따라 본 발명에서는 도 11과 같이 피사체(1100)로부터의 제스처 UI의 입력이 완료된 이후에 상기 제스처 UI의 움직임 궤적을 추적할 수도 있다.As described above, when the
도 11에서도 도 10과 마찬가지로, 피사체(1101: 1101-1, 1101-2, 1101-3, 1101-4, 1101-5)는 손(1101-1, 1101-2, 1101-3, 1101-4, 1101-5)을 시계 방향으로 회전시킴으로써 원형 제스처(1110)를 연속적으로 카메라 장치(100)에 입력한다. In FIG. 11, as in FIG. 10, the subjects 1101: 1101-1, 1101-2, 1101-3, 1101-4, and 1101-5 may have the hands 1101-1, 1101-2, 1101-3, and 1101-4. , 1101-5, rotates clockwise to input
도 11에서도 피사체(1101)가 연속적으로 원형 제스처(1110)를 취함으로써, 즉 손(1101-1, 1101-2, 1101-3, 1101-4, 1101-5)이 연속적으로 움직임으로써 카메라(110)의 줌 인 배율이 연속적으로 변경된다. 그러나 도 11에서의 제어부(140)는 카메라(110)의 렌즈를 실시간으로 구동하지 않고, 원형 제스처(1110)의 입력이 완료될 때까지 대기한다.Also in FIG. 11, the
손(1101-1, 1101-2, 1101-3, 1101-4, 1101-5)에 의하여 원형 제스처(1110)의 입력이 완료되면, 제스처 인식부(120)는 상기 원형 제스처(1110) 즉 제스처 UI의 입력이 완료된 지점(1102)을 기준으로 하여 피사체(1101)의 움직임 궤적(1121)을 추정한다. 이때 움직임 궤적(1121)은 원형 제스처(1110)에 의해 입력된 최종 배율에 따른 것일 수 있다. 예를 들어, 도 11의 손(1101-1, 1101-2, 1101-3, 1101-4, 1101-5)에 의해 그려진 원형 제스처(1110)의 줌 인 배율이 순차적으로 "2배→3배→4배→5배→6배"라고 가정한다. 제스처 인식부(120)는 원형 제스처(1110)에 의한 움직임 궤적(1121)을, 줌 인 배율 "6배"에 대응하는 움직임 궤적으로 추정할 수 있다. 그에 따라 제어부(140)는 카메라(110)의 렌즈가 6배 줌 인되도록 제어한다.When the input of the
도 12a는 도 9에 도시된 방법에 따라 동작하는 카메라 장치의 디스플레이부에 표시되는 영상이고, 도 12b는 카메라 장치의 렌즈를 통해 입력 및 촬영되는 영상을 나타낸 도면이다. 본 실시예에서 카메라(110)의 렌즈는 전진 또는 후진 운동을 통하여 피사체(1200)를 아날로그 줌 인 또는 줌 아웃할 수 있는 것으로 가정한다.FIG. 12A is an image displayed on a display unit of a camera device operating according to the method shown in FIG. 9, and FIG. 12B is a view showing an image input and photographed through a lens of the camera device. In the present embodiment, it is assumed that the lens of the
도 12a를 참조하면, 카메라(110)의 렌즈에 피사체가 포함된 영상이 입력되어 제1영상 프레임(1201)이 디스플레이부(154)에 표시된다. 피사체(1200)에 의하여 줌 인 제스처가 입력되면, 제어부(140)는 상기 제1영상 프레임(1201)을 소프트웨어적으로 확대하는 디지털 줌 인 동작을 수행하도록 카메라 장치(100)를 제어한다. 그에 따라 디스플레이부(154)에는 상기 제1영상 프레임(1201)이 확대된 제2영상 프레임(1202)가 표시된다. 본 실시예에서는 설명의 편이를 위하여, 제1영상 프레임(1201)에 줌 인 배율 2배를 적용한 것이 제2영상 프레임(1202)이라고 가정한다. Referring to FIG. 12A, an image including a subject is input to a lens of the
도 12a에서 피사체(1200)는, 제2영상 프레임(1202)이 표시된 이후에 또 한 번의 줌 인 제스처를 카메라 장치(100)에 입력하였다. 제어부(140)는 다시 제2영상 프레임(1202)을 소프트웨어적으로 확대하는 디지털 줌 인 동작을 수행하도록 카메라 장치(100)를 제어한다. 그에 따라 디스플레이부(154)에는 상기 제2영상 프레임(1202)이 확대된 제3영상 프레임(1203)이 표시된다. 본 실시예에서는 설명의 편이를 위하여, 제2영상 프레임(1202)에 줌 인 배율 2배를 적용한 것이 제3영상 프레임(1203)이라고 가정한다. 즉 제1영상 프레임(1201)이 4배 확대된 것이 제3영상 프레임(1203)이다.In FIG. 12A, the subject 1200 inputs another zoom-in gesture to the
제3영상 프레임(1203)이 표시된 이후에 피사체(1200)로부터 촬영 제스처가 입력되면, 카메라 장치(100)는 촬영 동작을 수행한다. 본 실시예에서 카메라 장치(100)는 촬영을 위한 사용자 입력이 입력되어야만 아날로그 줌 인 동작을 수행할 수 있다. 그에 따라 제어부(140)는 두 번의 디지털 줌 인과 동일한 배율을 가지도록 카메라(110)의 렌즈를 제어한다.When the photographing gesture is input from the subject 1200 after the
제2영상 프레임(1202)이 제1영상 프레임(1201)을 2배 줌 인한 것이고, 제3영상 프레임(1203)이 제2영상 프레임(1202)을 2배 줌 인한 것이므로, 제3영상 프레임(1203)은 제1영상 프레임(1201)을 4배 줌 인한 것이 된다. 제어부(140)는 렌즈가 아날로그 줌으로 4배 줌 인될 수 있도록 카메라(110)를 제어한다. 렌즈가 4배 줌 인된 상태에서 카메라 장치(100)는 촬영 동작을 수행하여 제4프레임(1204)을 생성한다. 상기와 같이 본 실시예에 따른 카메라 장치(100)는, 디지털 줌을 아날로그 줌으로 전환하여 촬영함으로써 디지털 줌으로 인한 화질 열화를 방지할 수 있다.Since the
도 12b는 도 12a와 같이 디지털 줌 인된 영상 프레임들(1201, 1202, 1203)이 표시될 동안 카메라(110)의 렌즈를 통해 입력되는 실제 영상들을 나타낸 것이다. 도 12b를 참조하면, 렌즈를 통해 입력되는 실제 영상은 촬영 제스처의 입력 이전까지 제1영상 프레임(1201)으로 동일함을 알 수 있다. 카메라 장치(100)는 피사체(1200)로부터 촬영 제스처가 입력되면, 아날로그 줌 인 동작을 수행하여 제4영상 프레임(1204)을 생성한다. 상기와 같이 본 실시예에 따른 카메라 장치(100)는 촬영 제스처가 입력되기 전까지는 아날로그 줌 인/아웃 동작을 수행하지 않을 수 있다.FIG. 12B illustrates actual images input through the lens of the
디지털 줌 인/아웃은 영상 프레임을 디지털 처리 방식으로 확대 표시하거나 또는 축소 표시함으로써 줌 효과를 얻는 것이다. 디지털 줌 인/아웃은 소프트웨어적으로 구현이 가능하고 실시간 처리가 가능하다. 반면에 아날로그 줌 인/아웃은 카메라 장치(100)에 내장 또는 외장된 렌즈를 물리적으로 움직여야 얻어질 수 있다. 그에 따라 카메라 장치(100)에서의 아날로그 줌 인/아웃은, 줌 인/아웃 배율에 해당하는 만큼 렌즈가 물리적으로 움직이는 시간이 필요하다. 한편 영상 프레임의 화질은 아날로그 줌 인/아웃의 경우가 디지털 줌 인/아웃보다 대체적으로 월등하다. 그에 따라 본 발명에서는 촬영을 위한 사용자 입력이 입력되기 전까지는, 카메라(110)의 렌즈가 움직이는 시간만큼의 처리 지연을 방지하기 위하여 디지털 줌 인/아웃 처리한 영상 프레임을 디스플레이부(154)에 표시하기로 한다. 또한 촬영을 위한 사용자 입력이 입력되면, 카메라 장치(100)는 이전의 디지털 줌 인/아웃된 배율만큼 카메라(110)의 렌즈를 움직여 아날로그 줌 인/아웃 동작을 수행한다.Digital zoom in / out is a zoom effect obtained by enlarging or reducing an image frame by digital processing. Digital zoom in / out can be implemented in software and can be processed in real time. On the other hand, analog zoom in / out can be obtained by physically moving a lens built in or external to the
도 13은 본 발명의 일 실시예에 따른 연속 제스처 UI 및 연속 제스처 UI에 따른 이미지 처리를 나타낸 도면이다.13 is a diagram illustrating a continuous gesture UI and image processing according to a continuous gesture UI according to an embodiment of the present invention.
도 13에 도시된 연속 제스처 UI는 줌 인/아웃과 연관된 것이다. 피사체(1300)는 활짝 펴고 있던 손바닥을 접음으로써, 예를 들어 주먹 쥐는 형태로 변형함으로써 줌 인/아웃을 요청할 수 있다. 상기와 같은 제스처 UI가 카메라 장치(100)에 입력되면, 영상 프레임들(1301, 1302, 1303)의 상단에 줌 인/아웃을 위한 줌 바(Zoom bar)(1310)가 표시될 수 있다. 줌 바(1310)는 줌 인/아웃 배율을 나타내는 숫자 및 현재의 배율을 나타내는 식별자(1311)를 더 포함할 수 있다. 도 13에서 줌 인/아웃 배율은, 식별자(1311) 위의 숫자이다.The continuous gesture UI shown in FIG. 13 is associated with zoom in / out. The subject 1300 may request the zoom in / out by folding the palms that are being opened, for example, by transforming them into a clenched form. When the gesture UI is input to the
제1영상 프레임(1301)은 줌 인/아웃되지 않은 원본 이미지에 해당하므로 줌 바(1310)의 식별자(1311)가 가리키는 숫자가 '1'이다. 줌 바(1310)가 나타난 상태에서, 피사체(1300)는 손바닥을 접은 상태로 손을 좌 또는 우로 움직임으로써 식별자(1311)를 좌 또는 우로 이동시킨다. 도 13에서 피사체(1300)는 좌에서 우로 주먹쥔 손을 움직이고 있다. 그에 따라 줌 바(1310)의 식별자가 "1 → 4 → 7"의 순서로 이동하고 있다. 제2영상 프레임(1302)은 제1영상 프레임(1301)이 4배 줌 인된 이미지이고, 제3영상 프레임(1303)은 제1영상 프레임(1301)이 7배 줌 인 된 이미지이다. 피사체(1300)는 주먹 쥔 손을 좌 또는 우로 이동시킴으로써 원하는 배율로 피사체(1300)를 줌 인/아웃할 수 있다. 또한 원하는 배율로 피사체(1300)가 줌 인/아웃된 경우, 피사체(1300)는 접고 있던 손바닥을 펼침으로써 줌 인/아웃의 정지 또는 촬영을 카메라 장치(100)에 요청할 수 있다. 도 13에서 피사체(1300)는 주먹쥐고 있던 손을 활짝 폄으로써 카메라 장치(100)에 촬영을 요청하고 있다. 그에 따라 카메라 장치(100)는 피사체(1300)가 7배 줌 인되도록 렌즈를 움직인 이후 얻어지는 제3영상 프레임(1303)을 메모리(130)에 저장할 수 있다.Since the
도 14a 및 도 14b는 본 발명의 다른 실시예에 따른 연속 제스처 UI 및 연속 제스처 UI에 따른 이미지 처리를 나타낸 도면이다.14A and 14B illustrate an image processing according to a continuous gesture UI and a continuous gesture UI according to another embodiment of the present invention.
도 14a 및 도 14b에 도시된 연속 제스처 UI 또한 도 13과 마찬가지로 줌 인/아웃과 연관된 것이다. 줌 바(1410)가 디스플레이부(154)를 통해 표시되고 있는 상태에서, 피사체(1400)는 활짝 편 손(1401)을 좌우로 흔들어 원하는 줌 인/아웃 배율을 카메라 장치(100)에 입력할 수 있다. 실시예에 따라 손(1401)이 제1영상 프레임(1421) 및 줌 바(1410)과 함께 디스플레이부(154)를 통해 표시될 수 있다. 본 실시예에서는 손(1401)을 줌 바(1410)와 함께 실시간으로 표시함으로써, 피사체(1400)가 원하는 줌 인/아웃 배율을 입력하도록 한다.The continuous gesture UI shown in FIGS. 14A and 14B is also associated with zoom in / out like FIG. 13. While the
도 13과 마찬가지로 도 14a 및 도 14b의 줌 바(1410)는 줌 인/아웃 배율을 나타내는 숫자 및 현재의 배율을 나타내는 식별자(1411)를 더 포함할 수 있다. 도 14a 및 도 14b에서 줌 인/아웃 배율은, 식별자(1411) 위의 숫자이다.As in FIG. 13, the
제1영상 프레임(1421)은 줌 인/아웃되지 않은 원본 이미지에 해당하므로 줌 바(1410)의 식별자(1411)가 가리키는 숫자가 '1'이다. 줌 바(1410)가 나타난 상태에서, 피사체(1400)는 손(1401)을 흔듦으로써 줌 바(1410)에 표시된 숫자 중 어느 하나를 가리킬 수 있다. 줌 바(1410)의 숫자들 중 손(1401)이 가리키는 숫자가 피사체(1400)가 원하는 배율로서 카메라 장치(100)에 입력된다.Since the
도 14a에서 손(1401)은 줌 바(1410)의 '7'을 가리키고 있다. 즉 피사체(1400)는 줌 인 배율로 '7배'를 카메라 장치(100)에 입력하고 있는 것이다.In FIG. 14A, the
카메라(110)는 제1영상 프레임(1421)에서의 피사체(1400)를 7배 줌 인한 제2영상 프레임(1422)를 생성할 수 있으며, 디스플레이부(154)는 상기 제2영상 프레임(1422) 및 줌 바(1411)를 동시에 표시할 수 있다. 제2영상 프레임(1422)가 제1영상 프레임(1421)에 비하여 7배 줌 인 된 영상이므로, 줌 바(1411)의 식별자(1411)는 '7'을 가리키도록 표시된다. 상기와 같이 '1'을 가리키던 줌 바(1411)의 식별자(1411)는 '7'로 이동한다.The
도 14b의 제3영상 프레임(1423)을 참조하면, 줌 바(1410)의 식별자(1411)는 '7'을 가리키고 있다. 도 14b에서 제3영상 프레임(1423)은 원본 이미지인 제1영상 프레임(1421)에 대하여 7배 줌 인된 것으로 가정한다. 도 14b에서 손(1401)은 줌 바(1410)의 '1'을 가리키고 있다. 즉 피사체(1400)는 제1영상 프레임(1421)에 비하여 7배 줌 인된 상태인 제3영상 프레임(1423)에 대하여 줌 인 배율로서 '1배'를 입력하고 있는 것이다. 카메라(110)는 제3영상 프레임(1423)에서의 피사체(1400)를 1배 줌 인한 제4영상 프레임(1424)를 생성할 수 있으며, 디스플레이부(154)는 상기 제4영상 프레임(1424) 및 줌 바(1410)를 동시에 표시할 수 있다. 제4영상 프레임(1424)이 제3영상 프레임(1423)에 비하여 1/7배 줌 인된 영상, 즉 7배 줌 아웃된 영상이므로, 줌 바(1410)의 식별자(1411)는 '1'을 가리키도록 표시된다.Referring to the
본 발명의 실시 예에 따른 카메라 장치의 동작을 제어하는 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 실시 예에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.It will be appreciated that the method for controlling the operation of the camera apparatus according to the embodiment of the present invention may be realized in the form of hardware, software, or a combination of hardware and software. Any such software may be, for example, volatile or nonvolatile storage, such as a storage device such as a ROM, whether or not removable or rewritable, or a memory such as, for example, a RAM, a memory chip, a device or an integrated circuit. Or, for example, CD or DVD, magnetic disk or magnetic tape and the like can be stored in a storage medium that is optically or magnetically recordable and simultaneously readable by a machine (eg computer). The method according to an embodiment of the present invention may be implemented by a computer or a portable terminal including a control unit and a memory, wherein the memory is a machine suitable for storing a program or programs including instructions for implementing embodiments of the present invention. It will be appreciated that this is an example of a storage medium that can be read. Accordingly, the present invention includes a program comprising code for implementing the apparatus or method described in any claim herein and a storage medium readable by a machine (such as a computer) storing such a program. In addition, such a program may be transferred electronically through any medium, such as a communication signal transmitted via a wired or wireless connection, and the present invention includes equivalents thereof as appropriate.
또한 상기 카메라 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 카메라 장치가 미리 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 카메라 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 카메라 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.In addition, the camera device may receive and store the program from a program providing device connected by wire or wirelessly. The program providing device includes a memory for storing a program including instructions for causing the camera device to perform a preset content protection method, information necessary for the content protection method, and the like, to perform wired or wireless communication with the camera device. And a control unit for transmitting the program to the transceiver device automatically or at the request of the camera device.
이외에도 본 발명의 다양한 실시예 또는 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고, 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.In addition, there may be various embodiments or modifications of the present invention, and therefore, the scope of the present invention should be determined by the equivalents of the claims and the claims, rather than by the embodiments described.
100: 카메라 장치
110: 카메라
120: 제스처 인식부
130: 메모리
140: 메모리
152: 사용자 입력부
154: 디스플레이부100: camera device 110: camera
120: gesture recognition unit 130: memory
140: memory 152: user input unit
154: display unit
Claims (6)
카메라,
메모리,
디스플레이, 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
상기 전자 장치의 디스플레이를 통해, 상기 카메라를 통해 연속적으로 획득되는 복수의 이미지들을 순차적으로 디스플레이하도록 하고-상기 복수의 이미지들은 피사체를 포함함-,
상기 카메라를 통해 획득되어 상기 디스플레이에 디스플레이되는 상기 복수의 이미지들에 포함된 피사체의 손을 감지하고,
상기 피사체의 손을 포함하고, 연속적으로 획득되어 상기 디스플레이에 디스플레이되는 상기 복수의 이미지들 중 제 1 이미지 및 제 2 이미지에서 감지된 상기 피사체의 손을 기반으로 상기 피사체의 손의 모양의 변환을 감지하고, 상기 사용자의 손의 모양의 변환을 감지함에 반응하여, 상기 카메라를 통해 획득되어 상기 디스플레이에 디스플레이되는 상기 피사체를 포함하는 제 3 이미지를 촬영하고, 상기 촬영된 상기 피사체를 포함하는 제 3 이미지를 상기 메모리에 저장하는 전자 장치.
In an electronic device,
camera,
Memory,
Display, and
At least one processor, wherein the at least one processor,
Through the display of the electronic device, to sequentially display a plurality of images sequentially acquired by the camera, the plurality of images including a subject;
Detecting a hand of a subject included in the plurality of images acquired through the camera and displayed on the display,
Detecting a change in the shape of the hand of the subject based on the hand of the subject detected in a first image and a second image among the plurality of images that are continuously acquired and displayed on the display And in response to detecting a change in the shape of the hand of the user, photographing a third image including the subject obtained through the camera and displayed on the display, and a third image including the photographed subject. The electronic device to store in the memory.
상기 적어도 하나의 프로세서는, 상기 제 1 이미지 및 상기 제 2 이미지를 상기 메모리에 저장된 이미지와 비교하여 상기 사용자의 상기 손 모양의 변환을 감지하는 전자 장치.
The method of claim 1,
The at least one processor is configured to detect a change in the shape of the hand of the user by comparing the first image and the second image with an image stored in the memory.
상기 적어도 하나의 프로세서는, 상기 제 1 이미지 및 상기 제 2 이미지를 상기 메모리에 일시적으로 저장하는 전자 장치.
The method of claim 1,
The at least one processor is configured to temporarily store the first image and the second image in the memory.
상기 전자 장치의 디스플레이를 통해, 상기 카메라를 통해 연속적으로 획득되는 복수의 이미지들을 순차적으로 디스플레이하는 동작-상기 복수의 이미지들은 피사체를 포함함-,
상기 카메라를 통해 획득되어 상기 디스플레이에 디스플레이되는 상기 복수의 이미지들에 포함된 피사체의 손을 감지하는 동작,
상기 피사체의 손을 포함하고, 연속적으로 획득되어 상기 디스플레이에 디스플레이되는 상기 복수의 이미지들 중 이미지들 중 제 1 이미지 및 제 2 이미지에서 감지된 상기 피사체의 손을 기반으로 상기 피사체의 손 모양의 변환을 감지하는 동작, 및
상기 사용자의 상기 손 모양의 변환을 감지함에 반응하여, 상기 카메라를 통해 획득되어 상기 디스플레이에 디스플레이되는 상기 피사체를 포함하는 제 3 이미지를 촬영하고, 상기 촬영된 제 3 이미지를 메모리에 저장하는 동작을 포함하는 전자 장치를 제어하는 방법.
In the method for controlling an electronic device,
Sequentially displaying, through the display of the electronic device, a plurality of images continuously acquired by the camera, the plurality of images including a subject;
Detecting a hand of a subject included in the plurality of images acquired through the camera and displayed on the display;
A change in the shape of the hand of the subject based on the hand of the subject detected in a first image and a second image among the plurality of images that are continuously acquired and displayed on the display; Detecting, and
In response to detecting the change of the hand shape of the user, photographing a third image including the subject obtained through the camera and displayed on the display, and storing the captured third image in a memory. A method of controlling an electronic device that includes.
상기 사용자의 손 모양의 변환을 감지하는 동작은,
상기 제 1 이미지 및 상기 제 2 이미지를 상기 메모리에 저장된 이미지와 비교하여 상기 사용자의 상기 손 모양의 변환을 감지하는 동작을 포함하는 전자 장치를 제어하는 방법.
The method of claim 4, wherein
Detecting the change of the user's hand shape,
And comparing the first image and the second image with an image stored in the memory to detect a change in the shape of the hand of the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190165812A KR102145523B1 (en) | 2019-12-12 | 2019-12-12 | Method for control a camera apparatus and the camera apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190165812A KR102145523B1 (en) | 2019-12-12 | 2019-12-12 | Method for control a camera apparatus and the camera apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130011959A Division KR20140099111A (en) | 2013-02-01 | 2013-02-01 | Method for control a camera apparatus and the camera apparatus |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200100623A Division KR102238635B1 (en) | 2020-08-11 | 2020-08-11 | Method for control a camera apparatus and the camera apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190142290A true KR20190142290A (en) | 2019-12-26 |
KR102145523B1 KR102145523B1 (en) | 2020-08-18 |
Family
ID=69103867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190165812A KR102145523B1 (en) | 2019-12-12 | 2019-12-12 | Method for control a camera apparatus and the camera apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102145523B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023063563A1 (en) * | 2021-10-13 | 2023-04-20 | 삼성전자 주식회사 | Electronic device including multiple displays and method for operating same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100091434A (en) * | 2009-02-10 | 2010-08-19 | 삼성전자주식회사 | Digital image processing apparatus and controlling method of the same |
US20100235786A1 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
JP2011517357A (en) * | 2008-03-04 | 2011-06-02 | ジェスチャー テック,インコーポレイテッド | Image manipulation based on improved gestures |
US20120225719A1 (en) * | 2011-03-04 | 2012-09-06 | Mirosoft Corporation | Gesture Detection and Recognition |
-
2019
- 2019-12-12 KR KR1020190165812A patent/KR102145523B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011517357A (en) * | 2008-03-04 | 2011-06-02 | ジェスチャー テック,インコーポレイテッド | Image manipulation based on improved gestures |
KR20100091434A (en) * | 2009-02-10 | 2010-08-19 | 삼성전자주식회사 | Digital image processing apparatus and controlling method of the same |
US20100235786A1 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
US20120225719A1 (en) * | 2011-03-04 | 2012-09-06 | Mirosoft Corporation | Gesture Detection and Recognition |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023063563A1 (en) * | 2021-10-13 | 2023-04-20 | 삼성전자 주식회사 | Electronic device including multiple displays and method for operating same |
Also Published As
Publication number | Publication date |
---|---|
KR102145523B1 (en) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11119577B2 (en) | Method of controlling an operation of a camera apparatus and a camera apparatus | |
JP6316540B2 (en) | Camera device and control method thereof | |
US9678657B2 (en) | Imaging apparatus, imaging method, and computer-readable storage medium providing a touch panel display user interface | |
US8831282B2 (en) | Imaging device including a face detector | |
US8670060B2 (en) | Image capturing device with touch screen for adjusting camera settings | |
US8902344B2 (en) | Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method | |
TWI629550B (en) | Image capturing apparatus and image zooming method thereof | |
US20210176404A1 (en) | Electronic apparatus and method for controlling the same | |
KR102070598B1 (en) | Camera apparatus and method for controlling thereof | |
KR102145523B1 (en) | Method for control a camera apparatus and the camera apparatus | |
TW202002606A (en) | Image-capturing device and method for operating the same | |
WO2014034137A1 (en) | Image processing device, image processing method, and image processing program | |
KR102238635B1 (en) | Method for control a camera apparatus and the camera apparatus | |
JP5880459B2 (en) | Electronic device, display control method and program | |
JP5967422B2 (en) | Imaging apparatus, imaging processing method, and program | |
JP6120541B2 (en) | Display control apparatus and control method thereof | |
JP6406393B2 (en) | Display control apparatus, display control method, and program | |
JP6149952B2 (en) | Electronic device, display control method and program | |
JP2012120003A (en) | Imaging device, imaging device control method, and control program of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |