KR20140014850A

KR20140014850A - 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Info

Publication number: KR20140014850A
Application number: KR1020120081974A
Authority: KR
Inventors: 김종선; 송원석
Original assignee: 삼성전자주식회사
Priority date: 2012-07-26
Filing date: 2012-07-26
Publication date: 2014-02-06
Also published as: EP2690863B1; US20140033138A1; US9292095B2; CN103581541A; CN103581541B; KR101892267B1; EP2690863A1

Abstract

본 발명의 일 실시예의 일 측면에 따르면, 입력 영상으로부터 미리 정의된 제스처를 인식하는 단계; 줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계; 및 상기 줌 동작이 수행되는 동안, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계를 포함하는 촬영 장치 제어 방법이 제공된다.

Description

촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 {Photographing apparatus, method for controlling the same, and computer-readable recoding medium}

본 발명의 실시예들은, 촬영 장치, 촬영 장치 제어 방법, 및 상기 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 관한 것이다.

최근 전자 장치의 직관적인 조작에 대한 요구가 높아지면서, 사용자의 제어 신호 입력 방식에 대해 다양한 기술들이 제안되고 있다. 전자 장치에서 사용자에게 직관적이고 쉬운 사용자 인터페이스를 제공함으로써, 사용자의 만족도를 높이고, 제품 경쟁력을 강화할 수 있다. 그러나 사용자에게 직관적이고 쉬운 사용자 인터페이스는 기존의 키 입력 방식 등에 비하여 정확도가 떨어져, 사용자의 제어 입력을 오류 없이 받아들이기 위한 해결책이 필요하다. 또한 사용자는 전자 장치를 다양한 환경에서 이용할 수 있기 때문에, 다양한 환경에서도 사용자의 제어 입력을 인식하기 위한 해결책이 요구된다.

본 발명의 실시예들은, 제스처를 이용하여 광학 줌을 제어할 때, 입력 영상이 변함으로 인해 인식률이 떨어지는 것을 방지하기 위한 것이다.

또한 본 발명의 실시예들은, 제스처를 이용하여 광학 줌을 제어할 때, 줌 동작 중에 사용자에게 피드백을 제공하기 위한 것이다.

본 발명의 일 실시예에 따르면, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계는, 상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상에서 검출된 모션 경로의 좌표를 변환하는 단계; 및 상기 좌표 변환된 모션 경로에 기초하여 상기 미리 정의된 제스처를 인식하는 단계를 포함할 수 있다.

상기 줌 동작에 대한 정보는, 줌 동작이 시작된 시점, 시간에 따른 화각 정보, 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계는, 상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 각 화소들의 좌표를 변환하는 단계; 및 상기 좌표 변환된 입력 영상에 기초하여 상기 미리 정의된 제스처를 인식하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 상기 줌 동작을 반영하여 제스처를 인식하는 단계는, 상기 줌 동작에 대한 정보를 이용하여, 상기 미리 정의된 제스처를 변환하는 단계; 및 상기 변환된 미리 정의된 제스처를 이용하여, 상기 입력 영상으로부터 제스처를 인식하는 단계를 포함할 수 있다.

상기 줌 동작에 대한 정보는, 피사체 거리 정보 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 상기 촬영 장치 제어 방법은, 상기 인식된 제스처의 모양을 표시하는 단계; 상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로를 기초로, 제스처의 경로를 예측하는 단계; 및 상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로 대신에 예측된 제스처의 경로를 표시하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예의 다른 측면에 따르면, 입력 영상으로부터 미리 정의된 제스처를 인식하고, 상기 줌 동작이 수행되는 동안, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 제스처 인식부; 및 줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 촬영부를 포함하는 촬영 장치가 제공된다.

본 발명의 일 실시예에 따르면, 상기 제스처 인식부는, 상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 모션 경로의 좌표를 변환하고, 상기 좌표 변환된 모션 경로에 기초하여 상기 미리 정의된 제스처를 인식할 수 있다.

본 발명의 다른 실시예에 따르면, 상기 제스처 인식부는, 상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 각 화소들의 좌표를 변환하고, 상기 좌표 변환된 입력 영상에 기초하여 상기 미리 정의된 제스처를 인식할 수 있다.

본 발명의 또 다른 실시예에 따르면, 상기 제스처 인식부는, 상기 줌 동작에 대한 정보를 이용하여, 상기 미리 정의된 제스처를 변환하고, 상기 변환된 미리 정의된 제스처를 이용하여, 상기 입력 영상으로부터 제스처를 인식할 수 있다.

본 발명의 또 다른 실시예에 따르면, 상기 촬영 장치는, 상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로를 기초로, 제스처의 경로를 예측하는 경로 예측부; 및 상기 인식된 제스처의 모양을 표시하고, 상기 줌 동작이 수행되는 동안은, 상기 인식된 제스처의 경로 대신에 예측된 제스처의 경로를 표시하는 표시부를 더 포함할 수 있다.

본 발명의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 촬영 장치 제어 방법은, 입력 영상으로부터 미리 정의된 제스처를 인식하는 단계; 줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계; 및 상기 줌 동작이 수행되는 동안, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계를 포함하는 컴퓨터 판독가능 기록매체가 제공된다.

본 발명의 또 다른 실시예의 일 측면에 따르면, 입력 영상으로부터 미리 정의된 제스처를 인식하는 단계; 상기 인식된 제스처의 경로를 표시하는 단계; 줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계; 상기 인식된 제스처에 기초하여 제스처의 경로를 예측하는 단계; 및 상기 줌 동작이 수행되는 동안, 상기 제스처의 예측된 경로를 표시하는 단계를 포함하는 촬영 장치 제어 방법이 제공된다.

본 발명의 또 다른 실시예의 다른 측면에 따르면, 입력 영상으로부터 미리 정의된 제스처를 인식하는 제스처 인식부; 줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 촬영부; 상기 인식된 제스처의 경로에 기초하여 제스처의 경로를 예측하는 경로 예측부; 및 상기 인식된 제스처의 경로를 표시하고, 상기 줌 동작이 수행되는 동안은 상기 제스처의 예측된 경로를 표시하는 표시부를 포함하는 촬영 장치가 제공된다.

본 발명의 또 다른 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 촬영 장치 제어 방법은, 입력 영상으로부터 미리 정의된 제스처를 인식하는 단계; 상기 인식된 제스처의 경로를 표시하는 단계; 줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계; 상기 인식된 제스처에 기초하여 제스처의 경로를 예측하는 단계; 및 상기 줌 동작이 수행되는 동안, 상기 제스처의 예측된 경로를 표시하는 단계를 포함하는, 컴퓨터 판독가능 기록매체가 제공된다.

본 발명의 실시예들에 따르면, 제스처를 이용하여 광학 줌을 제어할 때, 입력 영상이 변함으로 인해 인식률이 떨어지는 것을 방지할 수 있는 효과가 있다.

또한 본 발명의 실시예들에 따르면, 제스처를 이용하여 광학 줌을 제어할 때, 줌 동작 중에 사용자에게 피드백을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 제스처 명령을 입력하는 모습을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 촬영 장치(100a)의 구조를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예예 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 4 및 도 5은 본 발명의 줌 인 동작이 수행되는 동안 발생하는 글로벌 모션을 나타낸 도면이다.
도 6 및 도 7은 줌 아웃 동작이 수행되는 동안 발생하는 글로벌 모션을 도시한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 줌 인 동작이 수행되는 동안 글로벌 모션을 보정하는 방법을 나타낸 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따라 줌 아웃 동작이 수행되는 동안 글로벌 모션을 보정하는 방법을 나타낸 도면이다.
도 12 내지 도 14는 본 발명의 다른 실시예에 따른 제스처 인식 방법을 나타낸 도면이다.
도 15는 본 발명의 또 다른 실시예에 따른 촬영 장치(100b)의 구조를 나타낸 도면이다.
도 16 및 도 17은 본 발명의 또 다른 실시예에 따라 인식된 제스처를 표시한 화면을 나타낸 도면이다.
도 18은 경로 예측부(1510)의 동작을 설명하기 위한 도면이다.
도 19는 본 발명의 또 다른 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.

도 1은 본 발명의 일 실시예에 따른 제스처 명령을 입력하는 모습을 나타낸 도면이다.

본 발명의 일 실시예에 따르면, 사용자는 촬영 장치(100)를 제스처를 이용하여 조작할 수 있다. 예를 들면, 사용자는 손을 위아래로 흔들어 셔터릴리즈 신호를 입력하거나, 손을 시계방향으로 돌려 줌인(zoom-in) 신호를 입력할 수 있다. 촬영 장치(100)는 촬영된 입력 영상으로부터 사용자의 제스처를 인식하여, 제스처 명령을 인식한다.

이러한 제스처 동작을 인식하기 위해서는, 제스처 인식에 앞서 제스처 검출이 먼저 수행된다. 제스처 검출 방법은 예를 들면, 색상 기반으로 물체를 따라가는 방법과, 모션을 감지하여 제스처 동작을 검출하는 방법 등이 있다.

Mean shift 알고리즘 등의 색상 기반으로 물체를 따라가는 방법은, 동일한 색상을 따라가 제스처를 검출하는 방법이다. 그런데 이러한 방법은 동일한 색상이 주변에 존재할 경우 놓치는 문제가 발생할 수 있다. 또한 이러한 방법은 초기 위치에 대한 정보가 필요한 한계가 있다.

모션을 감지하여 제스처를 검출하는 방법은 입력 영상으로부터 모션 벡터 등의 성분을 검출하여 제스처를 검출하는 방법이다.

그런데 제스처를 이용하여 광학 줌을 제어하는 경우, 광학 줌을 이용하여 줌 인 또는 줌 아웃 동작이 수행되는 동안, 입력 영상에서 글로벌 모션(global motion)이 발생하여, 제스처 검출에 어려움이 있다. 즉, 광학 줌을 이용하여 줌 인 또는 줌 아웃 동작이 수행되는 동안, 라이브뷰로 들어오는 영상의 화각이 계속적으로 변하기 때문에, 로컬 모션만을 추출하기 어려워 제스처의 인식률이 감소한다.

본 발명의 실시예들에 따르면, 제스처로 광학 줌을 제어하는 동안 줌 동작을 반영하여 제스처를 인식함으로써, 광학 줌이 동작하는 동안에도 제스처 인식이 가능하도록 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 촬영 장치(100a)의 구조를 나타낸 블록도이다. 본 발명의 일 실시예에 따른 촬영 장치(100a)는 제스처 인식부(210) 및 촬영부(220)를 포함한다.

제스처 인식부(210)는 입력 영상으로부터 제스처를 검출하고, 검출된 제스처가 어떤 명령을 나타내는지 인식한다. 제스처 인식부(210)는 예를 들면, 검출된 제스처를 미리 정의된 제스처와 매칭하고, 미리 정의된 제스처와 매칭되는 제스처가 인식된 경우, 미리 정의된 제스처가 인식된 것으로 판단할 수 있다. 또한 제스처 인식부(210)는 줌(zoom) 명령에 대응하는 제스처가 인식되어 줌 동작이 수행되는 경우, 줌 동작을 반영하여 제스처를 인식한다. 여기서 줌 동작은 줌 인 및 줌 아웃 동작을 포함한다.

촬영부(220)는 입사광을 광전 변환하여, 입사광으로부터 촬상 신호를 생성하고, 입력 영상을 생성한다. 촬영부(210)는 렌즈, 조리개, 촬상 소자를 포함하여, 입사광을 촬상 소자에 집광시키고, 촬상 소자를 이용하여 입사광을 광전 변환하여 촬상 신호를 생성할 수 있다. 또한 촬상 신호를 아날로그-디지털 변환하고, 인코딩하여 입력 영상을 생성할 수 있다. 촬상 신호는 예를 들면 YCbCr 또는 JPEG(Joint Photographic Experts Group) 등의 형식의 입력 영상으로 변환될 수 있다.

또한, 촬영부(220)는 제스처 인식부(210)에서 인식된 제스처에 따라 제어될 수 있다. 제스처 인식부(210)에서 줌 인 또는 줌 아웃 동작에 해당하는 제스처가 인식된 경우, 촬영부(220)는 줌렌즈를 이동시켜 줌 인 또는 줌 아웃 동작을 수행할 수 있다. 또한 제스처 인식부(210)에서 셔터릴리즈에 해당하는 제스처가 인식된 경우, 촬영부(220)는 셔터릴리즈 동작을 수행할 수 있다.

앞서 설명한 바와 같이, 제스처 인식 도중에 줌 인 또는 줌 아웃 동작이 수행되어 입력 영상에서 글로벌 모션이 발생하면, 제스처 검출 및 인식에 어려움이 있다. 본 실시예에 따르면, 줌 동작 중에, 제스처를 인식할 때, 줌 동작을 반영하여 제스처를 인식함으로써, 줌 동작이 수행되더라도 제스처를 인식할 수 있도록 하는 효과가 있다. 또한 줌 동작을 반영하여 제스처를 인식함으로써, 줌 동작이 시작되더라도 연속적으로 제스처를 통한 촬영 장치(100a)의 제어가 가능하도록 하는 효과가 있다.

도 3은 본 발명의 일 실시예예 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.

본 실시예에 따른 촬영 장치 제어 방법은, 우선 입력 영상으로부터 제스처를 인식한다(S302). 제스처 인식은 앞서 설명한 바와 같이, 제스처를 검출하고, 검출된 제스처를 미리 정의된 제스처와 매칭하여 수행될 수 있다.

만약 줌 동작에 대응하는 제스처가 인식된 경우(S304), 줌 인 또는 줌 아웃 동작을 수행하도록 촬영부(220) 등의 구성 요소를 제어한다(S306).

줌 동작이 수행되면(S306), 줌 동작을 반영하여 제스처 인식이 이루어진다(S308).

본 발명의 일 실시예에 따르면, 제스처 인식부(210)는 줌 동작이 수행되는 동안, 인식된 모션의 좌표를 줌 동작에 의한 글로벌 모션을 상쇄하도록 보정한 후, 제스처 인식을 수행할 수 있다. 다른 예로서, 제스처 인식부(210)는 입력 영상의 각 화소들의 좌표를 글로벌 모션을 상쇄하도록 보정한 후, 제스처 인식을 수행할 수 있다. 글로벌 모션의 상쇄를 위한 좌표 변환은, 행렬을 이용한 선형 변환 등 다양한 방법으로 이루어질 수 있다.

도 4 및 도 5은 본 발명의 줌 인 동작이 수행되는 동안 발생하는 글로벌 모션을 나타낸 도면이다.

예를 들면, 도 4의 왼쪽 그림(402)에 도시된 바와 같이, 시계 방향의 회전 제스처가 줌 인에 대응하는 제스처로 정의되었다면, 사용자는 줌 인을 수행하기 위해 시계 방향의 회전 제스처를 취할 수 있다. 그런데 제스처를 취하는 도중에 줌 인 동작이 개시된다면, 입력 영상에서 줌 인 동작으로 인한 글로벌 모션이 발생하여, 도 4의 오른쪽 그림(404)에 도시된 바와 같이, 시계 방향의 회전 제스처의 경로가 변하게 된다. 만약 입력 영상을 그대로 인식한다면, 입력 영상에 나타난 제스처는 미리 정의된 줌 인 동작에 대응하는 제스처로 인식되지 않을 수 있다.

또한 도 5의 왼쪽 그림(502)에 도시된 바와 같이, 아래 방향으로의 직선 제스처가 줌 인에 대응하는 제스처로 정의되었다면, 줌 인 동작이 수행되는 동안, 입력 영상에서 글로벌 모션이 발생하여, 오른쪽 그림(504)과 같은 제스처가 인식될 수 있다.

도 6 및 도 7은 줌 아웃 동작이 수행되는 동안 발생하는 글로벌 모션을 도시한 도면이다. 실제로 줌 인 동작과 줌 아웃 동작은 다른 형태의 제스처로 정의되겠지만, 본 명세서에서는 설명의 편의를 위해 유사한 형태의 제스처 명령에 대응하여 줌 인 동작과 줌 아웃 동작이 이루어지는 것으로 설명한다.

도 6의 왼쪽 그림(602)에 도시된 바와 같이, 시계 방향의 회전 제스처가 줌 아웃에 대응하는 제스처로 정의되었다면, 사용자는 줌 아웃을 수행하기 위해 시계 방향의 회전 제스처를 취할 수 있다. 그런데 제스처를 취하는 도중에 줌 아웃 동작이 개시된다면, 입력 영상에서 줌 아웃 동작으로 인한 글로벌 모션이 발생하여, 도 6의 오른쪽 그림(604)에 도시된 바와 같이, 시계 방향의 회전 제스처의 경로가 변하게 된다. 만약 입력 영상을 그대로 인식한다면, 입력 영상에 나타난 제스처는 미리 정의된 줌 아웃 동작에 대응하는 제스처로 인식되지 않을 수 있다.

또한 도 7의 왼쪽 그림(702)에 도시된 바와 같이, 아래 방향으로의 직선 제스처가 줌 아웃에 대응하는 제스처가 정의되었다면, 줌 아웃 동작이 수행되는 동안, 입력 영상에서 글로벌 모션이 발생하여, 오른쪽 그림(704)과 같은 제스처가 인식될 수 있다.

글로벌 모션은 해당 좌표가 화면의 중심으로부터 좌측인지 우측인지에 따라 달라질 수 있고, 화면의 중심으로부터 위인지 아래인지에 따라 달라질 수 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따라 줌 인 동작이 수행되는 동안 글로벌 모션을 보정하는 방법을 나타낸 도면이다.

본 발명의 일 실시예에 따르면, 입력 영상에서 인식된 모션의 좌표를 변환하거나, 입력 영상의 화소들의 좌표를 변환하여, 줌 동작에 의한 글로벌 모션을 보정할 수 있다. 예를 들면, 도 8의 왼쪽 그림(802)에 도시된 바와 같이, 시계 방향의 회전 제스처가 인식되어 줌 인 동작을 수행하는 동안, 줌 인 동작으로 인한 글로벌 모션이 발생할 수 있다. 본 실시예에 따르면, 도 8의 오른쪽 그림(804)에 도시된 바와 같이, 화각의 변화에 따른 글로벌 모션을 보정하도록 입력 영상을 변환한 후, 제스처 인식을 수행할 수 있다. 다른 예로서 인식된 모션 경로의 좌표를 변환하는 것도 가능하다.

본 실시예에 따른 글로벌 모션의 보정은, 줌 동작의 시작 시점과 시간에 따른 화각 정보를 이용하여 수행될 수 있다. 예를 들면, 글로벌 모션의 보정은 줌 인 동작이 시작된 이후로 수행될 수 있고, 시간에 따른 화각 정보를 이용하여 시간에 따른 보정양을 결정할 수 있다. 또한 본 실시예에 따른 글로벌 모션의 보정은, 줌 동작의 속도를 이용하여 수행될 수 있다. 줌 동작의 속도에 따라 시간에 따른 글로벌 모션의 보정양을 결정할 수 있다.

이와 같이 글로벌 모션이 보정되면, 입력 영상에는 로컬 모션만 남아, 사용자가 의도한 제스처를 인식하는 것이 가능해진다.

다른 예로서 위에서 아래 방향으로의 직선 제스처가 줌 인에 대응하는 제스처로 정의된 경우, 사용자가 줌 인 동작을 수행하기 위해 해당 제스처를 취하면 도 9의 왼쪽 그림(902)에 도시된 바와 같은 글로벌 모션이 발생할 수 있다. 이러한 경우, 본 실시예에 따르면 줌 시작점부터 줌 인 동작으로 인한 글로벌 모션의 보정을 수행하고, 시간에 따른 화각 정보를 이용하여 글로벌 모션을 보정함으로써, 오른쪽 그림(904)에 도시된 것처럼 글로벌 모션을 보정할 수 있다.

도 10 및 도 11은 본 발명의 일 실시예에 따라 줌 아웃 동작이 수행되는 동안 글로벌 모션을 보정하는 방법을 나타낸 도면이다.

도 10의 왼쪽 그림(1002)에 도시된 바와 같이, 시계 방향의 회전 제스처가 인식되어 줌 아웃 동작을 수행하는 동안, 줌 아웃 동작으로 인한 글로벌 모션이 발생할 수 있다. 본 실시예에 따르면, 도 10의 오른쪽 그림(1004)에 도시된 바와 같이, 화각의 변화에 따른 글로벌 모션을 보정하도록 입력 영상을 변환한 후, 제스처 인식을 수행할 수 있다. 다른 예로서 인식된 모션 경로의 좌표를 변환하는 것도 가능하다. 글로벌 모션의 보정은 줌 아웃 동작이 시작된 이후로 수행될 수 있고, 시간에 따른 화각 정보를 이용하여 시간에 따른 보정양을 결정할 수 있다.

다른 예로서 위에서 아래 방향으로의 직선 제스처가 줌 아웃에 대응하는 제스처로 정의된 경우, 사용자가 줌 아웃 동작을 수행하기 위해 해당 제스처를 취하면 도 11의 왼쪽 그림(1102)에 도시된 바와 같은 글로벌 모션이 발생할 수 있다. 이러한 경우, 본 실시예에 따르면 줌 시작점부터 줌 아웃 동작으로 인한 글로벌 모션의 보정을 수행하고, 시간에 따른 화각 정보를 이용하여 글로벌 모션을 보정함으로써, 오른쪽 그림(1104)에 도시된 것처럼 글로벌 모션을 보정할 수 있다.

도 12 내지 도 14는 본 발명의 다른 실시예에 따른 제스처 인식 방법을 나타낸 도면이다.

본 발명의 다른 실시예에 따르면, 줌 동작에 대응하는 제스처가 인식되어 줌 인 또는 줌 아웃 동작이 수행되는 경우, 줌 인 또는 줌 아웃 동작을 반영하여 정의된 제스처의 모양을 변경한 후, 제스처를 인식할 수 있다. 이러한 실시예에 따르면 입력 영상이나 모션의 좌표 변환 없이 제스처를 인식하기 때문에, 글로벌 모션의 보정으로 인한 로드를 감소시킬 수 있다.

예를 들면, 도 12에 도시된 바와 같이 시계 방향의 회전 제스처가 줌 인 동작에 대응하는 제스처로 정의된 경우, 줌 인 동작이 개시된 후에는 오른쪽에 도시된 제스처 모양과 같이 정의된 제스처를 변환하여 제스처 인식을 수행할 수 있다.

다른 예로서, 도 13에 도시된 바와 같이 위에서 아래 방향의 직선 제스처가 줌 인 동작의 제스처로 정의된 경우, 오른쪽 또는 왼쪽으로 휘어지는 직선 제스처로 정의된 제스처가 변환된 후, 제스처 인식이 수행될 수 있다. 이러한 경우, 모션이 입력 영상의 우측에서 인식된 경우와 입력 영상의 좌측에서 인식된 경우에 대해 정의된 제스처가 다르게 변환될 수 이다.

또한 도 14에 도시된 바와 같이 반시계 방향의 회전 제스처가 줌 아웃 동작에 대응하는 제스처로 정의된 경우, 줌 아웃 동작이 수행되는 동안은 도 14의 오른쪽에 도시된 바와 같이 정의된 제스처를 변환한 후, 제스처 인식을 수행할 수 있다.

정의된 제스처를 변환하는 경우, 피사체까지의 거리와 줌 속도를 고려하여 정의된 제스처를 변환할 수 있다. 피사체까지의 거리는 오토포커싱 정보를 이용하여 구할 수 있다. 피사체까지의 거리가 가까울수록 정의된 제스처의 변화를 크게하고, 피사체까지의 거리가 멀수록 정의된 제스처의 변화를 작게할 수 있다. 또한 줌 속도가 빠를수록 정의된 제스처의 변화를 크게 하고, 줌 속도가 느릴수록 정의된 제스처의 변화를 작게할 수 있다.

도 15는 본 발명의 또 다른 실시예에 따른 촬영 장치(100b)의 구조를 나타낸 도면이다. 본 실시예에 따른 촬영 장치(100b)는, 제스처 인식부(210), 촬영부(220), 경로 예측부(1510), 및 표시부(1520)를 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 제스처 인식을 이용하여 촬영 장치(100b)를 제어할 때, 인식된 제스처를 표시부(1520)에 표시할 수 있다.

도 16 및 도 17은 본 발명의 또 다른 실시예에 따라 인식된 제스처를 표시한 화면을 나타낸 도면이다. 도 16 및 도 17에 도시된 바와 같이, 본 실시예에 따른 촬영 장치(100b)는 사용자에게 제스처 인식의 피드백을 제공하기 위해, 인식된 제스처를 표시부(1520)에 표시할 수 있다. 사용자는 도 16 및 도 17과 같은 화면을 통해, 제스처가 어떻게 인식되고 있는지에 대해 피드백을 받을 수 있다.

또한 본 발명의 또 다른 실시예에 따르면, 인식된 제스처를 표시부(1520)에 표시할 때, 줌 동작이 수행되는 동안은 모션 경로를 예측하여, 인식된 모션 경로 대신에 예측된 모션 경로를 표시할 수 있다. 앞서 설명한 바와 같이, 제스처를 통해 줌 인 동작 또는 줌 아웃 동작을 수행하도록 제어하는 경우, 줌 인 동작 또는 줌 아웃 동작 수행 중에 글로벌 모션이 발생하여 사용자가 의도한 제스처와 다른 모양으로 제스처가 인식될 수 있다. 본 실시예는 줌 동작 동안 제스처를 인식하면서, 인식된 제스처 대신 예측된 제스처를 표시함으로써 보다 스마트한 사용자 인터페이스를 제공할 수 있다.

제스처 인식부(210)는 촬영부(220)를 통해 입력된 입력 영상으로부터 제스처를 인식하여, 인식된 제스처에 따라 촬영부(220)를 제어한다.

촬영부(220)는 입사광을 광전 변환하여 입력 영상을 생성하고, 인식된 제스처에 따라 광학 줌 동작을 수행한다.

경로 예측부(1510)는 입력 영상에서 인식된 모션의 경로에 기초하여, 앞으로의 모션의 경로를 예측한다.

도 18은 경로 예측부(1510)의 동작을 설명하기 위한 도면이다.

도 18에서 A지점부터 B지점까지는 모션 검출이 이루어지지만 아직 제스처 인식에 따른 줌 동작은 수행되지 않고, B지점에서 D지점까지는 제스처가 인식되어 줌 동작이 수행된다. A지점부터 B지점까지는 아직 제스처가 인식되지 않았기 때문에, 줌 동작은 수행되지 않고, 인식된 모션의 모양이 화면에 표시된다. 그런데 B지점에서 줌 동작에 대응하는 제스처가 인식되어 줌 동작이 수행되면, 경로 예측부(1510)는 A지점에서 B지점까지의 모션 경로에 기초하여, B지점 이후의 모션 경로를 예측한다. 예를 들면, 경로 예측부(1510)는 B지점에서 C지점으로 모션이 진행하는 것으로 모션 경로를 예측할 수 있다. 경로 예측부(1510)는 줌 동작이 시작된 이후에는 인식된 모션 경로 대신에, 예측된 모션 경로를 표시부(1520)에 표시할 수 있다. 따라서 입력 영상에서 실제로는 모션이 A지점, B지점, 및 D지점으로 진행하지만, 표시부(1520)에는 모션이 A지점, B지점, 및 C지점으로 진행하는 것으로 표시될 수 있다.

경로 예측부(1510)는 Kalman Filter등을 이용해서 모션 방향을 예측할 수 있다.

본 발명의 일 실시예에 따르면, 제스처 인식부(210)는 줌 동작이 수행되는 동안, 경로 예측부(1510)에서 예측된 모션 경로를 이용하여 제스처 인식을 수행할 수 있다. 이러한 실시예에 따르면, 줌 동작을 반영하여 제스처를 인식할 필요 없이, 예측된 모션 경로로 제스처 인식을 수행하면 된다.

본 발명의 다른 실시예에 따르면, 제스처 인식부(210)는 줌 동작이 수행되는 동안, 앞서 설명한 바와 같이 줌 동작을 반영하여 제스처를 인식하고, 사용자 인터페이스에서만 경로 예측부(1510)에서 예측된 경로가 표시될 수 있다. 따라서 이러한 실시예에서는 제스처 인식부(210)에서 인식된 제스처와 표시부(1520)에 표시된 제스처의 경로가 서로 상이하다. 본 실시예에 따르면, 사용자는 자신이 의도한 모션 경로대로 제스처가 인식되고 있는 것으로 느끼게 되어, 사용자에게 스마트한 장치라는 인상을 줄 수 있다. 또한 줌 동작을 반영하여 계속해서 제스처가 인식되기 때문에, 연속적인 제스처 인식 및 제어가 가능한 효과가 있다.

도 19는 본 발명의 또 다른 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.

본 발명의 또 다른 실시예에 따르면, 우선 입력 영상으로부터 제스처를 인식한다(S1902). 인식된 제스처가 줌 동작에 대응하는 제스처이면(S1904), 줌 동작이 수행된다(S1908). 만약 줌 동작에 대응하는 제스처가 인식되지 않으면(S1904), 인식된 모션의 경로를 표시하고(S1906), 계속해서 입력 영상으로부터 제스처를 인식한다(S1902).

줌 동작이 수행되면, 인식된 모션 경로에 기초하여, 모션 경로가 예측되고(S1910), 예측된 모션 경로가 표시된다(S1912).

본 발명의 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims

입력 영상으로부터 미리 정의된 제스처를 인식하는 단계;
줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계; 및
상기 줌 동작이 수행되는 동안, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계를 포함하는 촬영 장치 제어 방법.
제1항에 있어서,
상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계는,
상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상에서 검출된 모션 경로의 좌표를 변환하는 단계; 및
상기 좌표 변환된 모션 경로에 기초하여 상기 미리 정의된 제스처를 인식하는 단계를 포함하는, 촬영 장치 제어 방법.
제2항에 있어서,
상기 줌 동작에 대한 정보는, 줌 동작이 시작된 시점, 시간에 따른 화각 정보, 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함하는, 촬영 장치 제어 방법.
제1항에 있어서,
상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계는,
상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 각 화소들의 좌표를 변환하는 단계; 및
상기 좌표 변환된 입력 영상에 기초하여 상기 미리 정의된 제스처를 인식하는 단계를 포함하는, 촬영 장치 제어 방법.
제1항에 있어서,
상기 줌 동작을 반영하여 제스처를 인식하는 단계는,
상기 줌 동작에 대한 정보를 이용하여, 상기 미리 정의된 제스처를 변환하는 단계; 및
상기 변환된 미리 정의된 제스처를 이용하여, 상기 입력 영상으로부터 제스처를 인식하는 단계를 포함하는, 촬영 장치 제어 방법.
제5항에 있어서,
상기 줌 동작에 대한 정보는, 피사체 거리 정보 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함하는, 촬영 장치 제어 방법.
제1항에 있어서, 상기 촬영 장치 제어 방법은,
상기 인식된 제스처의 모양을 표시하는 단계;
상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로를 기초로, 제스처의 경로를 예측하는 단계; 및
상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로 대신에 예측된 제스처의 경로를 표시하는 단계를 더 포함하는, 촬영 장치 제어 방법.
입력 영상으로부터 미리 정의된 제스처를 인식하고, 상기 줌 동작이 수행되는 동안, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 제스처 인식부; 및
줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 촬영부를 포함하는 촬영 장치.
제8항에 있어서,
상기 제스처 인식부는,
상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 모션 경로의 좌표를 변환하고, 상기 좌표 변환된 모션 경로에 기초하여 상기 미리 정의된 제스처를 인식하는, 촬영 장치.
제9항에 있어서,
상기 줌 동작에 대한 정보는, 줌 동작이 시작된 시점, 시간에 따른 화각 정보, 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함하는, 촬영 장치.
제8항에 있어서,
상기 제스처 인식부는,
상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 각 화소들의 좌표를 변환하고, 상기 좌표 변환된 입력 영상에 기초하여 상기 미리 정의된 제스처를 인식하는, 촬영 장치.
제8항에 있어서,
상기 제스처 인식부는, 상기 줌 동작에 대한 정보를 이용하여, 상기 미리 정의된 제스처를 변환하고, 상기 변환된 미리 정의된 제스처를 이용하여, 상기 입력 영상으로부터 제스처를 인식하는, 촬영 장치.
제12항에 있어서,
상기 줌 동작에 대한 정보는, 피사체 거리 정보 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함하는, 촬영 장치.
제8항에 있어서, 상기 촬영 장치는,
상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로를 기초로, 제스처의 경로를 예측하는 경로 예측부; 및
상기 인식된 제스처의 모양을 표시하고, 상기 줌 동작이 수행되는 동안은, 상기 인식된 제스처의 경로 대신에 예측된 제스처의 경로를 표시하는 표시부를 더 포함하는, 촬영 장치.
프로세서에 의해 독출되어 수행되었을 때, 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 촬영 장치 제어 방법은,
입력 영상으로부터 미리 정의된 제스처를 인식하는 단계;
줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계; 및
상기 줌 동작이 수행되는 동안, 상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계를 포함하는 컴퓨터 판독가능 기록매체.
제15항에 있어서,
상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계는,
상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 모션 경로의 좌표를 변환하는 단계; 및
상기 좌표 변환된 모션 경로에 기초하여 상기 미리 정의된 제스처를 인식하는 단계를 포함하는, 컴퓨터 판독가능 기록매체.
제16항에 있어서,
상기 줌 동작에 대한 정보는, 줌 동작이 시작된 시점, 시간에 따른 화각 정보, 및 줌 동작의 속도 중 적어도 하나 또는 이들의 조합을 포함하는, 컴퓨터 판독가능 기록매체.
제15항에 있어서,
상기 줌 동작을 반영하여 상기 제스처를 인식하는 단계는,
상기 줌 동작에 대한 정보를 이용하여, 상기 입력 영상의 각 화소들의 좌표를 변환하는 단계; 및
상기 좌표 변환된 입력 영상에 기초하여 상기 미리 정의된 제스처를 인식하는 단계를 포함하는, 컴퓨터 판독가능 기록매체.
제15항에 있어서,
상기 줌 동작을 반영하여 제스처를 인식하는 단계는,
상기 줌 동작에 대한 정보를 이용하여, 상기 미리 정의된 제스처를 변환하는 단계; 및
상기 변환된 미리 정의된 제스처를 이용하여, 상기 입력 영상으로부터 제스처를 인식하는 단계를 포함하는, 컴퓨터 판독가능 기록매체.
제15항에 있어서, 상기 촬영 장치 제어 방법은,
상기 인식된 제스처의 모양을 표시하는 단계;
상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로를 기초로, 제스처의 경로를 예측하는 단계; 및
상기 줌 동작이 수행되는 동안, 상기 인식된 제스처의 경로 대신에 예측된 제스처의 경로를 표시하는 단계를 더 포함하는, 컴퓨터 판독가능 기록매체.
입력 영상으로부터 미리 정의된 제스처를 인식하는 단계;
상기 인식된 제스처의 경로를 표시하는 단계;
줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계;
상기 인식된 제스처에 기초하여 제스처의 경로를 예측하는 단계; 및
상기 줌 동작이 수행되는 동안, 상기 제스처의 예측된 경로를 표시하는 단계를 포함하는 촬영 장치 제어 방법.
입력 영상으로부터 미리 정의된 제스처를 인식하는 제스처 인식부;
줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 촬영부;
상기 인식된 제스처의 경로에 기초하여 제스처의 경로를 예측하는 경로 예측부; 및
상기 인식된 제스처의 경로를 표시하고, 상기 줌 동작이 수행되는 동안은 상기 제스처의 예측된 경로를 표시하는 표시부를 포함하는 촬영 장치.
프로세서에 의해 독출되어 수행되었을 때, 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 촬영 장치 제어 방법은,
입력 영상으로부터 미리 정의된 제스처를 인식하는 단계;
상기 인식된 제스처의 경로를 표시하는 단계;
줌(zoom) 동작에 대응하는 제스처가 인식된 경우, 광학 줌을 이용한 줌 동작을 수행하는 단계;
상기 인식된 제스처에 기초하여 제스처의 경로를 예측하는 단계; 및
상기 줌 동작이 수행되는 동안, 상기 제스처의 예측된 경로를 표시하는 단계를 포함하는, 컴퓨터 판독가능 기록매체.