KR100901862B1 - 단말기 자세 측정 방법 및 장치 - Google Patents

Abstract

단말기 자세 측정 방법 및 장치가 개시된다. 본 발명의 실시예에 따른 단말기 자세 측정 장치는 대상물을 촬상하여 대상물 이미지에 상응하는 대상물 이미지 데이터를 생성하는 제1 카메라부; 촬영자를 촬상하여 촬영자 이미지에 상응하는 촬영자 이미지 데이터를 생성하는 제2 카메라부; 상기 촬영자 이미지 데이터를 이용하여 단말기 자세 정보를 생성하는 단말기 자세 측정부; 상기 단말기 자세 정보를 읽어와서 상기 대상물 이미지 데이터에 매칭시키고, 상기 단말기 자세 정보가 매칭된 상기 대상물 이미지 데이터를 출력하는 제어부; 및 상기 단말기 자세 정보가 매칭된 상기 대상물 이미지 데이터를 저장하는 이미지 저장부를 포함한다. 지자기 센서를 탑재하지 않고 단말기의 회전 여부를 인식할 수 있는 장치가 제공된다.

회전, 자세, 얼굴 인식

Description

단말기 자세 측정 방법 및 장치{Method and Device of Measuring Position of Terminal}

본 발명은 단말기 자세 측정 장치 및 방법에 관한 것으로 보다 상세하게는 단말기의 사용자를 촬상한 이미지를 사용하여 단말기의 자세를 인식하는 단말기 자세 측정 장치 및 방법에 관련된다.

카메라가 탑재된 단말기에 있어서, 단말기를 세로로 세워서 피사체를 촬상하거나, 단말기가 거꾸로 뒤집힌 상태에서 피사체를 촬상한 경우, 피사체에 상응하는 이미지에는 이미지 생성 당시의 단말기의 자세를 알 수 있는 정보가 표시되지 않았다.

또한 피사체 촬상 당시의 단말기의 자세를 인식하여 그에 관한 데이터를 생성한다 하여도, 단말기의 자세를 인식하기 위해서는 지자기 센서를 이용하여야 하였다.

따라서 이미지에 단말기의 자세를 표시하기 위해서는 별도의 센서를 단말기에 탑재하고, 단말기의 자세 인식을 위한 복잡한 알고리즘을 이용하여야 하였다.

본 발명은 별도의 지자기 센서를 탑재하지 않고도 대상물을 촬상할 당시의 단말기의 자세를 인식할 수 있는 단말기 자세 측정 방법 및 장치를 제공하고자 한다.

또한 본 발명은 단말기에 이미 탑재된 카메라에 의해 생성된 이미지를 이용하여 단말기의 자세를 인식할 수 있는 단말기 자세 측정 방법 및 장치를 제공하고자 한다.

또한 본 발명은 사람의 얼굴에 상응하는 이미지를 이용하여 단말기의 자세 또는 기울어진 정도를 파악할 수 있는 단말기 자세 측정 방법 및 장치를 제공하고자 한다.

본 발명의 다른 목적들은 이하에서 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

본 발명의 일측면에 따르면, 단말기에 탑재되며 상기 단말기의 자세를 측정하는 장치에 있어서, 대상물을 촬상하여 대상물 이미지에 상응하는 대상물 이미지 데이터를 생성하는 제1 카메라부; 촬영자를 촬상하여 촬영자 이미지에 상응하는 촬영자 이미지 데이터를 생성하는 제2 카메라부; 상기 촬영자 이미지 데이터를 이용하여 단말기 자세 정보를 생성하는 단말기 자세 측정부; 상기 단말기 자세 정보를 읽어와서 상기 대상물 이미지 데이터에 매칭시키고, 상기 단말기 자세 정보가 매칭된 상기 대상물 이미지 데이터를 출력하는 제어부; 및 상기 단말기 자세 정보가 매칭된 상기 대상물 이미지 데이터를 저장하는 이미지 저장부를 포함하는 단말기 자세 측정 장치가 제공된다.

여기서 상기 단말기 자세 측정부는 상기 촬영자 이미지 중 상기 촬영자의 안면 이미지를 추출하는 안면 인식부; 상기 안면 이미지의 회전 여부 및 회전 정도를 파악하여 상기 촬영자 이미지의 이미지 회전 정보를 생성하는 회전 정보 생성부; 및 상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 자세 정보 생성부를 포함할 수 있다.

또한 상기 단말기 자세 측정부는 상기 단말기가 회전하지 않은 상태에서 상기 제1 카메라부 또는 상기 제2 카메라부 중 어느 하나에 의해 촬상된 상기 촬영자의 이미지에 상응하는 기준 이미지 데이터를 저장하는 기준 이미지 데이터 저장부; 상기 기준 이미지 데이터와 상기 촬영자 이미지 데이터를 비교하여 상기 촬영자 이미지의 회전 정도에 관한 정보인 이미지 회전 정보를 생성하는 회전 정보 생성부; 및 상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 자세 정보 생성부를 포함할 수 있다.

또한 상기 회전 정보 생성부는 상기 기준 이미지 데이터로부터 기준 인식점을 추출하고, 상기 기준 인식점에 대응되는 회전 인식점을 상기 촬영자 이미지 데이터로부터 추출하는 대응점 추출부; 및 상기 기준 인식점에서 상기 회전 인식점로의 위치 이동을 판단하여 상기 이미지 회전 정보를 생성하는 대응점 비교부를 포함 할 수 있다.

또한 상기 제어부는 상기 대상물 이미지의 디스플레이를 위한 사용자 신호를 입력받아 상기 이미지 저장부로부터 상기 대상물 이미지 데이터 및 상기 단말기 자세 정보를 읽어오며, 상기 대상물 이미지 데이터를 이용하여 생성된 대상물 이미지를 상기 단말기 자세 정보와 함께 디스플레이하는 디스플레이부를 더 포함할 수 있다.

또한 상기 제어부는 상기 단말기 자세 정보에 따른 회전 각도만큼 상기 대상물 이미지를 회전시킨 보정 이미지를 생성할 수 있다.

또한 상기 보정 이미지를 디스플레이하는 디스플레이부를 더 포함할 수 있다.

여기서 상기 제어부는 상기 보정 이미지와 상기 단말기 자세 정보를 매칭하여 상기 디스플레이부로 출력하며, 상기 디스플레이부는 상기 보정 이미지와 함께 상기 단말기 자세 정보를 디스플레이할 수 있다.

또한 상기 제1 카메라부는 상기 제2 카메라부와 서로 다른 방향을 향하도록 설치될 수 있다.

또한 본 발명의 다른 일측면에 따르면 단말기의 자세를 측정하는 방법에 있어서, (a)대상물을 촬상하여 대상물 이미지에 상응하는 대상물 이미지 데이터를 생성하는 단계; (b)촬영자를 촬상하여 촬영자 이미지에 상응하는 촬영자 이미지 데이터를 생성하는 단계; (c)상기 촬영자 이미지 데이터를 이용하여 단말기 자세 정보를 생성하는 단계; 및 (d)상기 단말기 자세 정보를 상기 대상물 이미지 데이터와 매칭하여 저장하는 단계를 포함하는 단말기 자세 측정 방법이 제공될 수 있다.

여기서 상기 단계 (c)는 (c1)상기 촬영자 이미지 중 상기 촬영자의 안면 이미지를 추출하는 단계; (c2)상기 안면 이미지의 회전 여부 및 회전 정도를 파악하여 상기 촬영자 이미지의 이미지 회전 정보를 생성하는 단계; 및 (c3)상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 단계를 포함할 수 있다.

여기서 상기 단계 (c)는 (c4)기준 이미지 데이터와 상기 촬영자 이미지 데이터를 비교하여 상기 촬영자 이미지의 회전 정도에 관한 정보인 이미지 회전 정보를 생성하는 단계; 및 (c5)상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 단계를 포함하되, 상기 기준 이미지 데이터는 상기 단말기가 회전하지 않은 상태에서 상기 제1 카메라부 또는 상기 제2 카메라부 중 어느 하나에 의해 촬상된 상기 촬영자의 이미지에 상응하여 미리 저장되어 있을 수 있다.

또한 상기 단계 (c4)는 (c41)상기 기준 이미지 데이터로부터 기준 인식점을 추출하고, 상기 기준 인식점에 대응되는 회전 인식점을 상기 촬영자 이미지 데이터로부터 추출하는 단계; 및 (c42)상기 기준 인식점과 상기 회전 인식점의 위치 이동을 판단하여 이미지 회전 정보를 생성하는 단계를 포함할 수 있다.

또한 (e) 상기 대상물 이미지의 디스플레이를 위한 사용자 신호를 입력받는 단계; (f) 상기 대상물 이미지 데이터 및 상기 단말기 자세 정보를 읽어오는 단계; 및 (g) 상기 대상물 이미지 데이터를 이용하여 생성한 대상물 이미지 및 상기 단말 기 자세 정보와 함께 디스플레이하는 단계를 더 포함할 수 있다.

또한 (e) 상기 단말기 자세 정보에 따른 회전 각도만큼 상기 대상물 이미지를 회전시킨 보정 이미지를 생성하는 단계를 더 포함할 수 있다.

또한 (f) 상기 보정 이미지를 디스플레이하는 단계를 더 포함할 수 있다.

여기서 상기 단계 (e)는 상기 보정 이미지에 상응하는 상기 단말기 자세 정보를 매칭하고, 상기 단계 (f)는 상기 보정 이미지와 함께 상기 단말기 자세 정보를 디스플레이할 수 있다.

본 발명의 실시예에 따르면 별도의 지자기 센서를 탑재하지 않고도 피사체 촬상 당시의 단말기의 자세를 인식할 수 있는 단말기 자세 측정 방법 및 장치가 제공될 수 있다.

또한 본 발명의 실시예에 따르면 단말기에 이미 탑재된 카메라에 의해 생성된 이미지를 이용하여 단말기의 자세를 인식할 수 있는 단말기 자세 측정 방법 및 장치가 제공될 수 있다.

또한 본 발명의 실시예에 따르면 사람의 얼굴에 상응하는 이미지를 이용하여 단말기의 자세 또는 기울어진 정도를 파악할 수 있는 단말기 자세 측정 방법 및 장치가 제공될 수 있다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따라 촬영자(130)가 카메라 또는 카메라가 탑 재된 단말기(120)를 이용하여 피사체인 대상물(110)을 촬상하는 장면을 나타내는 도면이다. 또한 도 2는 도 1에 도시된 바에 따라 촬상된 대상물(110)의 이미지와 촬영자(130)의 이미지를 나타낸 도면이다.

도 1에 도시된 바에 따르면 단말기(120)에는 두 개의 카메라가 장착되어 있을 수 있다. 하나의 카메라는 대상물(110)의 촬상에 사용되고, 다른 카메라는 촬영자(130)의 촬상에 사용될 수 있다. 따라서 두 개의 카메라는 다른 방향을 향해 탑재되어 있을 수 있다.

본 발명의 일 실시예에 따르면, 단말기(120)가 도 2의 (a)에 도시된 대상물(110)의 이미지를 디스플레이할 때, 단말기(120)의 자세에 따라 카메라 렌즈가 기울어진 정도도 함께 표시할 수 있다. 이 때 단말기(120)의 자세에 관한 정보는 도 2의 (b)에 도시된 촬영자(130)의 이미지가 얼마나 기울어져 있는지에 관한 정보로부터 도출될 수 있다.

도 2의 (b)는 도 1의 단말기(120)가 회전된 상태에서 촬상된 촬영자의 이미지이며, 도 2의(c) 는 도 1의 단말기(120)가 회전되지 않은 상태에서 촬상된 촬영자의 이미지이다. 도 1 및 도 2에 도시된 실시예에 따른 단말기(120)의 회전은 단말기(120) 및 대상물(110)울 연결하는 직선을 축으로 하는 회전을 의미한다.

도 1에 도시된 바에 따라 사진 촬영이 이루어진 경우, 촬영자의 이미지는 시계 방향으로 90도 회전된 상태이다. 따라서 단말기(130)가 반시계 방향으로 90도 회전된 상태에서 대상물(110)이 촬상되었음을 추측할 수 있다. 따라서 단말기(120)가 회전되지 않은 상태에서 대상물(110) 및 촬영자(130)가 촬상되었다면, 촬영자 이미지는 도 2의 (c)에 도시된 바와 같았을 것이다. 따라서 도 2의 (a)에 도시된 대상물(110)의 이미지는 시계 방향으로 90도 회전된 상태의 이미지임을 알 수 있다.

따라서 도 2의 (a)에 도시된 대상물(110)의 이미지를 디스플레이할 때, 본 발명의 실시예에 따른 단말기 자세 측정 장치 및 방법에 의하면 단말기의 자세 정보도 이미지와 함께 디스플레이될 수 있다.

도 3은 본 발명의 일 실시예에 따른 단말기 자세 측정 장치(300)의 블록 구성도이다. 도 3에 도시된 실시예에 따른 단말기 자세 측정 장치(300)는 제1 카메라부(310), 제2 카메라부(320), 자세 측정부(330) 및 이미지 저장부(340)를 포함할 수 있다.

본 명세서에서 단말기는 본 발명의 실시예에 따른 단말기 자세 측정 장치(300)가 탑재되는 단말기를 지칭한다.

도 3을 참조하면, 단말기 자세 측정 장치(300)는 2개 이상의 카메라부를 포함할 수 있다. 제1 카메라부(310)는 촬영자(단말기의 사용자 등)가 대상물을 촬상하는 경우 사용되는 카메라일 수 있다. 그리고 제2 카메라부(320)는 촬영자가 단말기를 이용하여 영상 통신 서비스를 이용 시 사용자의 모습을 촬상하는 카메라일 수 있다.

3세대 이동 통신 단말기의 경우, 피사체의 촬상을 위한 카메라와 영상 통신을 위한 카메라가 별개로 구비될 수 있다. 따라서 도 3에 도시된 제1 카메라 부(310) 및 제2 카메라부(320)를 포함할 수 있다.

제1 카메라부(310)는 단말기에 입력된 사용자 신호 등에 상응하여 대상물을 촬상할 수 있다. 그리고 대상물의 이미지에 상응하는 이미지 데이터를 생성할 수 있다. 여기서, 제1 카메라부(310)가 피사체를 촬상할 때 제2 카메라부(320)는 단말기를 사용하여 촬영자의 안면을 촬상할 수 있다. 제2 카메라부(320)에 의해 촬영자의 안면이 나타나 있는 촬영자 이미지가 생성된다.

자세 측정부(330)는 제2 카메라부(320)에 의해 생성된 촬영자 이미지에 상응하는 촬영자 이미지 데이터를 이용하여 단말기의 자세를 측정한다. 즉, 촬영자 이미지에 나타난 촬영자의 얼굴이 옆으로 비스듬히 기울어져 있거나, 옆으로 뉘어져 있거나 또는 거꾸로 뒤집혀 있는 경우, 촬영자 이미지의 회전 정도를 인식한다. 그리고 촬영자 이미지의 회전 정도로부터 대상물 및 촬영자의 이미지 촬상 당시 단말기의 자세를 인식하고, 단말기 자세 정보를 생성한다.

제어부(340)는 대상물의 촬상을 요청하는 사용자 신호를 입력받을 수 있다. 그리고 입력받은 사용자 신호에 상응하여, 제1 카메라부(310) 및 제2 카메라부(320)를 동작시킬 수 있다. 제어부(340)의 제어에 따라 제1 카메라부(310) 및 제2 카메라부(320)가 피사체를 촬상한다. 여기서 제1 카메라부(310)가 촬상하는 피사체는 대상물이 되고, 제2 카메라부(320)가 촬상하는 피사체는 촬영자가 될 수 있다.

또한 제어부(340)는 대상물 이미지의 디스플레이를 요청하는 사용자 신호를 입력받고, 대상물 이미지를 디스플레이하기 위한 디스플레이 신호를 디스플레이 부(720)에 출력할 수 있다.

이미지 저장부(350)는 촬영된 대상물의 이미지를 저장한다. 이미지 저장부(350)가 대상물 이미지 저장 시 각각의 대상물 이미지에 상응하여 자세 측정부(330)에 의해 생성된 단말기 자세 정보를 함께 저장할 수 있다. 추후 대상물 이미지의 디스플레이 시, 이미지 저장부(350)는 각 대상물 이미지에 매칭된 단말기 자세 정보를 대상물 이미지와 함께 디스플레이부(미도시)로 출력할 수 있다.

도 4는 본 발명의 일 실시예에 따른 자세 측정부(330)의 블록 구성도이다.

도 4에 도시된 바에 따르면 자세 측정부(330)는 안면 인식부(410), 회전 정보 생성부(420) 및 자세 정보 생성부(430)를 포함할 수 있다.

안면 인식부(410)는 촬영자를 촬상한 이미지인 촬영자 이미지로부터 촬영자의 안면 부분의 이미지를 추출 및/또는 인식할 수 있다. 예컨대 안면 인식부(410)는 촬영자의 안면에 해당되는 부분의 이미지 데이터만을 추출할 수 있다. 여기서 촬영자 이미지는 이미지 저장부에 저장된 이미지에 제한되지 않는다. 촬영자 이미지는 이미지의 캡쳐와 저장이 이루어지기 전에 표시부를 통해 디스플레이되는 프리뷰 이미지 또는 미리보기 이미지일 수 있다.

안면 인식부(410)가 촬영자 이미지로부터 안면 부분에 해당되는 이미지 데이터를 회전 정보 생성부(420)에 출력할 수 있다. 회전 정보 생성부(420)는 안면 부분의 이미지 데이터로부터 촬영자 이미지가 어느 방향으로 얼마나 회전되어 있는지를 측정한다. 즉 회전 정보 생성부는 촬영자 이미지의 회전 여부나 회전 정도, 회 전 방향에 관한 이미지 회전 정보를 생성한다.

회전 정보 생성부(420)는 안면 인식부(410)로부터 입력된 이미지에 나타난 안면의 형상으로써 회전 여부나 회전 각도 등을 파악할 수 있다. 또는 회전 정보 생성부(420)는 회전되지 않은 촬영자 이미지의 안면 부분의 형상에 따른 데이터를 저장하고, 입력되는 이미지에 나타난 안면의 형상과 저장된 데이터를 비교하여 촬영자 이미지의 회전 여부를 판단할 수 있다.

회전 정보 생성부(420)가 생성한 이미지 회전 정보는 자세 정보 생성부(430)가 입력받는다. 자세 정보 생성부(430)는 이미지 회전 정보로부터 단말기의 회전 여부, 회전 각도 등을 도출할 수 있다. 즉, 대상물의 촬상 당시 단말기의 자세를 측정할 수 있다.

예컨대 이미지 회전 정보에 따르면 촬영자 이미지가 시계 방향으로 90도 회전된 상태였을 경우 단말기는 반시계 방향으로 90도 회전된 상태였음을 나타내는 단말기 자세 정보가 생성될 수 있다. 마찬가지로 촬영자 이미지가 뒤집혀 있음 나타내는 이미지 회전 정보를 입력받았다면 자세 정보 생성부(430)는 단말기 180도 회전된 상태임을 나타내는 단말기 자세 정보를 생성할 수 있다.

도 5는 본 발명의 다른 실시예에 따른 자세 측정부(330)의 블록 구성도이다.

도 5에 도시된 바에 따르면 자세 측정부(330)는 기준 이미지 데이터 저장부(510), 회전 정보 생성부(420) 및 자세 정보 생성부(430)를 포함할 수 있다.

기준 이미지 데이터는 단말기를 회전하지 않은 상태에서 이미지로서 촬영자 의 안면이 포함된 이미지에 따른 이미지 데이터이다. 기준 이미지 데이터는 대상물 촬상 시 함께 촬상된 촬영자 이미지가 회전된 상태인지를 판별하기 위해 사용되는 이미지 데이터일 수 있다. 즉 기준 이미지 데이터는 자세 측정부(330)가 촬영자 이미지가 회전된 상태인지 여부 또는 회전 각도 동을 판단 및 측정하기 위한 기준이 되는 데이터이다.

기준 이미지 데이터는 도 3에 도시된 제1 카메라부(310) 또는 제2 카메라부(320) 중 어느 하나의 카메라부에 의해 생성될 수 있다. 생성된 기준 이미지 데이터는 기준 이미지 데이터 저장부(510)에 저장된다.

회전 정보 생성부(420)는 촬영자 이미지가 촬상되면, 도 5의 실시예에 따른 촬영자 이미지도 도 4의 실시예에 따른 촬영자 이미지와 마찬가지로, 이미지 저장부에 저장된 이미지 또는 캡쳐 및 저장되기 이전에 디스플레이되는 프리뷰 이미지(또는 미리보기 이미지) 중 어느 하나의 이미지일 수 있다.

도 5에 도시되어 있지 아니하나, 자세 측정부(330)는 기준 이미지 데이터 저장부(510), 회전 정보 생성부(420), 자세 정보 생성부(430) 및 도 4에 도시된 안면 인식부(410)를 더 포함할 수 있다.

회전 정보 생성부(420)는 안면 인식부(도 4의 410)에 의해 추출된 안면 부분의 이미지와 기준 이미지 데이터 저장부(510)로부터 읽어 온 기준 이미지 데이터에 따른 안면 부분의 이미지를 비교하여, 생성된 촬영자 이미지의 이미지 회전 정보를 생성할 수 있다.

자세 정보 생성부(430)이 이미지 회전 정보를 입력받아 단말기의 자세를 측 정하는 과정은 도 4에서 설명된 바와 유사하므로 중복된 설명을 생략한다.

도 6은 본 발명의 일 실시예에 따라 촬영자 이미지가 회전된 모습을 나타내는 도면이다.

도 6를 참조하면 기준 이미지 데이터에 따른 이미지(기준 이미지, 610) 및 촬영자 이미지(620)를 포함한다. 기준 이미지(610)와 촬영자 이미지는 서로 대응되는 대응점들을 포함할 수 있다.

대응점은 촬영자 이미지(620) 또는 기준 이미지(610)에 포함된 점들 중 특징적인 점일 수 있다. 특징적인 점의 기준은 주변은 다른 점들에 비하여 RGB 값이나 HSV 값 등이 급격히 변하는지 여부로 판단될 수 있다.

여기서 기준 이미지(610)로부터 추출되는 대응점은 기준 인식점(611, 612, 613, 614, 615, 616 및 617)이다. 기준 인식점(611, 612, 613, 614, 615, 616 및 617)은 대상물의 촬상시마다 생성되는 촬영자 이미지의 회전 여부를 판단하는 기준이 되는 대응점이다. 또한 기준 인식점에 대응되는 대응점으로서 촬영자 이미지로부터 추출되는 점은 회전 인식점(621, 622, 623, 624, 625, 626 및 627)이다. 기준 인식점 611은 회전 인식점 621과, 기준 인식점 612는 회전 인식점 622와 대응되며 마찬가지로 기준 인식점 617은 회전 인식점 627과 대응된다.

기준 인식점(611, 612, 613, 614, 615, 616 및 617)들과 회전 인식점(621, 622, 623, 624, 625, 626 및 627)들은 각각 일정한 구도를 유지한다. 따라서 일정한 구도를 유지하는 이들 점들이 촬영자 이미지 상에서 어떠한 형상을 이루고 있는 지를 추출하면 회전 정보 생성부(420)는 촬영자 이미지의 회전 각도를 도출할 수 있다.

이는 회전 정보 생성부(420)가 이미지 회전 정보를 생성하기 위한 일 실시예에 불과하며, 본 실시예에 의하여 본 발명의 권리 범위가 제한되지 아니함은 자명하다. 또한 이 기술분야에서 통상의 지식을 가진 자라면 이미지 회전 정보를 생성하는 방법을 다양하게 변경할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 단말기 자세 측정 장치(700)의 블록 구성도이다.

도 7에 도시된 단말기 자세 측정 장치(700)는 제1 카메라부(310), 제2 카메라부(320), 단말기 자세 측정부(330), 이미지 저장부(340), 제어부(710) 및 디스플레이부(720)를 포함할 수 있다.

제1 카메라부(310), 제2 카메라부(320), 단말기 자세 측정부(330) 및 이미지 저장부(340)는 도 3에 도시된 단말기 자세 측정 장치(300)에서 이미 설명하였으므로 중복된 설명은 생략하도록 한다.

제어부(710)는 대상물의 촬상을 요청하는 사용자 신호를 입력받을 수 있다. 그리고 입력받은 사용자 신호에 상응하여, 제1 카메라부(310) 및 제2 카메라부(320)를 동작시킬 수 있다. 제어부(710)의 제어에 따라 제1 카메라부(310) 및 제2 카메라부(320)가 피사체를 촬상한다. 여기서 제1 카메라부(310)가 촬상하는 피사체는 대상물이 되고, 제2 카메라부(320)가 촬상하는 피사체는 촬영자가 될 수 있 다.

또한 제어부(710)는 대상물 이미지의 디스플레이를 요청하는 사용자 신호를 입력받고, 대상물 이미지를 디스플레이하기 위한 디스플레이 신호를 디스플레이부(720)에 출력할 수 있다. 또한 각 대상물 이미지에 상응하는 단말기 회전 정보가 이미지 저장부(340)에 매칭되어 저장되어 있지 않다면, 대상물 이미지와 해당 단말기 회전 정보를 매칭하여 디스플레이부(720)에 출력할 수 있다.

디스플레이부(720)는 이미지 저장부(340)에 저장된 대상물 이미지 또는 대상물이미지의 목록을 디스플레이 할 수 있다. 이 경우, 디스플레이부(720)는 대상물 이미지 또는 대상물 이미지의 목록과 함께 각각의 대상물 이미지들에 따른 단말기 회전 정보를 디스플레이할 수 있다.

또한 제어부(710)는 단말기의 다양한 자세에 따라 여러 각도로 촬상된 대상물 이미지들을 일관된 각도의 이미지, 즉 보정 이미지로 다시 생성할 수 있다. 보정 이미지를 디스플레이할 경우, 디스플레이부(720)는 디스플레이되고 있는 이미지가 회전된 이미지임을 표시할 수 있다. 따라서 대상물 이미지를 그대로 디스플레이하는 경우와 마찬가지로, 디스플레이부(720)는 보정 이미지를 디스플레이할 때에도 보정 이미지에 상응하는 단말기 회전 정보를 함께 디스플레이할 수 있다.

즉 단말기를 세로로 세워서 대상물을 촬상한 경우, 대상물 이미지는 디스플레이부 (720)에 디스플레이될 때에는 실제 모습과는 달리 90도 회전한 상태로 디스플레이되게 된다. 그러나 디스플레이부(710)가 제어부(710)에 의해 생성된 보정 이미지를 디스플레이하면, 단말기를 어떠한 상태로 두고 촬영하였는지에 무관하게 회 전되지 않은 이미지를 디스플레이할 수 있다.

도 8은 본 발명의 일 실시예에 따른 단말기 자세 측정 방법을 나타낸 흐름도이다. 여기서 단말기 자세 측정 방법을 수행하는 장치는 도 3 또는 도 7에 도시된 단말기 자세 측정 장치(도 3의 300 또는 도 7의 700)일 수 있다.

이하에서 단말기 자세 측정 방법을 수행하는 장치는 두 개 이상의 카메라부(제1 카메라부 및 제2 카메라부)를 포함할 수 있다.

먼저 제1 카메라부가 대상물을 촬상하면(단계 810), 제1 카메라부에 의해 대상물에 상응하는 대상물 이미지 데이터가 생성된다(단계 820). 이 경우 대상물 이미지 데이터는 대상물의 프리뷰 이미지가 아닌 캡쳐 후 저장부에 저장된 이미지일 수 있다.

그리고 대상물의 촬상 당시 단말기의 자세를 인식하기 위해서 제2 카메라부는 촬영자를 촬상한다(단계 830). 이에 따라 촬영자를 촬상한 이미지인 촬영자 이미지에 상응하는 촬영자 이미지 데이터가 생성된다(단계 840).

촬영자 이미지 데이터 중에서 안면 부분의 이미지 데이터만을 이용하면 촬영자 이미지의 회전 여부가 보다 쉽게 파악될 수 있다. 사람의 눈, 코, 입은 각기 다른 개별적인 촬영자들 간에도 유사한 구조로 배치되기 때문이다. 따라서 촬영자 이미지 중에서 촬영자의 눈, 코, 입의 배열 상태가 파악되면, 촬영자 이미지 전체가 어느 정도 회전되어 있는지도 측정될 수 있다.

다만 이미지에서 안면을 인식하거나 추출하는 기술은 이미 공지되어 있으며, 본 기술 분야에서 통상의 지식을 가진 자에게 자명한 사항이므로 이에 관한 상세한 설명은 생략한다.

상술한 바와 같이 촬영자 이미지 데이터로부터 촬영자 이미지의 회전 정도가 측정될 수 있고, 촬영자 이미지의 회전 정도로부터 단말기 자세 정보가 유추 및 생성될 수 있다(단계 850). 여기서 단말기 자세 정보는 대상물 이미지가 생성될 당시 단말기의 자세(회전 각도, 회전 방향 등을 포함함)를 나타내는 정보이다. 단말기 자세 정보가 생성되면, 대상물 이미지와 이에 상응하는 단말기 자세 정보가 저장된다(단계 860).

도 9는 본 발명의 일 실시예에 따른 단말기 자세 정보를 생성하는 방법이 도시된 흐름도이다. 여기서 단말기 자세 정보는 도 3, 도 4 또는 도 5에 도시된 자세 측정부(도 3, 도 4 또는 도 5의 330)가 생성할 수 있다.

단말기 자세 측정 장치는 먼저 생성된 촬영자 이미지로부터 촬영자의 안면 부분에 해당되는 부분의 이미지를 추출할 수 있다(단계 910).

앞서 설명한 바와 같이, 사람의 안면은 눈, 코, 입의 개수 및 배치 등에 따른 일정한 패턴에서 크게 벗어나는 경우가 드물다. 따라서 사람의 안면 부부의 이미지는 이미지 전체의 회전 여부를 파악하기 위한 자료로 사용될 수 있다.

따라서 단말기 자세 특정 장치는 추출된 안면 이미지로부터 파악된 안면 이미지의 회전 여부 또는 회전 정도, 회전 각도 등을 이용하여(단계 920) 촬영자 이미지 전체의 회전 각도 등을 계산할 수 있다. 그 결과 촬영자 이미지의 회전 각도 에 관한 정보인 이미지 회전 정보가 생성될 수 있다(단계 930).

이미지 회전 정보로부터는 촬영자 이미지 및 대상물 이미지가 생성될 당시의 단말기의 자세가 유추되고, 이에 따라 단말기 자세 정보가 생성될 수 있다(단계 940 및 단계 950). 예컨대 이미지 회전 정보에 따르면 촬영자 이미지가 시계 방향으로 90도 회전된 상태였을 경우, 단말기는 반시계 방향으로 90도 회전된 상태였음을 나타내는 단말기 자세 정보가 생성될 수 있다. 마찬가지로 촬영자 이미지가 뒤집혀 있음 나타내는 이미지 회전 정보를 입력 받았다면 단말기 자세 측정 장치는 단말기 180도 회전된 상태임을 나타내는 단말기 자세 정보를 생성할 수 있다.

도 10은 도 5의 실시예에 따른 기준 이미지 데이터를 이용한 단말기 자세 측정 방법의 흐름도이다.

단말기가 회전되지 않은 상태, 즉 단말기 제조 공정 상에서 미리 설정된 바에 따라 정해진 자세의 단말기로 촬영자가 촬상되면, 이에 따라 생성된 이미지 데이터가 기준 이미지 데이터가 될 수 있다(단계 1001). 기준 이미지 데이터는 기준 이미지 데이터에 따른 이미지를 디스플레이 하였을 때, 실제 촬영자와 같은 상태(직립한 상태)로 촬영자의 이미지가 디스플레이 되는 이미지 데이터이다. 기준 이미지 데이터는 단말기 자세 측정 장치에 탑재된 제1 카메라부(도 3의 310) 또는 제2 카메라부(도 3의 320) 중 어느 카메라부에 의해 생성되어도 무관하다.

그리고 제2 카메라부(도 3의 320)에 의해 촬영자 이미지 데이터 및 촬영자 이미지 데이터가 생성되면(단계 1002), 단말기 자세 측정 장치는 기준 이미지 데이 터에 따른 기준 이미지에 비하여 촬영자 이미지가 얼마나 회전되어 있는지를 측정하기 위해 기준 이미지 데이터와 촬영자 이미지 데이터를 비교할 수 있다(단계 1003).

특히 단계 1003의 과정에서 기준 이미지 데이터와 촬영자 이미지 데이터에서 촬영자의 안면 부분을 추출 및 인식하고, 안면 부분의 이미지를 이용하여 촬영자 이미지의 회전 여부를 측정할 수 있음은 전술한 바와 같다.

단말기 자세 측정 장치가 기준 이미지에 비해 촬영자 이미지가 얼마나 회전되었는지를 파악하면 이에 따라 촬영자 이미지의 회전 정도에 관한 정보인 이미지 회전 정보도 생성할 수 있다. 일 실시예에 따르면, 단말기는 이미지 회전 정보에 따른 회전 방향의 반대 방향으로, 이미지 회전 정보에 따른 회전 각도만큼 회전된 자세에서 대상물을 촬상하였을 수 있다. 이와 같이 이미지 회전 정보로부터 단말기 자세 정보가 유추 및 생성될 수 있다(단계 1004).

도 11은 본 발명의 일 실시예에 따른 단말기 자세 측정 방법에 의해 생성된 단말기 자세 정보가 디스플레이 되는 과정이 나타난 흐름도이다.

단말기 자세 정보가 생성되는 과정(단계 1101 내지 단계 1105)은 도 000에서 설명한 과정과 유사하므로 중복된 설명은 생략하도록 한다.

단계 1105에서 단말기 자세 정보가 생성되면, 단말기 자세 정보는 단말기 자세 측정 장치의 저장부에 저장될 수 있다. 저장부에는 대상물 이미지가 저장될 수 있으며, 각 대상물 이미지에 해당되는 단말기 자세 정보가 함께 저장될 수 있다.

본 발명의 일 실시예에 따른 단말기 자세 측정 방법을 수행하는 장치는 제어부를포함한다. 제어부는 대상물 이미지의 디스플레이를 위한 디스플레이 신호 또는 사용자 신호를 입력받을 수 있다. 그러면 제어부는 저장부에 저장된 대상물 이미지에 상응하는 대상물 이미지 데이터와 단말기 자세 정보를 매칭하여 디스플레이부로 출력할 수 있다(단계 1106).

물론 대상물 이미지의 목록의 디스플레이가 요청된 경우, 제어부는 각 대상물 이미지의 목록과 그 대상물 이미지의 단말기 자세 정보를 매칭하여 디스플레이부로 출력할 수 있다. 디스플레이부는 대상물 이미지 또는 대상물 이미지의 목록과 매칭된 단말기 자세 정보를 디스플레이할 수 있다(단계 1107).

또한 제어부는 회전된 대상물 이미지를 회전되지 않은 상태로 보정한 보정 이미지를 생성할 수 있다. 물론 생성된 보정 이미지는 디스플레이부에 의해 디스플레이된다. 그리고 디스플레이부가 보정 이미지를 디스플레이 하는 경우, 보정 이미지가 어느 방향으로 얼마나 회전된 것인지를 표시하기 위해 디스플레이부는 단말기 자세 정보를 보정 이미지와 함께 표시할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따라 촬영자가 카메라 또는 카메라가 탑재된 단말기를 이용하여 피사체인 대상물을 촬상하는 장면을 나타내는 도면.

도 2는 도 1에 도시된 바에 따라 촬상된 대상물의 이미지와 촬영자의 이미지를 나타낸 도면.

도 3은 본 발명의 일 실시예에 따른 단말기 자세 측정 장치의 블록 구성도.

도 4는 본 발명의 일 실시예에 따른 자세 측정부의 블록 구성도.

도 5는 본 발명의 다른 실시예에 따른 자세 측정부의 블록 구성도.

도 6은 본 발명의 일 실시예에 따라 촬영자 이미지가 회전된 모습을 나타내는 도면.

도 7은 본 발명의 다른 실시예에 따른 단말기 자세 측정 장치의 블록 구성도.

도 8은 본 발명의 일 실시예에 따른 단말기 자세 측정 방법을 나타낸 흐름도.

도 9는 본 발명의 일 실시예에 따른 단말기 자세 정보를 생성하는 방법이 도시된 흐름도.

도 10은 도 5의 실시예에 따른 기준 이미지 데이터를 이용한 단말기 자세 측정 방법의 흐름도.

도 11은 본 발명의 일 실시예에 따른 단말기 자세 측정 방법에 의해 생성된 단말기 자세 정보가 디스플레이 되는 과정이 나타난 흐름도.

<도면의 주요부분에 대한 부호의 설명>

110 : 대상물

120 : 단말기

130 : 촬영자

310 : 제1 카메라부

320 : 제2 카메라부

330 : 자세 측정부

340 : 제어부

350 : 이미지 저장부

Claims (17)

1. 단말기에 탑재되며 상기 단말기의 자세를 측정하는 장치에 있어서,

   대상물을 촬상하여 대상물 이미지에 상응하는 대상물 이미지 데이터를 생성하는 제1 카메라부;

   촬영자를 촬상하여 촬영자 이미지에 상응하는 촬영자 이미지 데이터를 생성하는 제2 카메라부;

   상기 촬영자 이미지 데이터를 이용하여 단말기 자세 정보를 생성하는 단말기 자세 측정부;

   상기 단말기 자세 정보를 읽어와서 상기 대상물 이미지 데이터에 매칭시키고, 상기 단말기 자세 정보가 매칭된 상기 대상물 이미지 데이터를 출력하는 제어부; 및

   상기 단말기 자세 정보가 매칭된 상기 대상물 이미지 데이터를 저장하는 이미지 저장부를 포함하는 단말기 자세 측정 장치.
2. 제1항에 있어서,

   상기 단말기 자세 측정부는

   상기 촬영자 이미지 중 상기 촬영자의 안면 이미지를 추출하는 안면 인식부;

   상기 안면 이미지의 회전 여부 및 회전 정도를 파악하여 상기 촬영자 이미지 의 이미지 회전 정보를 생성하는 회전 정보 생성부; 및

   상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 자세 정보 생성부를 포함하는 것을 특징으로 하는 단말기 자세 측정 장치.
3. 제1항에 있어서,

   상기 단말기 자세 측정부는

   상기 단말기가 회전하지 않은 상태에서 상기 제1 카메라부 또는 상기 제2 카메라부 중 어느 하나에 의해 촬상된 상기 촬영자의 이미지에 상응하는 기준 이미지 데이터를 저장하는 기준 이미지 데이터 저장부;

   상기 기준 이미지 데이터와 상기 촬영자 이미지 데이터를 비교하여 상기 촬영자 이미지의 회전 정도에 관한 정보인 이미지 회전 정보를 생성하는 회전 정보 생성부; 및

   상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 자세 정보 생성부를 포함하는 것을 특징으로 하는 단말기 자세 측정 장치.
4. 제3항에 있어서,

   상기 회전 정보 생성부는

   상기 기준 이미지 데이터로부터 기준 인식점을 추출하고, 상기 기준 인식점에 대응되는 회전 인식점을 상기 촬영자 이미지 데이터로부터 추출하는 대응점 추출부; 및

   상기 기준 인식점에서 상기 회전 인식점로의 위치 이동을 판단하여 상기 이미지 회전 정보를 생성하는 대응점 비교부를 포함하는 것을 특징으로 하는 단말기 자세 측정 장치.
5. 제1항에 있어서,

   상기 제어부는 상기 대상물 이미지의 디스플레이를 위한 사용자 신호를 입력받아 상기 이미지 저장부로부터 상기 대상물 이미지 데이터 및 상기 단말기 자세 정보를 읽어오며,

   상기 대상물 이미지 데이터를 이용하여 생성된 대상물 이미지를 상기 단말기 자세 정보와 함께 디스플레이하는 디스플레이부를 더 포함하는 단말기 자세 측정 장치.
6. 제1항에 있어서,

   상기 제어부는 상기 단말기 자세 정보에 따른 회전 각도만큼 상기 대상물 이 미지를 회전시킨 보정 이미지를 생성하는 것을 특징으로 하는 단말기 자세 측정 장치.
7. 제6항에 있어서,

   상기 보정 이미지를 디스플레이하는 디스플레이부를 더 포함하는 단말기 자세 측정 장치.
8. 제7항에 있어서,

   상기 제어부는 상기 보정 이미지와 상기 단말기 자세 정보를 매칭하여 상기 디스플레이부로 출력하며,

   상기 디스플레이부는 상기 보정 이미지와 함께 상기 단말기 자세 정보를 디스플레이하는 것을 특징으로 하는 단말기 자세 측정 장치.
9. 제1항에 있어서,

   상기 제1 카메라부는 상기 제2 카메라부와 서로 다른 방향을 향하도록 설치되는 것을 특징으로 하는 단말기 자세 측정 장치.
10. 단말기의 자세를 측정하는 방법에 있어서,

    (a)대상물을 촬상하여 대상물 이미지에 상응하는 대상물 이미지 데이터를 생성하는 단계;

    (b)촬영자를 촬상하여 촬영자 이미지에 상응하는 촬영자 이미지 데이터를 생성하는 단계;

    (c)상기 촬영자 이미지 데이터를 이용하여 단말기 자세 정보를 생성하는 단계; 및

    (d)상기 단말기 자세 정보를 상기 대상물 이미지 데이터와 매칭하여 저장하는 단계를 포함하는 단말기 자세 측정 방법.
11. 제10항에 있어서,

    상기 단계 (c)는

    (c1)상기 촬영자 이미지 중 상기 촬영자의 안면 이미지를 추출하는 단계;

    (c2)상기 안면 이미지의 회전 여부 및 회전 정도를 파악하여 상기 촬영자 이미지의 이미지 회전 정보를 생성하는 단계; 및

    (c3)상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 단말기 자세 측정 방법.
12. 제10항에 있어서,

    상기 단계 (c)는

    (c4)기준 이미지 데이터와 상기 촬영자 이미지 데이터를 비교하여 상기 촬영자 이미지의 회전 정도에 관한 정보인 이미지 회전 정보를 생성하는 단계; 및

    (c5)상기 이미지 회전 정보를 이용하여 상기 대상물이 촬상될 때의 단말기 자세를 파악하여 상기 단말기 자세 정보를 생성하는 단계를 포함하되,

    상기 기준 이미지 데이터는 상기 단말기가 회전하지 않은 상태에서 상기 제1 카메라부 또는 상기 제2 카메라부 중 어느 하나에 의해 촬상된 상기 촬영자의 이미지에 상응하여 미리 저장되어 있는 것을 특징으로 하는 단말기 자세 측정 방법.
13. 제12항에 있어서,

    상기 단계 (c4)는

    (c41)상기 기준 이미지 데이터로부터 기준 인식점을 추출하고, 상기 기준 인식점에 대응되는 회전 인식점을 상기 촬영자 이미지 데이터로부터 추출하는 단계; 및

    (c42)상기 기준 인식점과 상기 회전 인식점의 위치 이동을 판단하여 이미지 회전 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 단말기 자세 측정 방 법.
14. 제10항에 있어서,

    (e) 상기 대상물 이미지의 디스플레이를 위한 사용자 신호를 입력받는 단계;

    (f) 상기 대상물 이미지 데이터 및 상기 단말기 자세 정보를 읽어오는 단계; 및

    (g) 상기 대상물 이미지 데이터를 이용하여 생성한 대상물 이미지 및 상기 단말기 자세 정보와 함께 디스플레이하는 단계를 더 포함하는 단말기 자세 측정 방법.
15. 제10항에 있어서,

    (e) 상기 단말기 자세 정보에 따른 회전 각도만큼 상기 대상물 이미지를 회전시킨 보정 이미지를 생성하는 단계를 더 포함하는 단말기 자세 측정 방법.
16. 제15항에 있어서,

    (f) 상기 보정 이미지를 디스플레이하는 단계를 더 포함하는 단말기 자세 측 정 방법.
17. 제16항에 있어서,

    상기 단계 (e)는 상기 보정 이미지에 상응하는 상기 단말기 자세 정보를 매칭하고,

    상기 단계 (f)는 상기 보정 이미지와 함께 상기 단말기 자세 정보를 디스플레이하는 것을 특징으로 하는 단말기 자세 측정 방법.

Images