KR101855936B1 - 스마트폰 화면 안정화 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 스마트폰 영상의 안정화 시스템은 스마트폰의 선형이동을 검출하는 가속도 센서, 스마트폰의 자세정보를 검출하는 자이로 센서 및 검출된 스마트폰의 선형이동을 이용하여 기준점에서의 선형변위값을 산출하고, 선형변위값에 따라서 스마트폰의 화면을 이동시키며, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부를 포함한다.

Description

스마트폰 화면 안정화 시스템 및 방법{SYSTEM AND METHOD FOR SMARTPHONE IMAGE STABILIZATION}

본 발명은 스마트폰 화면 안정화 시스템 및 방법에 관한 것으로서, 보다 상세하게는 외부 진동에 의한 스마트폰 화면 안정화를 위한 시스템 및 그 방법에 관한 것이다.

최근 멀티미디어 기기의 사용이 증가함에 따라 다양한 환경에서 촬영된 디지털 영상에 대한 화질개선(image enhancement) 기술에 대한 수요도 증가하고 있다. 화질개선 기술에는 영상의 번짐 제거, 잡음 제거 및 영상 안정화 기술 등이 있으며, 가정용 카메라나 캠코더, 산업용 감시 카메라, 방송용 카메라 및 군사용 영상 촬영 장치에 이르기까지 광범위하게 적용된다. 초기 디지털 카메라 및 캠코더는 기존의 아날로그 영상을 디지털화하여 영상을 만들어 내는 데 그쳤다. 그러나 최근 사용되는 디지털 카메라 및 캠코더는 각종 선처리 및 후처리 보정기술이 적용되어 기존의 아날로그 영상보다 더욱 깨끗하고 선명한 화질의 디지털 영상을 얻을 수 있게 되었다.

나아가, 스마트 폰 및 태블릿 PC의 등장으로 인하여 휴대가능한 기기를 이용하는 사용자가 꾸준히 증가하고 있으며, 최근에는 모바일 인터넷 이용자의 98.3%가 스마트폰을 보유하고 있으며, 현대인들의 평균 모바일 인터넷의 이용시간은 스마트폰이 1시간 36분, 태블릿 PC가 41분으로 나타나고 있고, 대부분의 사용자들은 인터넷을 이용하는 장소로 가정이 92.4%, 이동중인 교통수단이 86.7%로 조사되었다.

이러한 이동중에 인터넷을 사용하는 인구가 많아짐에 따라서 영상 안정화 기술은 더욱 필요하게 되었다.

이동중인 교통수단 안에서 스마트폰 화면을 응시하면 눈에 피로감을 주어 안구건조증이나 시력저하 등, VDT증후군 증상을 호소하는 사례가 급격하게 증가하고 있으며, 과도한 수정체 조절로 인한 눈의 피로도는 증가하고 있는 실정이다. 또한, 작은 화면을 지속적으로 집중하여 응시하게 되면 뇌압상승으로 두통이나 속이 안좋은 멀미증상이 나타난다.

이처럼 이동중에 사용자의 인체에 미치는 악영향을 최소화하기 위해 등장하는 기술이 영상 보정기술이며, 디지털 영상 보정 기술 중에서 가장 보편적으로 사용되는 기술이 영상 안정화(image stabilization) 기술이다.

사용자가 카메라를 들고 촬영할 경우 또는 이동중 촬영할 경우에 흔들림이 발생하게 되며, 자동차, 비행기 또는 헬기와 같은 이동수단에 설치된 카메라의 경우에는 기계적 진동이나 지면과의 마찰 등 여러 환경적 요인에 의해 원치 않는 흔들림이 생기게 된다. 또한 줌 렌즈(zoom lense)의 배율이 올라가면서 약간의 움직임에도 화면 흔들림이 심해지는 문제가 있다. 영상 안정화 기술은 이와 같이 촬영시 카메라가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.

영상 안정화에는 자이로 센서(gyro sensor) 또는 유동 프리즘을 이용한 기계적 방식이 널리 사용되어 왔다. 기계적 방식은 자이로 센서가 카메라 움직임의 각속도를 감지하여 카메라 렌즈를 각속도가 생성되는 반대 방향으로 움직임으로써 영상의 흔들림을 보상하거나, 유동 프리즘에 의해 입사되는 빛의 각도를 조절하여 카메라의 떨림을 보상함으로써 영상의 흔들림을 제거하는 방식이다. 한편, 최근에는 입력된 영상신호에서 프레임 간의 움직임 추정을 통하여 원치 않는 흔들림을 검출하고, 프레임 메모리 또는 CCD로부터 움직임이 보상된 영상 데이터를 읽음으로써 흔들림을 보정하는 디지털 영상 안정화 기술이 사용되고 있다. 이러한 디지털 영상 안정화 기술은 기계적 방식에 비해 저렴하고 정확도가 높을 뿐 아니라 기계적 안정화에 의해 보상되지 못하는 다양한 움직임 성분을 보상할 수 있으므로 활발히 연구되고 있다.

디지털 영상 안정화 기법은 크게 전역 움직임 추정 단계 및 움직임 보상 단계의 두 가지 단계로 이루어져 있다.

전역 움직임 추정 단계에서 효과적이고 빠르게 전역 움직임을 찾기 위한 대표적인 기술로서 비디오 코덱에 많이 적용되는 블록 정합 기법(block matching algorithm : BMA)을 기반으로 한 기법들이 있다. 그중 대표적인 방법으로는 BERP(band extraction representative point matchint) 및 비트 플레인 정합(bit-plane matching : BPM) 등이 있다. 이러한 기법들은 움직임 추정속도가 빠르고 실시간 임베디드 시스템에 적용하기 용이한 반면, 평행 떨림 성분 이외의 회전, 확대 및 축소 등의 움직임 성분들을 감지할 수 없다는 단점이 있다. 이러한 단점을 극복하기 위해 다양한 움직임 성분을 감지할 수 있는 전역 움직임 추정 기법, 특징정 기반 정합(featurebased matching : FBM)을 이용한 기법 등이 연구되었다. 이러한 기법들은 BMA 기반의 기법에 의해 감지하지 못하는 움직임, 회전, 확대 및 축소 움직임을 감지할 수 있는 반면 계산 속도가 느리고 알고리즘이 복잡하여 실시간 처리가 어렵다는 단점이 있다.

이와 같은 다양한 영상 안정화 기술은 대부분 영상을 촬영하는 카메라에 적용되어오고 있으며, 스마트폰이나 태블릿 PC의 경우도 적용은 가능하나 카메라에 적용되는 영상 안정화 기술은 촬영된 영상과 외부진동에 의한 이동벡터값을 산출하여 실제 외부진동이 없을때의 영상을 추정하여 보정된 영상을 생성하는 기술이 대부분이고, 스마트폰이나 태블릿 PC에서 시연되고 있는 영상의 보정에 적용하는 것은 다소 제한적인 것이 사실이다.

대한민국 등록특허 제10-1638628호(2016.07.05) 대한민국 공개특허 제10-2013-0082309호(2013.07.19) 대한민국 등록특허 제10-1348855호(2013.12.31)

본 발명의 목적은 스마트폰의 외력에 의한 진동이나 회전에도 불구하고 스마트폰 화면을 일정한 방향으로 움직이고 회전시키는 스마트폰 영상의 안정화 시스템 및 그 방법을 제공하는데 있다.

본 발명의 실시예에 따른 스마트폰 영상의 안정화 시스템은 스마트폰의 선형이동을 검출하는 가속도 센서, 스마트폰의 자세정보를 검출하는 자이로 센서 및 검출된 스마트폰의 선형이동을 이용하여 기준점에서의 선형변위값을 산출하고, 선형변위값에 따라서 스마트폰의 화면을 이동시키며, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부를 포함한다.

여기서, 상기 선형변위값은 상기 기준점을 원점으로 직교좌표의 x, y, z축으로의 이동변위값일 수 있다.

여기서, 상기 회전값은 x축을 중심으로 회전하는 롤(roll), y축을 중심으로 회전하는 피치(pitch), z축을 중심으로 회전하는 요(yaw)값 일 수 있다.

본 발명의 실시예에 따른 스마트폰 영상의 안정화 시스템은 스마트폰의 선형이동을 검출하는 가속도 센서, 스마트폰의 자세정보를 검출하는 자이로 센서, 상기 스마트폰의 카메라 중 사용자 방향을 지향하는 내측카메라에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공 위치를 검출하는 동공위치검출부 및 상기 가속도 센서를 통해서 검출된 제1선형변위값과 상기 동공위치검출부를 통해서 검출된 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 상기 선형변위값에 의해서 스마트폰 화면을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부를 포함한다.

여기서, 상기 선형변위값은 상기 기준점을 원점으로 직교좌표의 x, y, z축으로의 이동변위값일 수 있다.

여기서, 상기 회전값은 x축을 중심으로 회전하는 롤(roll), y축을 중심으로 회전하는 피치(pitch), z축을 중심으로 회전하는 요(yaw)값일 수 있다.

여기서, 상기 동공위치검출부는 상기 내측카메라에 입력되는 영상 프레임들을 저장하는 영상저장모듈, 현재 영상 프레임들로부터 복수의 하위 영상을 추출하고, 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 대응되는 하위 영상과 현재 영상 프레임으로부터 추출한 하위 영상 각각에 대해 현재 영상 프레임과 이전 영상 프레임의 대응되는 하위 영상들 사이의 이동을 푸리에 도메인에서의 선형 위상 차이로 변환하는 푸리에 변환의 천이 특성에 기반한 위상 상관 알고리즘을 이용하여 지역 움직임 벡터를 추정하는 지역움직임 벡터 추정모듈, 현재 영상 프레임에 대해 얻어진 복수개의 지역 움직임 벡터를 평균하거나 피크가 큰 두개의 지역 움직임 벡터를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터를 결정하는 프레임 움직임 벡터 결정모듈 및 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 누적 움직임 벡터를 산출하는 누적 움직임 벡터 산출모듈을 포함할 수 있다.

또한, 상기 동공위치검출부는 실시간으로 눈동자를 검출하는 눈동자검출모듈을 더 포함할 수 있다.,

여기서, 상기 눈동자검출모듈은 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화 및 임계값에 의해 눈 이미지를 흑과 백으로 이진화할 수 있다.

여기서, 상기 눈동자검출모듈은 눈동자의 직경과 안구의 직경의 비율이 1:2.5라는 점과 양쪽 끝점간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정할 수 있다.

본 발명의 실시예에 따른 스마트폰 영상의 안정화 장치는 스마트폰의 선형이동을 검출하는 가속도센서와 스마트폰의 자세정보를 검출하는 자이로센서를 포함하는 스마트폰 영상의 안정화 장치로서, 스마트폰의 카메라 중 사용자 방향을 지향하여 사용자의 동공을 촬영하는 내측카메라, 상기 내측카메라에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공 위치를 검출하는 동공위치검출부 및 상기 가속도 센서를 통해서 검출된 제1선형변위값과 상기 동공위치검출부를 통해서 검출된 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 상기 선형변위값에 의해서 스마트폰 화면을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부를 포함한다.

여기서, 상기 안정화부는 선형변위값을 산출하는 선형변위산출모듈 및 스마트폰의 기울어진 회전값을 산출하는 회전변위산출모듈을 포함할 수 있다.

본 발명의 실시예에 따른 스마트폰 영상의 안정화 방법은 스마트폰 영상의 안정화 장치에 의해서 수행되는 스마트폰 영상의 안정화 방법으로서, 가속도 센서에 의한 제1선형변위값을 검출하는 단계, 동공의 위치를 검출하여 스마트폰의 제2선형변위값을 검출하는 단계, 자이로 센서에 의해 스마트폰의 자세정보를 검출하는 단계, 상기 제1선형변위값과 상기 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하는 단계, 상기 스마트폰의 자세정보에 의해서 스마트폰의 화면을 기울이고, 상기 선형변위값에 의해서 스마트폰의 화면을 이동시키는 단계를 포함한다.

여기서, 상기 제1선형변위값과 상기 제2선형변위값은 같은 기준점에서 x, y, z방향으로 이동한 변위값일 수 있다.

본 발명의 실시예에 따른 스마트폰 안정화 시스템 및 그 방법에 의하면 외력에 의한 스마트폰의 진동이나 회전에도 불구하고 사용자 눈의 피로를 줄일 수 있으며, 눈의 피로가 줄어듬으로 인해서 매스꺼움이나 두통을 느끼지 않고 움직이는 상황에서 스마트폰이나 태블릿 PC를 편하게 사용할 수 있다.

도 1은 본 발명의 실시예에 따른 스마트폰 화면 안정화 시스템의 기능 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 스마트폰 영상의 안정화 시스템 블록도이다.
도 3은 본 발명의 실시예에 따른 동공위치검출부의 상세 블록도이다.
도 4는 본 발명의 실시예에 따른 스마트폰 영상의 안정화 장치구성도이다.
도 5는 본 발명의 실시예에 따른 스마트폰 영상의 안정화 방법의 순서도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하 도면을 참고하여 본 발명의 실시예에 따른 스마트폰 화면 안정화 시스템 및 방법에 대해서 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 스마트폰 화면 안정화 시스템의 기능 블록도이다.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 스마트폰 화면 안정화 시스템은 스마트폰의 선형이동을 검출하는 가속도 센서(100), 스마트폰의 자세정보를 검출하는 자이로 센서(200) 및 검출된 스마트폰의 선형이동을 이용하여 기준점에서의 선형변위값을 산출하고, 선형변위값에 따라서 스마트폰의 화면을 이동시키며, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부(300)를 포함한다.

가속도 센서(100)는 이동하는 물체의 가속도나 충격의 세기를 측정하는 센서이다. 출력신호를 처리하여 물체의 가속도, 진동, 충격 등 동적 힘을 측정하는 것으로서, 스마트폰에 내장되어 있다.

가속도 센서(100)는 질량이 있는 물체가 가속도를 받으면 힘이 발생하므로 용수철과 같은 신축정도에 따라서 가속도를 측정하는 원리를 사용할 수 있다. 전자식 가속도 센서는 적당한 질량을 가진 가동 부분이 움직인 양을 자석과 코일의 기전력에 의하여 측정하는 것이고, 전압식 가속도 센서는 압력을 가하면 전압을 발생하는 압전소자를 사용하여 가해진 압력으로서 가속도를 알아낼 수 있다.

본 발명의 실시예에 따른 가속도 센서(100)는 외력에 의한 스마트폰 또는 태블릿 PC의 진동을 검출하는 기능을 수행한다.

자이로 센서(200)는 회전하는 물체의 역학운동을 이용하여 위치측정과 방향설정 등에 활용되는 센서이다.

본 발명의 실시예에 따른 자이로 센서(200)는 외력에 의한 스마트폰 또는 태블릿 PC의 회전이동을 검출하는 기능을 수행한다.

안정화부(300)는 가속도 센서(100)에 의해서 검출된 스마트폰의 선형이동을 이용하여 기준점에서의 선형변위값을 산출한다. 또한, 자이로 센서(200)에 의해서 검출된 스마트폰의 기준선에서의 회전값을 산출한다. 안정화부(300)는 이러한 선형변위값과 회전값을 이용하여 실시간으로 스마트폰의 화면을 선형이동시키거나 회전시킨다.

선형변위값은 기준점을 원점으로 직교좌표의 x, y, z축으로의 이동변위값이며, 회전값은 x축을 중심으로 회전하는 롤(roll), y축을 중심으로 회전하는 피치(pitch), z축을 중심으로 회전하는 요(yaw)값 중에서 적어도 어느 하나일 수 있다.

도 2는 본 발명의 다른 실시예에 따른 스마트폰 영상의 안정화 시스템 블록도이다.

본 발명의 다른 실시예에 따른 스마트폰 영상의 안정화 시스템은 스마트폰의 선형이동을 검출하는 가속도 센서(100), 스마트폰의 자세정보를 검출하는 자이로 센서(200), 상기 스마트폰의 카메라 중 사용자 방향을 지향하는 내측카메라에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공 위치를 검출하는 동공위치검출부(400) 및 상기 가속도 센서(100)를 통해서 검출된 제1선형변위값과 상기 동공위치검출부(400)를 통해서 검출된 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 상기 선형변위값에 의해서 스마트폰 화면을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부(300)를 포함한다.

앞선 실시예와 중복된 구성에 대한 설명은 생략한다.

도 2에 도시된 바와 같이 본 발명의 실시예에 따른 스마트폰 영상의 안정화 시스템은 가속도센서(100), 자이로센서(200), 동공위치검출부(400) 및 안정화부(300)를 포함한다.

동공위치검출부(400)는 스마트폰의 카메라 중 사용자 방향을 지향하는 내측카메라에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공위치를 검출한다.

도 3은 본 발명의 실시예에 따른 동공위치검출부의 상세 블록도이다.

동공위치검출부(400)는 내측카메라에 입력되는 영상 프레임들을 저장하는 영상저장모듈(410), 현재 영상 프레임들로부터 복수의 하위 영상을 추출하고, 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 대응되는 하위 영상과 현재 영상 프레임으로부터 추출한 하위 영상 각각에 대해 현재 영상 프레임과 이전 영상 프레임의 대응되는 하위 영상들 사이의 이동을 푸리에 도메인에서의 선형 위상 차이로 변환하는 푸리에 변환의 천이 특성에 기반한 위상 상관 알고리즘을 이용하여 지역 움직임 벡터를 추정하는 지역움직임 벡터 추정모듈(420), 현재 영상 프레임에 대해 얻어진 복수개의 지역 움직임 벡터를 평균하거나 피크가 큰 두개의 지역 움직임 벡터를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터를 결정하는 프레임 움직임 벡터 결정모듈(430) 및 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 누적 움직임 벡터를 산출하는 누적 움직임 벡터 산출모듈(440)과 실시간으로 눈동자를 검출하는 눈동자검출모듈(450)을 포함한다.

본 발명의 동공위치검출부(400)는 사용자의 동공을 영상으로 촬영한다. 본 발명의 실시예에 따른 동공위치검출부(400)는 일반적으로 사용자가 스마트폰 등의 화면을 응시하는 상황에서 스마트폰의 외력에 의한 움직임 뿐만 아니라 사용자의 움직임도 함께 고려하여 영상 안정화를 구현하기 위함이다.

이때 동공의 영상을 촬영하는 상황에서도 스마트폰에 외력이 작용하는 상황은 충분히 가정이 가능하고, 동공위치검출부(400)는 영상안정화를 통해서 실제 동공의 위치 및 동공의 움직임을 정확하게 산출할 수 있다.

이때 본 발명의 실시예에 따른 동공위치검출부(400)는 영상안정화 기법으로 블록매칭 알고리즘에 기반한 영상 안정화를 수행한다.

영상저장모듈(410)은 불안정한 현재 영상 프레임을 저장하고, 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 누적 움직임 벡터를 기초로 적절한 현재 영상 프레임에서 적절한 영역을 독출하여 안정화된 영상을 생성하도록 한다.

지역움직임 벡터 추정모듈(420)은 위상 상관 알고리즘을 이용하여 영상 프레임 상의 상이한 위치로부터 추출된 하위 영상으로부터 지역 움직임 벡터를 생성한다. 위상 상관 알고리즘은 두 함수의 동등한 영상 프레임에서의 이동이 푸리에 도메인에서 선형 위상 차이로 변환된다는 푸리에 변환의 천이 특성에 기반한다.

지역움직임 벡터 추정모듈(420)은 위상 상관에 기반하여 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동양에 해당하는 하위영상 각각의 지역움직임 벡터를 산출할 수 있다.

프레임 움직임 벡터 결정모듈(430)은 현재 영상 프레임에 대해 얻어진 복수개의 지역 움직임 벡터를 평균하거나 피크가 큰 두개의 지역 움직임 벡터를 평균하여 현재 영상 프레임에 대한 프레임 움직임 벡터를 결정한다. 스마트폰이나 태블릿 PC가 촬영하는 사용자가 움직이는 경우를 카메라가 움직이는 경우로 가정하면, 카메라의 움직임에 의해 진동하는 두개의 연속된 영상 프레임의 프레임 움직임 벡터는 유사하다. 이러한 카메라의 움직임 특성에 기초하여 하위 영상으로부터 각각의 움직임 벡터 성분의 최대 피크를 독립적으로 선택하고 예측된 프레임 움직임 벡터에 가까운 지역움직임 벡터를 선택하기 위해 칼만필터를 사용하여 간단하고 강인한 움직임 예측 및 보정을 수행할 수도 있다.

누적 움직임 벡터 산출모듈(440)은 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 누적 움직임 벡터를 산출한다.

눈동자 검출모듈(450)은 실시간으로 촬영되는 영상에서 눈동자를 검출한다. 눈동자 검출모듈(450)은 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화 및 임계값에 의해 눈 이미지를 흑과 백으로 이진화할 수 있으며, 눈동자의 직경과 안구의 직경의 비율이 1:2.5라는 점과 양쪽 끝점간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정할 수 있다.

안정화부(300)는 가속도 센서를 통해 검출된 제1선형변위값과 동공위치검출부를 통해서 검출된 최적의 움직임 벡터인 누적 움직임 벡터, 즉 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 선형변위값에 의해서 스마트폰 화면을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 한다.

기존에는 영상 안정화를 위해서 스마트폰 자체의 움직임에 대한 고려만이 있었을 뿐, 사용자의 미세한 움직임이나 시선의 변화에 대한 고려는 전혀 없었으나, 본 발명의 실시예에 따른 스마트폰 영상 안정화 시스템은 사용자의 미세한 움직임 내지는 동공의 움직임에도 스마트폰 영상이 반응하여 안정화를 위해 화면이 움직이도록 한다.

도 4는 본 발명의 실시예에 따른 스마트폰 영상의 안정화 장치구성도이다.

도 4에 도시된 바와 같이 본 발명의 또 다른 양태에 따른 스마트폰 영상의 안정화 장치는 스마트폰(10)의 선형이동을 검출하는 가속도센서(100)와 스마트폰의 자세정보를 검출하는 자이로센서(200)를 포함하는 스마트폰 안정화 장치로서, 스마트폰의 카메라 중 사용자 방향을 지향하여 사용자의 동공을 촬영하는 내측카메라(11), 내측카메라(11)에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공 위치를 검출하는 동공위치검출부(400) 및 가속도 센서(100)를 통해서 검출된 제1선형변위값과 동공위치검출부(400)를 통해서 검출된 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 선형변위값에 의해서 스마트폰 화면(12)을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면(12)을 기울어지도록 하는 안정화부(300)를 포함한다.

안정화부(300)는 앞선 도2에 도시된 바와 같이 선형변위값을 산출하는 선형변위산출모듈(310), 스마트폰의 기울어진 회전값을 산출하는 회전변위산출모듈(320)을 포함한다.

도 5는 본 발명의 실시예에 따른 스마트폰 영상의 안정화 방법의 순서도이다.

도 5에 도시된 바와 같이 본 발명의 실시예에 따른 스마트폰 영상의 안정화 방법은 스마트폰 영상의 안정화 장치에 의해서 수행되는 스마트폰 영상의 안정화 방법으로서, 가속도 센서에 의한 제1선형변위값을 검출하는 단계(S100), 동공의 위치를 검출하여 스마트폰의 제2선형변위값을 검출하는 단계(S200), 자이로 센서에 의해 스마트폰의 자세정보를 검출하는 단계(S300), 제1선형변위값과 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하는 단계(S400), 스마트폰의 자세정보에 의해서 스마트폰의 화면을 기울이고, 선형변위값에 의해서 스마트폰의 화면을 이동시키는 단계(S500)를 포함한다.

가속도 센서에 의해서 제1선형변위값을 검출하는 단계(S100)는 센서에서 스마트폰 자체의 이동, 진동을 검출하는 단계이다. 제1선형변위값은 직교좌표계의 원점을 기준으로 x, y, z축으로의 이동거리를 측정한 결과값일 수 있으나 반드시 이에 제한되는 것은 아니다.

동공의 위치를 검출하여 스마트폰의 제2선형변위값을 검출하는 단계(S200)는 앞서 설명한 스마트폰의 내측카메라를 이용하여 실시간으로 촬영된 영상에서 동공을 검출하고, 검출된 동공의 위치변화를 제2선형변위값으로 검출한다. 동공의 위치변화는 사용자 머리의 흔들림이나 자세변화 등을 모두 수반할 수 있다.

자이로 센서에 의해서 스마트폰의 자세정보를 검출하는 단계(S300)는 원점을 중심으로 하는 위치변화가 아닌 고정된 위치에서의 축을 기준으로하는 회전값을 검출하는 단계이다. 최초 스마트폰의 화면에 수직방향의 축을 x축으로 설정하여 롤(roll), 피치(pitch), 요(yaw)값을 자이로 센서를 통해서 검출한다.

제1선형변위값과 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하는 단계(S400)는 사용자의 움직임과 외력에 의한 스마트폰의 움직임 모두를 고려한 선형변위값을 산출하는 단계이다.

위에서 언급한 각 단계가 끝나면 마지막으로 스마트폰의 자세정보에 의해서 스마트폰의 화면을 기울이고, 선형변위값에 의해서 스마트폰의 화면을 이동시키는 단계(S500)를 거친다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 가속도 센서 200 자이로 센서
300 안정화부 310 선형변위산출모듈
320 회전변위산출모듈 400 동공위치검출부
410 영상저장모듈 420 지역움직임벡터추정모듈
430 프레임움직임벡터결정모듈 440 누적움직임벡터산출모듈
450 눈동자검출모듈

Claims (15)

1. 삭제
2. 삭제
3. 삭제
4. 스마트폰 영상의 안정화 시스템으로서,
   스마트폰의 선형이동을 검출하는 가속도 센서;
   스마트폰의 자세정보를 검출하는 자이로 센서;
   상기 스마트폰의 카메라 중 사용자 방향을 지향하는 내측카메라에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공 위치를 검출하는 동공위치검출부; 및
   상기 가속도 센서를 통해서 검출된 제1선형변위값과 상기 동공위치검출부를 통해서 검출된 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 상기 선형변위값에 의해서 스마트폰 화면을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부를 포함하되,
   상기 제2선형변위값은 상기 촬영되는 영상의 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 검출된 누적 움직임 벡터인 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
5. 제4항에 있어서,
   상기 선형변위값은 상기 기준점을 원점으로 직교좌표의 x, y, z축으로의 이동변위값인 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
6. 제4항에 있어서,
   상기 회전값은 x축을 중심으로 회전하는 롤(roll), y축을 중심으로 회전하는 피치(pitch), z축을 중심으로 회전하는 요(yaw)값인 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
7. 제4항에 있어서,
   상기 동공위치검출부는
   상기 내측카메라에 입력되는 영상 프레임들을 저장하는 영상저장모듈;
   현재 영상 프레임들로부터 복수의 하위 영상을 추출하고, 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 대응되는 하위 영상과 현재 영상 프레임으로부터 추출한 하위 영상 각각에 대해 현재 영상 프레임과 이전 영상 프레임의 대응되는 하위 영상들 사이의 이동을 푸리에 도메인에서의 선형 위상 차이로 변환하는 푸리에 변환의 천이 특성에 기반한 위상 상관 알고리즘을 이용하여 지역 움직임 벡터를 추정하는 지역움직임 벡터 추정모듈;
   현재 영상 프레임에 대해 얻어진 복수개의 지역 움직임 벡터를 평균하거나 피크가 큰 두개의 지역 움직임 벡터를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터를 결정하는 프레임 움직임 벡터 결정모듈; 및
   기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 누적 움직임 벡터를 산출하는 누적 움직임 벡터 산출모듈을 포함하는 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
8. 제7항에 있어서,
   상기 동공위치검출부는 실시간으로 눈동자를 검출하는 눈동자검출모듈을 더 포함하는 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
9. 제8항에 있어서,
   상기 눈동자검출모듈은 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화 및 임계값에 의해 눈 이미지를 흑과 백으로 이진화하는 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
10. 제8항에 있어서,
    상기 눈동자검출모듈은 눈동자의 직경과 안구의 직경의 비율이 1:2.5라는 점과 양쪽 끝점간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하는 것을 특징으로 하는 스마트폰 영상의 안정화 시스템.
11. 스마트폰의 선형이동을 검출하는 가속도센서와 스마트폰의 자세정보를 검출하는 자이로센서를 포함하는 스마트폰 영상의 안정화 장치로서,
    스마트폰의 카메라 중 사용자 방향을 지향하여 사용자의 동공을 촬영하는 내측카메라;
    상기 내측카메라에 의해서 실시간으로 촬영되는 영상에 의해 사용자의 동공 위치를 검출하는 동공위치검출부; 및
    상기 가속도 센서를 통해서 검출된 제1선형변위값과 상기 동공위치검출부를 통해서 검출된 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하며, 상기 선형변위값에 의해서 스마트폰 화면을 이동시키고, 검출된 스마트폰의 자세정보를 이용하여 기준선에서의 회전값을 산출하여 스마트폰의 화면을 기울어지도록 하는 안정화부를 포함하되,
    상기 제2선형변위값은 상기 촬영되는 영상의 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 검출된 누적 움직임 벡터인 것을 특징으로 하는 스마트폰 영상의 안정화 장치.
12. 제11항에 있어서,
    상기 안정화부는 선형변위값을 산출하는 선형변위산출모듈; 및
    스마트폰의 기울어진 회전값을 산출하는 회전변위산출모듈을 포함하는 것을 특징으로 하는 스마트폰 영상의 안정화 장치.
13. 스마트폰 영상의 안정화 장치에 의해서 수행되는 스마트폰 영상의 안정화 방법으로서,
    가속도 센서에 의한 제1선형변위값을 검출하는 단계;
    동공의 위치를 검출하여 스마트폰의 제2선형변위값을 검출하는 단계;
    자이로 센서에 의해 스마트폰의 자세정보를 검출하는 단계;
    상기 제1선형변위값과 상기 제2선형변위값을 이용하여 기준점에서의 선형변위값을 산출하는 단계;
    상기 스마트폰의 자세정보에 의해서 스마트폰의 화면을 기울이고, 상기 선형변위값에 의해서 스마트폰의 화면을 이동시키는 단계를 포함하되,
    상기 제2선형변위값은 촬영되는 영상의 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 프레임 움직임 벡터를 누적하여 검출된 누적 움직임 벡터인 것을 특징으로 하는 스마트폰 영상의 안정화 방법.
14. 제13항에 있어서,
    상기 제1선형변위값과 상기 제2선형변위값은 같은 기준점에서 x, y, z방향으로 이동한 변위값인 것을 특징으로 하는 스마트폰 영상의 안정화 방법.
15. 제13항 또는 제14항에 기재된 스마트폰 영상의 안정화 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images