KR20040010453A - 영상의 위치정보 입력 신호처리 장치 및 방법 - Google Patents

Abstract

카메라를 움직여서 그 카메라의 영상신호로부터 움직임을 검출하여 마우스 등과 같은 위치 입력장치로 사용하는 방법이다. 일반적으로 캠코더, 디지털 카메라 및 카메라 센서가 달려있는 휴대폰 등에서 키의 조작으로 그림을 그리거나 위치를 지정할 때 키 조작만으로는 불편함이 따른다. 필요에 따라 마우스나 트랙볼과 같은 입력장치를 부가하기도 하여 임의의 위치를 지정 (마우스 포인팅 작업) 하거나 명령 등을 클릭할 수 있게 되나 별도의 하드웨어 장치와 기구적인 구성이 필요하게 된다.

본 발명은 상기한 카메라를 임의의 방향으로 움직이고 그 움직임으로부터 영상신호처리를 이용하여 위치벡터 값을 추출한 후 위치 지정 작업에 적용하는 것을 목적으로 한다. 상기한 영상신호처리 방법은 동영상 카메라의 영상신호로 부터 프레임간 움직임 벡터를 검출하고 이 벡터를 매 프레임 누적하여 그 궤적을 산출한다.

이와 같은 방법으로 별도의 기계적인 기구 없이 카메라를 의도적으로 움직여 마우스등의 기능을 대응하고 글씨, 그림 등을 표현하는 장치로 사용하는 포인터 위치 지정 방법 및 장치에 관한 발명이다.

Description

영상의 위치정보 입력 신호처리 장치 및 방법 {Image position pointing method and devices}

카메라 영상으로부터 움직임 검출을 하여 영상을 안정화 하는 손떨림 방지 장치의 기술 등은 이미 캠코더등에 활용되고 있으며 상품화 되어있다. 이러한 움직임 검출방법으로 영상으로부터 프레임간 움직임을 검출하는 디지털 영상신호처리 방법과 자이로 각속도 센서 (Gyro Sensor)로부터 연산하는 방법이 제안되어있다. 본 발명은 이러한 움직임 검출장치 특히 디지털 영상신호처리 장치에 의한 움직임 벡터를 응용하는 것으로 캠코더 및 휴대폰 카메라등에 위치 입력 (지정) 도구로 사용하고자 하는 구성에 관한 것이다.

위치 입력도구로서 일반적으로 방향키 등을 사용하는 방법이 제안되어 있으나, 감각적으로 빠르게 위치를 이동하거나 필기체로 문자를 입력하거나 하는 도구로는 사용되기 어렵다. 또한, Touch Screen (화면 직접 입력 방식)은 2차원의 투명한 센서를 화면에 설정하여 화면에 펜 등으로 자극을 주어 그 위치를 결정하는 장치가 제안되어 있으나, 그 부가의 펜 기구와 2차원 화면 센서를 설치해야 하는 하드웨어의 추가가 수반되어 그 구성이 복잡하고 단가가 높아지는 단점이 있다. 이것은 또한, 카메라 또는 휴대폰처럼 소형화된 영상 장치일 경우 왼손으로 카메라를 잡고 오른손으로 쓰기 위해 양손을 이용해야하는 단점이 있다.

필요에 따라 마우스나 트랙볼과 같은 입력장치를 부가하기도 하여 임의의 위치를 지정 (마우스 포인팅 작업) 하거나 명령 등을 클릭할 수 있게 되나 별도의 하드웨어 장치와 기구적인 장치가 필요하여 시스템 구성에 걸림돌이 되고있다.

먼저 카메라를 움직여서 임의의 움직임을 발생시킨 후 움직임 벡터를 검출해야 한다. 이를 위하여 상기한 바와 같이 자이로 각속도 센서를 이용하던가 영상 신호 처리로 움직임 벡터를 추출하도록 한다. 실제 소형화된 휴대폰 카메라등은 그 소형화의 제약으로 집적회로 (IC) 형태의 움직임 검출 소자가 경쟁력이 있으므로 영상신호처리에 의한 움직임 벡터 검출 방법이 유용하다.

영상 신호 처리에 의한 움직임 검출 방법은 입력 영상으로부터 매 프레임 특징점을 추출한 후 그 특징점의 상관도를 비교한다. 다음으로 그 상관도가 최대인 변위로 프레임간 화면의 2차원적 움직임 벡터를 추정한다. 이 때 정확한 움직임을 검출해야만 원하는 위치의 값으로 포인팅 할 수 있다.

상기한 바와 같이 추정한 움직임 벡터를 매 필드 저장 혹은 변화가 있을 때마다 저장하고 마우스 포인터의 움직임으로 표현한다. 또한 필요에 따라 선분 연결하여 그 궤적을 화면에 그래픽 표시를 하여 자유 곡선 그리기등의 기능을 수행한다.

실제 마우스와 같은 동작을 화면에 구현하기 위해서는 카메라를 의도적으로 움직여 포인트의 위치를 결정하며, 클릭 스위치는 기존의 키를 이용하면 된다.

도면 1은 본 발명의 기본 개념을 나타내는 개념도이다.

도면 2는 본 발명의 신호 처리 순서를 나타내는 것이다.

본 발명을 구성하기 위하여는 실시간으로 화면의 움직임을 검출하는 장치가 필요하다. 움직임 검출기는 필드간 특징점의 정합 방법으로 2차원의 수평 수직 변위벡터로 결정된다.

움직임 검출 방법은 시스템 구성의 용이성 때문에 영상 신호처리를 이용한 움직임 검출기를 쓴다. 기본적인 방법은 입력 영상으로부터 매 프레임 특징점을 추출한 후 그 특징점의 상관도를 실시간 출력한다. 그 특징점의 상관도는 1차원의 상관도와 2차원의 상관도로 나눌 수 있으며, 2차원의 상관도 연산방법은 소위 블럭 매칭이라 불리워 진다. 상관도가 결정된 다음, 그 상관도가 최대인 변위가 프레임간 화면의 2차원적 움직임 벡터로 결정된다.

단 영상신호처리의 방법으로 움직임 벡터를 검출하는 방법은 그 영상에 최소한 일정 패턴이상이 존재할 때를 가정으로 하며, 만약 영상이 저조도 혹은 백지를 찍고 있는 상태일 경우처럼 영상정보가 없을 시에는 그 움직임 벡터가 부정확하게 나온다. 이를 적절히 피하기 위해 영상에 어떠한 상 (패턴)이 존재하도록 화면 및화각을 조절하여 위치를 입력하도록 할 필요가 있다.

다음은 위치를 결정하기 위한 부분으로, 추출한 움직임 벡터를 매 필드 저장하거나 혹은 변화가 있을 때마다 메모리에 저장하여 둔다. 이때 메모리에 저장되는 값은 수평, 수직위치 뿐 만 아니라 클릭되는 정보도 함께 저장한다. 실제 마우스와 같은 동작을 구현하기 위해서는 카메라를 의도적으로 움직이고 클릭 스위치는 기존의 키를 이용한다.

상기한 바와 같이 저장된 위치 정보로 마우스 포인터의 위치를 제어하고 그 동작을 표현한다. 또한 본 기능의 응용으로서 필요에 따라 선분 연결하여 그 궤적을 화면에 그래픽 표시를 하여 자유 곡선 그리기등의 기능을 수행한다. 이것은 영상에 글씨를 필기한다거나 메모를 하는 부가기능을 제공할 수 있다.

본 발명의 기본적인 처리 순서는 다음과 같다.

1. 먼저 포인팅하고자 하는 위치를 결정하기 위하여 임의 설정된 기준위치로 커서 (예: 십자표시 또는 화살표)를 정한다.

2. 실시간으로 영상의 프레임간 움직임 벡터를 검출한다.

3. 움직임 벡터를 적분하여 위치를 결정한다.

4. 커서의 위치를 갱신한다.

5. 커서의 변위벡터 정보는 선형 그림을 그리기 위하여 메모리에 저장하거나 필기체등을 해석하기 위해서 메인 프로세서로 송부된다.

6. 상위 명령에 의하여 움직임 벡터 입력을 완료하거나 다시 2번의 처리로 이동하여 반복 수행한다.

상기와 같은 신호 처리의 흐름을 도면 2에 나타낸다.

카메라의 위치 입력 도구로서 터치스크린 또는 마우스를 사용하면 휴대형 카메라일 경우 양손을 사용하여 카메라와 입력기구를 조작해야 하는 불편함이 따른다. 또한 그 기록방법에 부가적인 하드웨어가 포함되어야 한다. 그러나 본 발명의 카메라 영상움직임 방법은 한 손만으로 위치 조작이 가능하여 이에 따른 편의성이 탁월하다.

상기한 바와 같이 움직임 벡터 검출기와 위치정보를 저장하는 메모리의 구성으로 포인팅하고자 하는 위치벡터를 결정하는 방법은 터치 스크린과 펜, 혹은 마우스 등을 사용하지 않아 휴대형 소형 카메라 및 카메라 장착형 휴대폰등에 효과적으로 사용될 수 있다.

또한 이러한 입력방식은 정형화된 데이터의 입력 뿐 아니라 필기체, 싸인, 메모등의 부가기능을 비교적 간단하게 휴대폰등에 부가할 수 있고, 직감적인 방법으로 2차원의 공간 위치를 빠르게 결정할 수 있는 잇점이 있다.

Claims (3)

1. 전자식 카메라의 화면 내 위치 정보 입력 방법으로, 상기한 카메라 본체를 임의로 움직여 영상을 이동시킴과 동시에 그 영상의 움직임 벡터를 검출하고, 상기한 움직임 벡터를 누적하여 움직임 위치정보로 변환하고, 이를 이용하여 영상내에 조작자가 원하는 위치로 포인터를 이동하는 방법
2. 청구항 1항에 있어서 움직임 벡터의 위치정보를 이용하여 필기체(筆記체) 수기(手記) 입력을 하는 메모 입력 전자식 카메라 및 카메라 응용시스템.
3. 상기한 조작명령을 이용하여 미리 설정된 명령 아이템 및 메뉴 바를 포인팅한 후 기 설정된 버튼스위치로 클릭할 수 있는 전자식 카메라 및 카메라 응용시스템.