KR101016095B1 - 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 - Google Patents

이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 Download PDF

Info

Publication number
KR101016095B1
KR101016095B1 KR1020090014300A KR20090014300A KR101016095B1 KR 101016095 B1 KR101016095 B1 KR 101016095B1 KR 1020090014300 A KR1020090014300 A KR 1020090014300A KR 20090014300 A KR20090014300 A KR 20090014300A KR 101016095 B1 KR101016095 B1 KR 101016095B1
Authority
KR
South Korea
Prior art keywords
image
value
background
pixels
detecting
Prior art date
Application number
KR1020090014300A
Other languages
English (en)
Other versions
KR20100095161A (ko
Inventor
전재욱
이상준
다이 쑨 팜
진승훈
김동균
김기훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020090014300A priority Critical patent/KR101016095B1/ko
Priority to US12/468,863 priority patent/US8355599B2/en
Publication of KR20100095161A publication Critical patent/KR20100095161A/ko
Application granted granted Critical
Publication of KR101016095B1 publication Critical patent/KR101016095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Abstract

본 발명은 영상 배경 변화량을 검출하는 장치 및 방법에 관한 것으로서, 이전 영상 및 현재 영상의 다중 이진영상들로부터 구한 수직 누적값 및 수평 누적값을 기준으로 구한 이전 영상 및 현재 영상의 행의 쌍 및 열의 쌍을 하프변환시킴에 의해 영상 배경 변화량을 검출하는 장치 및 방법에 관한 것이다.
또한, 본 발명은 영상 배경 변화량을 검출하는 장치 및 그 장치에 연결된 디스플레이 장치를 포함하는 인터페이스 시스템에 관한 것이다.

Description

이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법{METHOD AND APPARATUS FOR DETECTING CHANGES IN BACKGROUND OF IMAGES USING BINARY IMAGES THEREOF AND HOUGH TRANSFORM}
본 발명은 영상 배경 변화량을 검출하는 장치 및 방법에 관한 것으로서, 이전 영상 및 현재 영상의 다중 이진영상들로부터 구한 수직 누적값 및 수평 누적값을 기준으로 구한 이전 영상 및 현재 영상의 행의 쌍 및 열의 쌍을 하프변환시킴에 의해 영상 배경 변화량을 검출하는 장치 및 방법에 관한 것이다.
또한, 본 발명은 영상 배경 변화량을 검출하는 장치 및 그 장치에 연결된 디스플레이 장치를 포함하는 인터페이스 시스템에 관한 것이다.
영상을 분석하여 영상 내에서 필요한 정보를 인식하고, 인식된 정보를 이용하는 비전 기술은 다양한 응용 분야를 가진다. 비전 기술에서 자주 언급되는 분야중 하나가 영상 내 움직임을 감지하는 것이다. 영상 내 움직임을 감지하는 방법은, 고정된 카메라로 들어온 영상을 기반으로 영상 내 움직임을 감지하는 방법과, 동적으로 움직이는 카메라에 들어오는 영상을 기반으로 영상 내 움직임을 감지하는 방법이 있다.
영상 내 움직임을 감지하는 방법으로 많이 사용하는 방법 중 하나가 이전 영상과 현재 영상의 차로 영상 내 움직임을 감지하는 방법이다. 영상의 차로부터 얻어진 변위 값을 이용해 그 값만큼 이동한 지점에서 원본 영상에서 얻은 정보와 유사한 정보를 찾아내어, 필요한 정보는 이용하고 불필요한 정보는 제거하게 된다. 그러나, 상기 방법은, 카메라 등의 자세나 위치 변화로 발생하는 입력 영상의 변화에 민감하므로, 카메라가 흔들리지 않도록 고정하는 장치가 반드시 필요했으며, 그러한 장치로 고정되지 않은 경우에는 입력되는 영상의 변화 정보를 정확히 찾아내기 힘들고 줌 동작에 의해 변경된 영상에도 적용하기 힘든 단점이 있다.
본 발명에서는 영상을 입력받는 카메라 등의 영상입력수단의 회전이나 줌 동작에 의한 변화에서도, 영상 배경의 변화량을 정확하게 검출하는 장치 및 방법을 제공하고자 한다.
또한, 영상 배경 변화량 검출 장치 및 이에 연결된 디스플레이 장치를 포함하되, 상기 영상 배경 변화량 검출 장치로부터 검출된 영상 배경 변화량을 전달받아 실시간으로 상기 디스플레이 장치의 포인팅 수단이 영상 배경 변화량에 비례하여 이동하도록 제어하는 인터페이스 시스템을 제공하고자 한다.
본 발명은, 다중 이진영상 및 하프변환을 이용한 영상 배경 변화량 검출 장치로서, 시간상으로 연속적인 영상을 입력받는 영상입력수단: 상기 영상입력수단을 통해 입력된 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik 각각에 대해 동일한 수의 이진영상들을 구한 후, 각 이진영상별로 할당된 화소값 범위에 속하는 화소값을 갖는 화소들의 수를 산출하여, 상기 이전 영상 및 현재 영상의 각 행에 있어서의 상기 산출된 화소들의 수인 수평 누적값 hH(Ik-1), hH(Ik)및 각 열에 있어서의 상기 산출된 화소들의 수인 수직 누적값 hV(Ik-1), hV(Ik)을 구하는 누적값계산수단; 상기 누적값계산수단에 의해 계산된 누적값을 기준으로 이전 영상 및 현재 영상의 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하는 누적값쌍 검색수단; 및 상기 누적값쌍 검색수단에 의해 구한 누적값쌍을 하프변환시켜, 피크값 ρV,θV,ρH,θH을 구하는 하프변환수단을 포함하되, 상기 피크값 ρV,θV,ρH,θH으로부터 영상 배경 변화량을 검출하는 것을 특징으로 하는 다중 이진영상 및 하프변환을 이용한 영상 배경 변화량 검출 장치를 제공하고자 한다.
바람직하게는, 상기 검출되는 영상 배경 변화량은, 다음 식의 a11, a22, b1, b2이도록 구성될 수 있다.
Figure 112009010652142-pat00001
,
Figure 112009010652142-pat00002
여기서, (x, y)는 이전 영상의 한 점의 좌표이고, (x', y')는 현재 영상의 대응점의 좌표.
바람직하게는, 상기 누적값계산수단은, 상기 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik으로부터 각각 생성된 N개의 이진 영상들Il k-1, Il k(0≤l≤N-1)에 있어서, 그 화소값이
Figure 112009010652142-pat00003
에서
Figure 112009010652142-pat00004
범위에 해당하는 화소들의 수를 산출하여, 수평 누적값 hH(Ik-1), hH(Ik) 및 수직 누적값 hV(Ik-1), hV(Ik)을 구하도록 구성될 수 있다.
바람직하게는, 상기 누적값쌍 검색수단은, 이전 영상 및 현재 영상의 누적값이 아래의 식을 만족하는 누적값쌍(i, i') 및 (j, j')을 구하도록 구성될 수 있다.
Figure 112009010652142-pat00005
Figure 112009010652142-pat00006
여기서,
Figure 112009010652142-pat00007
는 열 j상의 1 값을 갖는 화소수, h V j'열 j'상의 1 값을 갖는 화소수,
Figure 112009010652142-pat00008
는 행 i상의 1 값을 갖는 화소수, h V i'는 행 i'상의 1값을 갖는 화소수, Il k-1, Il k 은 이전 영상 및 현재 영상의 이진 영상들(0≤l≤N-1), T는 상수.
바람직하게는, a11 및 a22의 최소값인 amin, 및 a11 및 a22의 최대값인 amax는 사용자의 설정에 의해 정해지는 값이며, 상기 하프변환수단은, 아래의 식의 값을 만족하는 θ에 대해서 하프변환을 수행하도록 구성될 수 있다.
Figure 112009010652142-pat00009
다르게는, 본 발명은, 다중 이진영상 및 하프변환을 이용한 영상 배경 변화량 검출 방법으로서, 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik 을 입력받는 단 계; 상기 이전 영상Ik-1 및 현재 영상Ik 각각에 대해 동일한 수의 이진영상들을 구한 후, 각 이진영상별로 할당된 화소값 범위에 속하는 화소값을 갖는 화소들의 수를 산출하여, 상기 이전 영상 및 현재 영상의 각 행에 있어서의 상기 산출된 화소들의 수인 수평 누적값 hH(Ik-1), hH(Ik)및 각 열에 있어서의 상기 산출된 화소들의 수인 수직 누적값 hV(Ik-1), hV(Ik)을 구하는 단계; 상기 누적값을 기준으로 이전 영상 및 현재 영상의 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하는 단계; 및 상기 누적값쌍을 하프변환시켜, 피크값 ρV,θV,ρH,θH을 구하는 단계를 포함하되, 상기 피크값 ρV,θV,ρH,θH으로부터 영상 배경 변화량을 검출하는 것을 특징으로 하는 다중 이진영상 및 하프변환을 이용한 영상 배경 변화량 검출 방법을 제공하고자 한다.
바람직하게는, 상기 피크값 ρV,θV,ρH,θH으로부터 영상 배경 변화량을 검출하는 단계를 더 포함하도록 구성될 수 있으며, 상기 검출되는 영상 배경 변화량은, 다음 식의 a11, a22, b1, b2이도록 구성될 수 있다.
Figure 112009010652142-pat00010
,
Figure 112009010652142-pat00011
여기서, (x, y)는 이전 영상의 한 점의 좌표이고, (x', y')는 현재 영상의 대응점의 좌표.
바람직하게는, 상기 누적값을 구하는 단계는, 상기 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik으로부터 각각 생성된 N개의 이진 영상들Il k-1, Il k(0≤l≤N-1)에 있어서, 그 화소값이
Figure 112009010652142-pat00012
에서
Figure 112009010652142-pat00013
범위에 해당하는 화소들의 수를 산출하여, 수평 누적값 hH(Ik-1), hH(Ik) 및 수직 누적값 hV(Ik-1), hV(Ik)을 구하도록 설정될 수 있다.
바람직하게는, 상기 누적값을 기준으로 이전 영상 및 현재 영상의 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하는 단계는, 이전 영상 및 현재 영상의 누적값이 아래의 식을 만족하는 누적값쌍(i, i') 및 (j, j')을 구하도록 설정될 수 있다.
Figure 112009010652142-pat00014
Figure 112009010652142-pat00015
여기서,
Figure 112009010652142-pat00016
는 열 j상의 1 값을 갖는 화소수, h V j'열 j'상의 1 값을 갖는 화소수,
Figure 112009010652142-pat00017
는 행 i상의 1 값을 갖는 화소수, h V i'는 행 i'상의 1값을 갖는 화소수, Il k-1, Il k 은 이전 영상 및 현재 영상의 이진 영상들(0≤l≤N-1), T는 상수.
바람직하게는, 상기 누적값쌍을 하프변환시켜, 피크값 ρV,θV,ρH,θH을 구하는 단계는, 아래의 식의 값을 만족하는 θ에 대해서 하프변환을 수행하도록 구성될 수 있다.
Figure 112009010652142-pat00018
여기서, a11 및 a22의 최소값인 amin, 및 a11 및 a22의 최대값인 amax는 사용자의 설정에 의해 정해지는 값.
또, 다르게는, 본 발명은, 영상 배경 변화량 검출을 이용한 인터페이스 시스템으로서, 앞서 설명된 본 발명에 따른 영상 배경 변화량 검출 장치와, 상기 영상 배경 변화량 검출 장치에 연결되며, 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 장치를 포함하되, 상기 디스플레이 장치는, 상기 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 수단, 상기 인터페이스 동작 구현을 위한 영상 내의 특정 지점 또는 메뉴를 가리키도록 상기 디스플레이 수단을 통해 디스플레이되는 포인팅 수단, 및 상기 영상 배경 변화량 검출 장치로부터 검출된 영상 배경 변화량을 전달받아 실시간으로 상기 포인팅 수단이 상기 검출된 영상 배경 변화량에 비례하여 이동하도록 제어하며, 상기 포인팅 수단이 특정 메뉴를 가리킨 상태에서, 상기 영상입력수단에 의해 입력되는 현재 영상이 이전 영상에 비해 확대 또는 축소된 경우 해당 메뉴에 설정된 기능이 구현되도록 설정된 제어수단을 포함하는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스 템을 제공하고자 한다.
또 다르게는, 본 발명은, 영상 배경 변화량 검출을 이용한 인터페이스 시스템으로서, 앞서 설명된 본 발명에 따른 영상 배경 변화량 검출 장치와, 상기 영상 배경 변화량 검출 장치에 연결되며, 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 장치를 포함하되, 상기 디스플레이 장치는, 상기 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 수단, 상기 디스플레이 수단의 특정 지점에 고정된 채, 상기 인터페이스 동작 구현을 위한 영상 내의 특정 지점 또는 메뉴를 가리키도록 디스플레이되는 포인팅 수단, 및 상기 영상 배경 변화량 검출 장치로부터 검출된 영상 배경 변화량을 전달받아 실시간으로 상기 인터페이스 동작 구현을 위한 영상이 상기 검출된 영상 배경 변화량에 비례하여 이동하도록 제어하며, 상기 포인팅 수단이 특정 메뉴를 가리킨 상태에서, 상기 영상입력수단에 의해 입력되는 현재 영상이 이전 영상에 비해 확대 또는 축소된 경우 해당 메뉴에 설정된 기능이 구현되도록 설정된 제어수단을 포함하는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템을 제공하고자 한다.
바람직하게는, 상기 인터페이스 시스템은 모바일 기기에 구현되도록 구성될 수 있다.
바람직하게는, 상기 디스플레이 장치는 노트북 컴퓨터, 랩탑 컴퓨터, 워크스테이션, 제어용 컴퓨터 중의 어느 하나의 디스플레이 장치이되, 상기 영상 배경 변화량 검출 장치는 모바일 장치이며, 상기 디스플레이 장치 및 상기 영상 배경 변화량 검출 장치는 무선으로 연결되도록 구성될 수 있다.
상기 영상 배경 변화량 검출 장치와 상기 디스플레이 장치 간의 연결은, 버퍼와 같이 소프트웨어적으로 구현되거나, 시리얼, IIC, 블루투스 등의 방식으로 통신하는 하드웨어로 구현될 수 있으며, 영상배경변화량 정보를 전송 또는 전달할 수 있으면 충분한 것으로 특정 구성에 한정되지 않는다.
마찬가지로, 상기 디스플레이장치(1100) 또한 전달 또는 전송받은 영상배경변화량을 반영하여 디스플레이할 수 있으면 충분한 것으로서, 노트북이나 PC 등의 모니터나, 이용자가 안경처럼 착용할 수 있도록 구현된, 바람직하게는 플렉서블한 소재로 구현된 디스플레이 수단 등 다양하게 구현될 수 있어서, 특정 구성에 한정되는 것이 아님을 이해하여야 한다.
상기 포인팅 수단은 디스플레이되는 영상의 특정 지점 또는 영역을 가리키는 수단을 의미하는 것으로서, 디스플레이되는 영상 내의 마우스 포인터, 커서, 중심점이나 특정 대상물에 대해서만 식별을 위해 영상 내에 다양한 모양의 도형 등으로 표기하는 여러 표시 등을 위한 일반적 구성 모두를 포함한다.
또한, 상기 제어 수단은 상기 영상 배경 변화량 검출 장치로부터 얻은 영상 배경 변화량을 전달받아 실시간으로 상기 포인팅 수단이 상기 영상 배경 변화량만큼 이동하도록 함에 의해, 해당 지점 또는 영역에 대한 포인팅이 지속되도록 구성될 수 있다.
본 발명은 하프 변환을 이용해 영상을 입력 받는 장치인 카메라의 회전이나 줌 동작으로 인해 발생하는 영상 배경의 변화에 효과적으로 대응할 수 있도록 함으로써, 휴대용 장비를 이용한 자유로운 영상 입력이 가능하도록 하는 효과를 갖는다.
또한, 본 발명에 따르면, 영상 입력 수단의 수직 및 수평 움직임에 덜 민감하므로 고정 장치를 구비할 필요가 없어서, 고정 장치에 드는 제작비를 절감할 수 있는 데다가, 전체 장비의 경량화 또한 달성할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 기존의 동작 버튼을 대체하는 영상 배경 변화량을 이용한 새로운 개념의 인터페이스가 제공될 수 있어서, 제품의 소형화를 달성할 수 있는 효과가 있다.
이하에서는, 첨부한 도면을 참고하여 본 발명에 대해 상세히 설명하기로 한다.
도 1은 촬영 대상물의 움직임이 없는 상태에서 카메라의 자세가 변경되는 경우 촬영되는 영상이 달라짐을 나타낸 것이다. 도 1에 도시된 바와 같이, 카메라의 자세가 변경된 경우, 촬영 대상물의 움직임이 없는 경우에도 카메라에 의해 촬영된 영상의 배경이 변하게 된다. 두 개의 영상(110, 120) 간에 서로 공통되는 영역(130)이 존재할 수도 있고, 카메라의 이동량에 따라서 공통되는 영역이 존재하지 않을 수도 있다.
도 2는 도 1에서와 같이 카메라의 자세가 변경된 경우의 이전 영상 및 현재 영상을 나타낸 것으로서, 공통 영역이 어떻게 존재하는지를 나타낸 것이다. 이전 영상(210)과 현재 영상(220)을 비교할 때, 이전 영상(210)과 현재 영상(220)의 사이에 공통 영역(230)이 존재하고 있으므로, 이전 영상(210)과 현재 영상(220)을 비교함에 의해, 이전 영상(210)으로부터 어느 방향으로 얼마만큼 이동하였는지를 짐작할 수 있다. 즉, 영상의 배경이 어느 정도 움직였는지로부터 카메라가 어느 정도 움직였는지를 알 수 있을 것이므로, 카메라의 움직임에 따른 배경 보상도 가능하게 된다.
도 3은 이전 영상과 현재 영상 간의 동일한 특징점이 있는 경우를 나타낸 것이다.
도 3에서 이전 영상(310)의 어느 한 지점(x, y)에 대해 현재 영상(320) 상의 대응되는 특징점(x', y')을 찾아내면, 상기 특징점의 이동량은 카메라의 움직임을 통해서 발생한 것이므로 카메라가 얼마나 움직였는지 알 수 있다.
카메라의 움직임이 상하/좌우/줌인아웃 만으로 이루어진 경우, 이에 따라 발생하는 두 장의 연속적인 영상간의 특징점의 이동은 기하변환(Geometric Transform)을 통하여 표현 가능하다.
k를 시간 축 상에서의 인덱스로 볼 때, 현재 시점에 입력되는 한 장의 영상 은 I k 라 하고, 이전 시점에 입력된 영상은 I k-1 이라 한다. 도 3에서 I k-1 의 특징점을 (x,y)이라 하고, 이에 대응하는 I k 의 특징점을 (x',y') 이라 한다. 이들 두 영상에서의 특징점간의 대응 관계는 다음의 수학식을 통해서 표현할 수 있다.
Figure 112009010652142-pat00019
Figure 112009010652142-pat00020
(x, y)의 화소값은 (x', y')의 화소값과 동일하므로, 아래의 식의 관계를 만족한다.
Figure 112009010652142-pat00021
수학식 1의 변환을 통해서, (x, y)에 해당하는 모든 (x', y')를 구할 수 있다. 즉, x에 대응되는 관계식이
Figure 112009010652142-pat00022
이고, 이는 영상 간의 수직 상관관계 를 나타낸다. 동일하게 y에 대응되는 관계식이
Figure 112009010652142-pat00023
이고, 이는 영상 간의 수평 상관관계를 나타낸다.
결국, 수학식 1은 수평과 수직에 해당하는 직선의 방정식으로 표현되고, 이러한 직선의 방정식으로부터, 매개변수를 구하는데 있어서 하프 변환(Hough Transform)을 이용하면 잡음과 조명 변화에 강인한 검출을 수행할 수 있다.
기존의 하프 변환은 매개변수 검출을 통해 영상에 존재하는 선과 같은 특정형태의 성분을 검출하는 것이 목적이라고 한다면, 본 발명은 하프변환을 이용해 연속적인 영상 간의 변위량 정보를 검출하는 것을 목적으로 하는 것이다.
도 4는 본 발명에 따른 영상 배경 변화량 검출 장치 및 방법에 이용되는 하프변환(Hough Transform)을 설명하기 위한 것이다. 하프변환을 위해, 입력된 영상 내에서 하프변환에 사용할 중심점을 선정한다. 예를 들어, 영상의 크기가 640×480이라면, (320, 240)에 중심점이 선정될 수 있다. 선정된 중심점을 기준으로 영상의 한 픽셀까지의 거리를 ρ로 나타내며(영상의 크기가 640×480이고 중심점이 (320, 240)에 선정된 경우, -400≤ρ≤400), 중심점으로부터 해당 픽셀까지 이은 사선이 중심축과 이루는 각도를 θ로 표현한다.
입력된 영상은 다음의 수학식을 만족하는 하프 변환을 통해 (ρ, θ) 좌표계로 변환된다. (ρ,θ) 좌표계는, (X,Y) 좌표계를 하프변환해 얻은 좌표계이며, 상기 (ρ,θ) 좌표계의 영역은 하프 공간 또는 영역이라 불린다.
Figure 112009010652142-pat00024
도 5는 도 4의 세 점들에 대해 하프변환한 결과를 나타낸 것이다.
도 4에 도시된 동일한 직선(410) 상의 세 점들(411, 412, 413)은 하프 공간에서 세 개의 사인파 곡선으로 변환되었으며, 상기 세 개의 사인파 곡선들은 ρ를 세로축으로, θ를 가로축으로 한 하프 공간 내의 한 점 (ρ´,θ´)에서 겹치게 된다. 상기 세 개의 사인파 곡선이 겹친 지점이 피크점인데, 상기 피크점의 좌표로부터 상기 세 점들(411, 412, 413)을 지나는 상기 직선(410)을 역으로 구할 수 있게 된다.
도 6은 본 발명에 따른 다중 이진영상 및 하프 변환을 이용한 영상 배경 변화량 검출 방법의 흐름을 나타낸 것이다.
그레이스케일의 영상을 시간축에 연속적으로 입력받으면서, 프레임 버퍼를 통해 시간축상 k 시점에서 현재 영상
Figure 112009010652142-pat00025
을 저장하는 경우, 직전인 시간축상 k-1 시점에 저장된 영상은 이전 영상
Figure 112009010652142-pat00026
이 된다. 따라서, 최초 영상 입력시점을 제외하고서는 어느 시점에서나 이전 영상 및 현재 영상이 존재하게 된다.
본 발명에 따른 다중 이진영상 및 하프변환을 이용한 영상 배경 변화량 검출 방법에 따르면, 우선 그레이스케일의 이전 영상
Figure 112009010652142-pat00027
및 현재 영상
Figure 112009010652142-pat00028
을 입력받고, 상기 이전 영상
Figure 112009010652142-pat00029
및 현재 영상
Figure 112009010652142-pat00030
각각에 대해 동일한 수 N개의 이진 영상을 생성하게 된다. 이 때 다수의 이진영상을 생성시키는 것은 하나의 이진영상 만을 생성시키는 경우보다 조명의 변화에 강인하도록 하기 위한 것이다. N개의 이진영상을 생성하는데 있어서, 그레이스케일의 이전 영상
Figure 112009010652142-pat00031
으로부터 N개의 이진영상
Figure 112009010652142-pat00032
(
Figure 112009010652142-pat00033
)들을 생성하게 된다. 마찬가지로, 동시에, 그레이스케일의 현재 영상
Figure 112009010652142-pat00034
으로부터 동일한 수인 N개의 이진영상 I l k(
Figure 112009010652142-pat00035
)들을 생성하게 된다(S401).
N개의 이진영상들이 이전 영상 및 현재 영상에 대해 각각 생성된 후에는, 이전 영상 및 현재 영상 각각에서의 수평 누적값 및 수직 누적값을 구하게 되는데(S402), 이를 위해, 이전 영상에 대해 생성된 N개의 이진영상들에 있어서, 각 화소값이
Figure 112009010652142-pat00036
및
Figure 112009010652142-pat00037
사이에 있는지를 판단하여 해당 범위 내에 있는 경우에는 1값을 갖도록 하고, 그렇지 않은 경우에는 0값을 갖도록 한다. 마찬가지로, 현재 영상에 대해 생성된 N개의 이진영상들에 있어서, 각 화소값이
Figure 112009010652142-pat00038
및
Figure 112009010652142-pat00039
사이에 있는지를 판단하여 해당 범위 내에 있는 경우에는 1값을 갖도록 하고, 그렇지 않은 경우에는 0값을 갖도록 한다.
수평 누적값은 각 영상의 한 행에 있어서의 해당 화소수를 의미하는 것이며, 수직 누적값은 각 영상의 한 열에 있어서의 해당 화소수를 의미한다.
예를 들어, 상기 N이 8인 경우, 이전 영상 및 현재 영상에 따른 이진영상들의 수는 각각 8개씩이며, 상기 화소값 범위는 전체 화소값 범위를 8등분 한 것이다. 이 경우, 이전 영상의 첫번째 열(j=0)(j=0, 1, ..., W-1, W는 열의 갯수)의 수직 누적값
Figure 112009010652142-pat00040
라고 하는 것은, 이전 영상으로부터 생성된 8개의 이진영상들의 각 첫번째 열에 있어서, 각 8등분된 화소값 범위에 드는 화소값을 갖는 화소들의 수를 모두 합한 것을 의미한다.
마찬가지로, 현재 영상의 첫번째 행(i=0)(i=0, 1, ..., H-1, H는 행의 갯수)의 수평 누적값
Figure 112009010652142-pat00041
라고 하는 것은, 현재 영상으로부터 생성된 8개의 이진영상들의 각 첫번째 행에 있어서, 각 8등분된 화소값 범위에 드는 화소값을 갖는 화소들의 수를 모두 합한 것을 의미한다.
이와 같이, 이전 영상 및 현재 영상 내의 모든 행 및 열에 대해 수직 누적값 및 수평 누적값을 산출한 후에는, 다음의 수학식과 같은 일정한 기준을 만족하는 누적값쌍을 검색하게 된다(S403). 보다 구체적으로는, 상기 일정한 기준을 만족하는 누적값쌍에 해당하는 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하게 된다.
Figure 112009010652142-pat00042
Figure 112009010652142-pat00043
이 때, 상수 T는 감도를 조절하는 역할을 하는 것으로서, 누적값이 유사한 누적값쌍을 검색하고자 하는 경우 T값을 작게 설정하고, 누적값 범위가 큰 누적값쌍을 검색하고자 하는 경우 T값을 크게 설정할 수 있다.
상기 수학식 7 및 수학식 8를 각각 만족하는 열의 쌍(j, j') 및 행의 쌍(i, i')은 다음의 수학식을 만족한다.
Figure 112009010652142-pat00044
Figure 112009010652142-pat00045
상기 a11과 b1은 상기 수학식 9에서, a22과 b2 는 상기 수학식 10에서, 각각 직선의 기울기 및 절편에 상당하므로, 앞서 구해진 각 열의 쌍(j, j') 및 행의 쌍(i, i')을 이용하여 이하의 수학식 11 및 수학식 12의 하프 변환을 각각 수행하게 된다(S404).
Figure 112009010652142-pat00046
Figure 112009010652142-pat00047
이상과 같이, 하프 변환을 수행한 후에는, (ρ,θ) 의 매개변수 공간에서 피크값인 ρV,θV,ρH,θH를 구하고(S405), 상기 피크값 간의 관계로부터 다음과 같이 영상 배경 변화량인 a11, a22, b1, b2 를 산출하게 된다.
Figure 112009010652142-pat00048
Figure 112009010652142-pat00049
하프 변환의 수행 시간을 단축시키기 위해서는 θ의 범위를 줄여야 한다. 여기서, a11 및 a22은 영상의 확대 및 축소에 따라 변하게 되는데, 영상이 확대되는 경우에는 1보다 큰 값을 갖고 영상이 축소되는 경우에는 1보다 작은 값을 갖는다. 이를 고려하여, 1을 포함하는 유효값 영역 [amin, amax]을 설정하고, 아래의 조건을 만족하는 경우에 대해서만 하프 변환을 수행하도록 한다.
Figure 112009010652142-pat00050
도 7은 본 발명에 따른 영상 배경 변화량 검출 방법에서의 이진 영상 생성 단계를 설명하기 위한 것이다.
도 7에 도시된 바와 같이, 좌측의 그레이스케일 영상(710)(즉, 이전 영상 또는 현재 영상)으로부터 각각 N개(도 7의 경우, N=4)의 이진영상을 생성시키며, 각 이진영상(720, 730, 740, 750)에 있어서 도시된 바와 같이 0≤I(x, y)＜64, 64≤I(x, y)＜128, 128≤I(x, y)＜192, 192≤I(x, y)＜256의 범위에 속하는 화소값을 갖는 화소에 대해 1값을, 그 외의 경우에는 0값을 갖도록 하고, 이후 누적값을 산출하게 된다.
도 8은 본 발명에 따른 영상 배경 변화량 검출 방법을 통한 수직 누적값의 분포를 나타낸 것이다.
영상(810) 아래에 표시된 히스토그램(820)은, 각 열에서의 수직 누적값을 표시한 것으로서, 상기 영상(810)에서의 수직 누적값의 크기는 히스토그램의 크기에 비례하며, 실제 히스토그램의 수는 도 8에 도시된 히스토그램의 수에 제한되지 않고 영상 내의 실제 열의 수와 동일하다. 또한, 앞서 설명한 바와 같이, 수직 누적값은 이전 영상 및 현재 영상 모두에 있어서 산출되게 된다.
도 9는 본 발명에 따른 영상 배경 변화량 검출 방법을 통한 수평 누적값의 분포를 나타낸 것이다.
영상(910) 우측에 표시된 히스토그램(920)은, 각 행에서의 수평 누적값을 표시한 것으로서, 상기 영상(910)에서의 수평 누적값의 크기는 히스토그램의 크기에 비례하며, 실제 히스토그램의 수는 도 9에 도시된 히스토그램의 수에 제한되지 않고 영상 내의 실제 행의 수와 동일하다. 또한, 앞서 설명한 바와 같이, 수평 누적값은 이전 영상 및 현재 영상 모두에 있어서 산출되게 된다.
도 10은 본 발명에 따른 영상 배경 변화량 검출 방법에 의한 배경 보상의 효 과를 설명하기 위한 것이다.
도 10의 (a) 및 (b)는 시간축상에서 연속적으로 입력된 두 영상을 나타낸 것으로서, 영상을 입력받는 카메라 등의 영상 입력 수단에 움직임이 있는 경우이다. 통상적으로 영상 내 대상물의 움직임을 추적하기 위해서 차감 영상을 생성하게 되는데, 이와 같이 영상 내의 대상물이 이동하는 가운데 영상 입력 수단 또한 움직이는 경우, 통상의 방법은 카메라 등의 영상 입력 수단의 움직임에 민감하기 때문에 도 10의 (c)에 도시된 바와 같이 실제 이동 중인 사람 이외의 영상의 배경 또한 흔들리게 되어 움직임 추적이 불가능하게 된다.
도 10의 (d)에는 실제 이동중이지 않은 영상 내의 배경들이 삭제되고 실제 이동중인 대상물의 움직임만이 나타내어져 있는데, 이는 본 발명에 따른 영상 배경 변화량 검출 방법에 의해 영상 배경 변화량을 검출하고, 이로부터 영상 입력 수단인 카메라의 움직임 만큼 이전 영상을 이동시키고 현재 영상에 차감한 결과이다.
이와 같이, 도 10은 카메라 등의 영상 입력 수단의 움직임이 있더라도 영상 내 실제 대상물의 움직임을 정확하게 추적할 수 있도록 해주는 효과가 본 발명에 따른 영상 배경 변화량 검출 방법에 있음을 나타내는 것이다.
도 11은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 일부 구성을 나타낸 것이다. 좌측의 (a)는 측면도를 나타낸 것이며, 우측의 (b)는 정면도를 나타낸 것이다.
상기 인터페이스 시스템은 디스플레이 장치(1110) 및 영상 배경 변화량 검출 장치의 영상 입력 수단(1111)을 포함하도록 구성되어 있으며, 사용자가 디스플레이 장치(1110)를 바라보는 방향과 동일한 방향으로 영상을 입력받을 수 있도록 영상 입력 수단(1111)인 카메라가 디스플레이 장치의 배면에 장착되어 있다.
상기 디스플레이 장치(1110)의 디스플레이 화면(1112)의 중심에는 중심점(1122)이 존재한다.
도 12는 도 11에 도시된 인터페이스 시스템의 디스플레이 장치 및 영상 입력 수단의 동작을 나타내기 위한 것으로, 상기 디스플레이 장치 보다 큰 면적의 촬영 대상물의 가운데에 상기 디스플레이 장치(1210)가 위치하고 있으면서, 상기 디스플레이 장치에 결합된 영상 입력 수단(도시되지 않음)에 의해 입력되는 영상이 상기 디스플레이 장치의 디스플레이 화면 상에 디스플레이되고 있다.
여기서, 상기 영상 입력 수단이 결합된(도 12의 경우, 디스플레이 장치의 배면에 결합된) 디스플레이 장치는 화살표 표시를 따라 상기 촬영 대상의 평면과 평행하게 상하좌우로 이동할 수 있다.
도 13은 도 11에 도시된 인터페이스 시스템의 디스플레이 장치 및 영상 입력 수단의 동작을 나타내기 위한 것으로, 상기 영상 입력 수단(도시되지 않음)이 배면에 결합된 디스플레이 장치(1310)가 우측으로 이동하였음을 나타낸 것이다.
도 14는 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터 페이스 시스템의 일부 구성을 나타낸 것이다.
도 14는 인터페이스 시스템을 구성하는 디스플레이 장치(1410)를 도시하고 있는데, 상기 디스플레이 장치의 디스플레이 화면에는 영상 입력 수단(도시되지 않음)에 의해 입력되는 영상이 디스플레이 되는 대신에, 실행가능한 메뉴 버튼(1414)들이 디스플레이되어 있다. 즉, 본 발명에 따른 영상 배경 변화량 검출을 위해 현재 영상 및 이전 영상이 디스플레이 장치를 통해 반드시 디스플레이되어야 하는 것은 아니다. 이와 같이, 상기 현재 영상 및 이전 영상을 이용한 영상 배경 변화량 검출과 별도로 실행 메뉴 버튼들을 디스플레이할 수 있도록 구성함으로써, 본 실시예에 따른 인터페이스 시스템 구현이 가능하게 되는 것이다.
즉, 영상 입력 수단이 장착된 디스플레이 장치를 이동시키는 경우, 본 발명에 따른 영상 배경 변화량 검출 방법에 따라 검출되는 영상 입력 수단의 이동량을, 적당한 방향/비율로 설정된 디스플레이 화면 내에서의 마우스 포인터, 커서, 중심점(1422) 등의 포인팅 수단의 이동량으로 반영함에 의해, 영상 입력 수단 또는 영상 입력 수단이 결합된 디스플레이 장치의 이동에 따라 디스플레이 화면 내의 포인팅 수단의 이동을 제어할 수 있게 되는 것이다.
이를 위한 상기 영상 입력 수단 또는 상기 영상 입력 수단이 결합된 디스플레이 장치의 이동과, 상기 디스플레이 화면 내의 포인팅 수단의 이동에 대한 비율이나 방향은 사용자의 설계에 따라 자유롭게 설정될 수 있는 것이다. 예를 들어, 실제 영상 입력 수단에 의해 입력되는 영상이 상기 디스플레이 장치의 디스플레이 화면과 동일한 크기의 화면에서 디스플레이되는 것처럼 고려하여, 검출된 영상 배 경 변화량을 디스플레이 화면과 동일한 크기의 화면에서의 화소 간의 이동량으로 설정하고, 해당 이동량과 동일한 화소 간의 거리만큼을 디스플레이 장치 내에서 이동한 거리로 설정할 수도 있을 것이고, 상기 거리의 비를 설정하여 검출된 영상 배경 변화량에 따른 이동량에 대한 디스플레이 장치 내에서의 이동량의 비를 K:1(예를 들어, K는 양의 실수)로 설정할 수도 있을 것이고, 영상 입력 수단 또는 영상 입력 수단이 결합된 디스플레이 장치의 이동 방향과 반대로 또는 동일한 방향으로 상기 디스플레이 장치 내의 포인팅 수단의 이동 방향이 결정되도록 구성할 수도 있을 것이다.
도 15는 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 장치가 평행하게 이동한 경우를 나타낸 것이다.
도시한 바와 같이, 본 발명의 인터페이스 시스템의 디스플레이 장치(1510)는 화살표 방향으로 좌상단측으로 이동하였고, 이에 따라 도 14에서 디스플레이 화면 내의 실행 메뉴 버튼들의 가운데 공간을 가리키고 있던 중심점(1422, 1522)이 상기 실행 메뉴 버튼들 중의 좌상단측에 위치한 "H" 실행 메뉴 버튼을 가리키게 되었다.
이는 본 발명의 영상 배경 변화량 검출 방법에 따른 실제 디스플레이 장치의 이동방향과 본 실시예에 따른 인터페이스 시스템의 디스플레이 화면 중 중심점의 이동방향을 동일한 방향으로 설정한 것이다. 물론, 도 14와 관련하여 설명한 바와 같이, 상기 중심점의 이동방향이 상기 디스플레이 장치의 이동방향과 반드시 일치하도록 하는데 본 발명이 한정되는 것은 아니다.
도 16은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 장치가 앞뒤로 이동한 경우를 나타낸 것이다.
본 발명의 인터페이스 시스템의 디스플레이 장치는 화살표 방향으로 전후로 이동함에 의해((a)에 해당) 촬영 대상물에 가깝게 또는 멀어지게 이동하게 된다((b), (c)에 해당). 본 발명의 일 실시예에 따른 인터페이스 시스템은, 이를 이용하여, 디스플레이 화면을 통해 디스플레이된 실행 메뉴 버튼들의 실행 여부를 제어할 수 있도록 자유롭게 구성될 수 있다.
예를 들어, 촬영 대상물에 일정 거리만큼 가까워지는 경우, 영상 배경 변화량 검출 방법에 이용되는 이전 영상에 비해 현재 영상이 확대될 것이고, 이와 같이 현재 영상이 이전 영상에 비해 확대되도록 디스플레이 장치를 이동시킨 경우를 일반적 PC에서의 마우스 클릭과 같이 설정하여, 해당 실행 메뉴 버튼이 실행될 수 있도록 할 수 있을 것이다.
도 17은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 장치를 나타낸 것이다.
좌측의 (a)에 도시된 디스플레이 화면(1720) 및 우측의 (b)에 도시된 디스플레이 화면(1740)은, 각각 촬영 대상물 쪽으로 근접하게 이동하여 입력받은 영상 및 촬영 대상물로부터 멀어지는 방향으로 이동하여 입력받은 영상을 나타내고 있다. 이전의 첨부된 도면과 관련된 설명에 있어서, 본 발명에 따른 인터페이스 시스템의 디스플레이 장치가 반드시 영상 입력 수단에 의해 입력된 영상을 디스플레이할 필요가 없다고 한 것 처럼, 본 발명의 인터페이스 시스템의 디스플레이 장치가 반드시 실행 메뉴 버튼들 만을 디스플레이하는 것에 한정될 것도 아님은 이 분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 17에서는 동일한 촬영 대상물(1715)을 촬영한 영상에 있어서 디스플레이 장치의 전후 이동에 의해 영상이 실제 확대/축소되는 것을 나타내고자 한 것이다.
도 18은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템에 있어서의 한 실행 메뉴 버튼 및 그 하위 메뉴 버튼을 나타낸 것이다.
도 15 내지 도 17에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 수단이 실행 메뉴 버튼들을 디스플레이하고 있는 상태에서, 상기 디스플레이 장치가 상기 디스플레이 장치에 평행한 일정 방향으로 이동하여 디스플레이 수단 내의 중심점이 특정 실행 메뉴 버튼을 가리키도록 한 상태에서(즉, 디스플레이 수단의 중심점이 실행 메뉴 버튼들의 중앙 공간을 가리킨 상태에서 디스플레이 장치를 이동시켜 상기 중심점이 좌상단 측의 'H' 실행 메뉴 버튼을 가리키도록 이동한 상태에서), 상기 디스플레이 수단을 촬영 대상물 방향으로 전진하도록 하여(설정에 따라서는, 후진하도록 하여), 마치 PC에서의 마우스 클릭과 같이, 해당 실행 메뉴 버튼에 할당된 기능이 수행되도록 하는 것이다. 상기 실행 메뉴 버튼에 할당한 기능의 한 예로서, 해당 실행 메뉴 버튼의 하위 메뉴 버튼들('H1'~'H7')이 도 18에 도시된 바와 같이 디스플레되도록 설정될 수 있다.
도시되지는 않았지만, 디스플레이 장치의 이동에 의해 상기 하위 메뉴 버튼들 중의 하나를 중심점이 가리키도록 한 후에, 디스플레이 장치를 촬영 대상물에 근접하도록 이동시키거나 멀어지도록 이동시킴에 의해 해당 하위 메뉴 버튼에 할당된 기능이 수행되도록 할 수 있음은 본 명세서를 읽은 이 분야에서 통상의 지식을 가진 자라면 명확하게 이해할 수 있을 것이다.
이상, 본 발명에서 언급된 여러 구성요소들의 기능들은 이 분야에서 통상의 지식을 가진 자가 본 발명의 출원시점에 생각해 낼 수 있는 소프트웨어 또는 하드웨어를 통해 구현할 수 있을 것이므로, 각 구성요소의 구체적 구현예에 대한 상세 설명은 생략하기로 한다.
또한, 본 명세서에서 설명된 바 있는 구성요소들은 별개의 구성요소로서 설명되었더라도, 본 발명은 그 기재에 한정되는 것을 의도하지 않으며, 따라서 여러 구성요소가 한 구성요소로 통합되어 그 기능들이 수행되도록 구성될 수 있다.
본 발명의 다중 이진영상 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법에 의해, 영상 입력 수단의 움직임이 있는 경우에도 효과적으로 그 움직임을 검출할 수 있어서, 촬영 대상물의 이동 및 영상 입력 수단의 움직임이 동시에 있는 경우에도, 영상 입력 수단의 움직임에 따른 영상 배경 변화량을 보상해 줄 수 있어서, 효과적으로 영상 내 움직임을 추적할 수 있게 된다.
또한, 본 발명의 영상 배경 변화량 검출을 이용한 인터페이스 시스템에 의해, 각종 기기의 입력 인터페이스 시스템을 단순화 시킬 수 있게 되어, 외장되는 조작 버튼의 수를 줄일 수 있는데다가, 기존의 터치 스크린의 경우 손가락이나 스타일러스의 접촉으로 인해 발생하게 되는 디스플레이 화면상의 흠집이나 이물질 부착, 또한 그로 인한 디스플레이 품질의 저하 등의 단점을 해결할 수 있게 된다.
도 1은 촬영 대상물의 움직임이 없는 상태에서 카메라의 자세가 변경되는 경우 촬영되는 영상이 달라짐을 나타낸 것이다.
도 2는 도 1에서와 같이 카메라의 자세가 변경된 경우의 이전 영상 및 현재 영상을 나타낸 것이다.
도 3은 이전 영상과 현재 영상 간의 동일한 특징점이 있는 경우를 나타낸 것이다.
도 4는 본 발명에 따른 영상 배경 변화량 검출 장치 및 방법에 이용되는 하프변환(Hough Transform)을 설명하기 위한 것이다.
도 5는 도 4의 세 점들에 대해 하프변환한 결과를 나타낸 것이다.
도 6은 본 발명에 따른 다중 이진영상 및 하프 변환을 이용한 영상 배경 변화량 검출 방법의 흐름을 나타낸 것이다.
도 7은 본 발명에 따른 영상 배경 변화량 검출 방법에서의 이진 영상 생성 단계를 설명하기 위한 것이다.
도 8은 본 발명에 따른 영상 배경 변화량 검출 방법을 통한 수직 누적값의 분포를 나타낸 것이다.
도 9는 본 발명에 따른 영상 배경 변화량 검출 방법을 통한 수평 누적값의 분포를 나타낸 것이다.
도 10은 본 발명에 따른 영상 배경 변화량 검출 방법에 의한 배경 보상의 효과를 설명하기 위한 것이다.
도 11은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 일부 구성을 나타낸 것이다.
도 12는 도 11에 도시된 인터페이스 시스템의 디스플레이 장치 및 영상 입력 수단의 동작을 나타내기 위한 것이다.
도 13은 도 11에 도시된 인터페이스 시스템의 디스플레이 장치 및 영상 입력 수단의 동작을 나타내기 위한 것이다.
도 14는 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 일부 구성을 나타낸 것이다.
도 15는 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 장치가 평행하게 이동한 경우를 나타낸 것이다.
도 16은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 장치가 앞뒤로 이동한 경우를 나타낸 것이다.
도 17은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템의 디스플레이 장치를 나타낸 것이다.
도 18은 본 발명의 일 실시예에 따른 영상 배경 변화량 검출을 이용한 인터페이스 시스템에 있어서의 한 실행 메뉴 버튼 및 그 하위 메뉴 버튼을 나타낸 것이다.

Claims (16)

  1. 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치로서,
    시간상으로 연속적인 영상을 입력받는 영상입력수단:
    상기 영상입력수단을 통해 입력된 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik 각각에 대해 서로 다른 화소값 범위를 갖는 동일한 수의 이진영상들을 구한 후, 각 이진영상별로 할당된 화소값 범위에 속하는 화소값을 갖는 화소들의 수를 산출하여, 상기 이전 영상 및 현재 영상의 각 행에 있어서의 상기 산출된 화소들의 수인 수평 누적값 hH(Ik-1), hH(Ik)및 각 열에 있어서의 상기 산출된 화소들의 수인 수직 누적값 hV(Ik-1), hV(Ik)을 구하는 누적값계산수단;
    상기 누적값계산수단에 의해 계산된 누적값을 기준으로 이전 영상 및 현재 영상의 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하는 누적값쌍 검색수단; 및
    상기 누적값쌍 검색수단에 의해 구한 누적값쌍을 하프변환시켜, 피크값 ρV,θV,ρH,θH을 구하는 하프변환수단을 포함하되,
    상기 피크값 ρV,θV,ρH,θH으로부터 영상 배경 변화량을 검출하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치.
  2. 제1항에 있어서,
    상기 검출되는 영상 배경 변화량은, 다음 식의 a11, a22, b1, b2인 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치.
    Figure 112010076518169-pat00051
    ,
    Figure 112010076518169-pat00052
    여기서, (x, y)는 이전 영상의 한 점의 좌표이고, (x', y')는 현재 영상의 대응점의 좌표.
  3. 제1항에 있어서,
    상기 누적값계산수단은,
    상기 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik으로부터 각각 생성된 N개의 이진 영상들Il k-1, Il k(0≤l≤N-1)에 있어서, 그 화소값이
    Figure 112010076518169-pat00053
    에서
    Figure 112010076518169-pat00054
    범위에 해당하는 화소들의 수를 산출하여, 수평 누적값 hH(Ik-1), hH(Ik) 및 수직 누적값 hV(Ik-1), hV(Ik)을 구하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치.
  4. 제1항에 있어서,
    상기 누적값쌍 검색수단은,
    이전 영상 및 현재 영상의 누적값이 아래의 식을 만족하는 누적값쌍(i, i') 및 (j, j')을 구하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치.
    Figure 112010076518169-pat00055
    Figure 112010076518169-pat00056
    여기서,
    Figure 112010076518169-pat00057
    는 열 j상의 1 값을 갖는 화소수, h V j'열 j'상의 1 값을 갖는 화소수,
    Figure 112010076518169-pat00058
    는 행 i상의 1 값을 갖는 화소수, h V i'는 행 i'상의 1값을 갖는 화소수, Il k-1, Il k 은 이전 영상 및 현재 영상의 이진 영상들(0≤l≤N-1), T는 상수.
  5. 제2항에 있어서,
    a11 및 a22의 최소값인 amin, 및 a11 및 a22의 최대값인 amax는 사용자의 설정에 의해 정해지는 값이며, 상기 하프변환수단은, 아래의 식의 값을 만족하는 θ에 대해서 하프변환을 수행하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치.
    Figure 112010076518169-pat00059
  6. 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 방법으로서,
    그레이스케일의 이전 영상Ik-1 및 현재 영상Ik 을 입력받는 단계;
    상기 이전 영상Ik-1 및 현재 영상Ik 각각에 대해 서로 다른 화소값 범위를 갖는 동일한 수의 이진영상들을 구한 후, 각 이진영상별로 할당된 화소값 범위에 속하는 화소값을 갖는 화소들의 수를 산출하여, 상기 이전 영상 및 현재 영상의 각 행에 있어서의 상기 산출된 화소들의 수인 수평 누적값 hH(Ik-1), hH(Ik)및 각 열에 있어서의 상기 산출된 화소들의 수인 수직 누적값 hV(Ik-1), hV(Ik)을 구하는 단계;
    상기 누적값을 기준으로 이전 영상 및 현재 영상의 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하는 단계;
    상기 누적값쌍을 하프변환시켜, 피크값 ρV,θV,ρH,θH을 구하는 단계; 및
    상기 피크값 ρV,θV,ρH,θH으로부터 영상 배경 변화량을 검출하는 단계를 포함하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 방법.
  7. 제6항에 있어서,
    상기 검출되는 영상 배경 변화량은, 다음 식의 a11, a22, b1, b2인 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 방법.
    Figure 112010076518169-pat00060
    ,
    Figure 112010076518169-pat00061
    여기서, (x, y)는 이전 영상의 한 점의 좌표이고, (x', y')는 현재 영상의 대응점의 좌표.
  8. 제6항에 있어서,
    상기 누적값을 구하는 단계는,
    상기 그레이스케일의 이전 영상Ik-1 및 현재 영상Ik으로부터 각각 생성된 N개의 이진 영상들Il k-1, Il k(0≤l≤N-1)에 있어서, 그 화소값이
    Figure 112010076518169-pat00062
    에서
    Figure 112010076518169-pat00063
    범위에 해당하는 화소들의 수를 산출하여, 수평 누적값 hH(Ik-1), hH(Ik) 및 수직 누적값 hV(Ik-1), hV(Ik)을 구하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 방법.
  9. 제6항에 있어서,
    상기 누적값을 기준으로 이전 영상 및 현재 영상의 행의 쌍(i, i') 및 열의 쌍(j, j')을 구하는 단계는, 이전 영상 및 현재 영상의 누적값이 아래의 식을 만족하는 누적값쌍(i, i') 및 (j, j')을 구하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 방법.
    Figure 112010076518169-pat00064
    Figure 112010076518169-pat00065
    여기서,
    Figure 112010076518169-pat00066
    는 열 j상의 1 값을 갖는 화소수, h V j'열 j'상의 1 값을 갖는 화소수,
    Figure 112010076518169-pat00067
    는 행 i상의 1 값을 갖는 화소수, h V i'는 행 i'상의 1값을 갖는 화소수, Il k-1, Il k 은 이전 영상 및 현재 영상의 이진 영상들(0≤l≤N-1), T는 상수.
  10. 제7항에 있어서,
    상기 누적값쌍을 하프변환시켜, 피크값 ρV,θV,ρH,θH을 구하는 단계는, 아래의 식의 값을 만족하는 θ에 대해서 하프변환을 수행하는 것을 특징으로 하는 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 방법.
    Figure 112010076518169-pat00068
    여기서, a11 및 a22의 최소값인 amin, 및 a11 및 a22의 최대값인 amax는 사용자의 설정에 의해 정해지는 값.
  11. 영상 배경 변화량 검출을 이용한 인터페이스 시스템으로서,
    제1항 내지 제5항 중 어느 한 항에 따른 영상 배경 변화량 검출 장치와,
    상기 영상 배경 변화량 검출 장치에 연결되며, 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 장치를 포함하되,
    상기 디스플레이 장치는,
    상기 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 수단,
    상기 인터페이스 동작 구현을 위한 영상 내의 특정 지점 또는 메뉴를 가리키도록 상기 디스플레이 수단을 통해 디스플레이되는 포인팅 수단, 및
    상기 영상 배경 변화량 검출 장치로부터 검출된 영상 배경 변화량을 전달받아 실시간으로 상기 포인팅 수단이 상기 검출된 영상 배경 변화량에 비례하여 이동하도록 제어하며, 상기 포인팅 수단이 특정 메뉴를 가리킨 상태에서, 상기 영상입력수단에 의해 입력되는 현재 영상이 이전 영상에 비해 확대 또는 축소된 경우 해당 메뉴에 설정된 기능이 구현되도록 설정된 제어수단을 포함하는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템.
  12. 영상 배경 변화량 검출을 이용한 인터페이스 시스템으로서,
    제1항 내지 제5항 중 어느 한 항에 따른 영상 배경 변화량 검출 장치와,
    상기 영상 배경 변화량 검출 장치에 연결되며, 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 장치를 포함하되,
    상기 디스플레이 장치는,
    상기 인터페이스 동작 구현을 위한 영상을 디스플레이하는 디스플레이 수단,
    상기 디스플레이 수단의 특정 지점에 고정된 채, 상기 인터페이스 동작 구현을 위한 영상 내의 특정 지점 또는 메뉴를 가리키도록 디스플레이되는 포인팅 수단, 및
    상기 영상 배경 변화량 검출 장치로부터 검출된 영상 배경 변화량을 전달받아 실시간으로 상기 인터페이스 동작 구현을 위한 영상이 상기 검출된 영상 배경 변화량에 비례하여 이동하도록 제어하며, 상기 포인팅 수단이 특정 메뉴를 가리킨 상태에서, 상기 영상입력수단에 의해 입력되는 현재 영상이 이전 영상에 비해 확대 또는 축소된 경우 해당 메뉴에 설정된 기능이 구현되도록 설정된 제어수단을 포함하는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템.
  13. 제11항에 있어서,
    상기 인터페이스 시스템은 모바일 기기에 구현되는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템.
  14. 제11항에 있어서,
    상기 디스플레이 장치는 노트북 컴퓨터, 랩탑 컴퓨터, 워크스테이션, 제어용 컴퓨터 중의 어느 하나의 디스플레이 장치이되,
    상기 영상 배경 변화량 검출 장치는 모바일 장치이며,
    상기 디스플레이 장치 및 상기 영상 배경 변화량 검출 장치는 무선으로 연결되는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템.
  15. 제12항에 있어서,
    상기 인터페이스 시스템은 모바일 기기에 구현되는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템.
  16. 제12항에 있어서,
    상기 디스플레이 장치는 노트북 컴퓨터, 랩탑 컴퓨터, 워크스테이션, 제어용 컴퓨터 중의 어느 하나의 디스플레이 장치이되,
    상기 영상 배경 변화량 검출 장치는 모바일 장치이며,
    상기 디스플레이 장치 및 상기 영상 배경 변화량 검출 장치는 무선으로 연결되는 것을 특징으로 하는 영상 배경 변화량 검출을 이용한 인터페이스 시스템.
KR1020090014300A 2009-02-20 2009-02-20 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 KR101016095B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090014300A KR101016095B1 (ko) 2009-02-20 2009-02-20 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법
US12/468,863 US8355599B2 (en) 2009-02-20 2009-05-19 Methods and devices for detecting changes in background of images using multiple binary images thereof and hough transformation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090014300A KR101016095B1 (ko) 2009-02-20 2009-02-20 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100095161A KR20100095161A (ko) 2010-08-30
KR101016095B1 true KR101016095B1 (ko) 2011-02-17

Family

ID=42631021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090014300A KR101016095B1 (ko) 2009-02-20 2009-02-20 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US8355599B2 (ko)
KR (1) KR101016095B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101189306B1 (ko) 2010-09-30 2012-10-15 기아자동차주식회사 차량의 스티어링 장치
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
CN103809909B (zh) * 2014-02-19 2018-03-27 联想(北京)有限公司 一种信息处理方法及电子设备
EP3099081B1 (en) * 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
CN106407057B (zh) * 2016-09-23 2021-09-17 江西欧迈斯微电子有限公司 检测方法及检测装置
KR20210036574A (ko) * 2019-09-26 2021-04-05 삼성전자주식회사 자세 추정 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063860A (ja) * 1996-08-16 1998-03-06 Fujitsu Ltd 画像特徴抽出方法および装置
JP2001118182A (ja) * 1999-10-18 2001-04-27 Mitsubishi Electric Corp 移動体検出装置および移動体検出方法
JP2001307104A (ja) * 2000-04-26 2001-11-02 Nippon Hoso Kyokai <Nhk> 動画像のオブジェクト抽出装置
KR20080026326A (ko) * 2006-09-20 2008-03-25 연세대학교 산학협력단 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5764306A (en) * 1997-03-18 1998-06-09 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image
JP3141004B2 (ja) * 1998-08-31 2001-03-05 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 動画中のオブジェクトを分類する方法
US6771834B1 (en) * 1999-07-02 2004-08-03 Intel Corporation Method for segmenting a digital image
JP2002077625A (ja) * 2000-08-30 2002-03-15 Minolta Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
CN1409267A (zh) * 2001-09-27 2003-04-09 松下电器产业株式会社 图像处理装置、图像处理方法和计算机可读取记录媒体
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063860A (ja) * 1996-08-16 1998-03-06 Fujitsu Ltd 画像特徴抽出方法および装置
JP2001118182A (ja) * 1999-10-18 2001-04-27 Mitsubishi Electric Corp 移動体検出装置および移動体検出方法
JP2001307104A (ja) * 2000-04-26 2001-11-02 Nippon Hoso Kyokai <Nhk> 動画像のオブジェクト抽出装置
KR20080026326A (ko) * 2006-09-20 2008-03-25 연세대학교 산학협력단 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및방법

Also Published As

Publication number Publication date
US20100215287A1 (en) 2010-08-26
KR20100095161A (ko) 2010-08-30
US8355599B2 (en) 2013-01-15

Similar Documents

Publication Publication Date Title
KR101533686B1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
JP4575829B2 (ja) 表示画面上位置解析装置及び表示画面上位置解析プログラム
US9727135B2 (en) Gaze calibration
EP2480955B1 (en) Remote control of computer devices
JP5949319B2 (ja) 視線検出装置及び視線検出方法
US8094204B2 (en) Image movement based device control method, program, and apparatus
US9964624B2 (en) Computer vision-based object tracking system
KR101016095B1 (ko) 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법
CN101730876A (zh) 使用相机和输出标记的指点装置
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
US9836130B2 (en) Operation input device, operation input method, and program
EP2905680B1 (en) Information processing apparatus, information processing method, and program
JP5895720B2 (ja) 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
US20060214911A1 (en) Pointing device for large field of view displays
CN102868811A (zh) 一种基于实时视频处理的手机屏幕操控方法
JP2012238293A (ja) 入力装置
EP2282224B1 (en) Image processing apparatus, image processing method, and computer program
KR101503017B1 (ko) 모션 검출 방법 및 장치
US8876291B2 (en) Control apparatus, ophthalmologic apparatus, system, control method, and program
KR100749033B1 (ko) 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
WO2011096571A1 (ja) 入力装置
US20140085264A1 (en) Optical touch panel system, optical sensing module, and operation method thereof
US9785253B2 (en) Pointing device using camera and outputting mark
KR101200009B1 (ko) 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법
US9535535B2 (en) Touch point sensing method and optical touch system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150115

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee