KR20050029161A - 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법 - Google Patents

공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR20050029161A
KR20050029161A KR1020050012265A KR20050012265A KR20050029161A KR 20050029161 A KR20050029161 A KR 20050029161A KR 1020050012265 A KR1020050012265 A KR 1020050012265A KR 20050012265 A KR20050012265 A KR 20050012265A KR 20050029161 A KR20050029161 A KR 20050029161A
Authority
KR
South Korea
Prior art keywords
image
images
user
object recognition
template
Prior art date
Application number
KR1020050012265A
Other languages
English (en)
Inventor
이기혁
손병곤
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Priority to KR1020050012265A priority Critical patent/KR20050029161A/ko
Publication of KR20050029161A publication Critical patent/KR20050029161A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 조작 및 컴퓨터 비전에 기반한 공간 인터랙션(Spatial Interaction) 장치인 공간 마우스를 이용한 물체 인식 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템은, 물체의 외형에 따른 복수의 이미지를 사용자의 인터랙션에 의해 획득함으로써 물체 인식이 가능한 SIDOR 모듈(Spatial Interaction Device Object Recognition Module); SIDOR 모듈로부터 획득된 복수의 이미지를 컴퓨터 내에 입력하기 위한 이미지 입력부; 입력된 복수의 이미지를 연결하여 스티치 이미지를 형성하고, 스티치 미지의 배경을 삭제하는 이미지 스티칭부; 스티치 이미지와 비교할 다수의 템플렛 이미지의 휴 히스토그램(Hue Histogram)이 저장된 템플렛 이미지(template image) 저장부; 및 스티치 이미지와 템플렛 이미지를 서로 비교하여 물체 인식을 수행하는 이미지 비교부를 포함한다. 본 발명에 따르면, 사용자가 인식할 물체를 직접 가리키고 사용자의 인터랙션에 의해서 이미지를 스티칭함으로써, 인식하려는 사물을 이미지 처음부터 찾아내야 하는 시간을 필요로 하지 않기 때문에 컴퓨터의 물체인식 계산량이 줄어들고, 물체 인식 속도가 빨라지게 된다.

Description

공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법 {A object recognition system using the spatial interaction device, and a method thereof}
본 발명은 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법에 관한 것으로, 보다 구체적으로, 사용자 조작 및 컴퓨터 비전에 기반한 공간 인터랙션 장치인 공간 마우스를 이용한 물체 인식 시스템 및 그 방법에 관한 것이다.
유비쿼터스(Ubiquitous)는 사용자가 네트워크나 컴퓨터를 의식하지 않고 장소에 상관없이 자유롭게 네트워크에 접속할 수 있는 정보통신 환경을 말하며, 물이나 공기처럼 시공을 초월해 '언제 어디에나 존재한다'는 뜻의 라틴어로서, 사용자가 컴퓨터나 네트워크를 의식하지 않고, 장소에 상관없이 자유롭게 네트워크에 접속할 수 있는 환경을 말한다.
유비쿼터스는 단독으로 쓰이지는 않고 유비쿼터스 통신, 유비쿼터스 네트워크 등과 같은 형태로 쓰인다. 즉, 컴퓨터에 어떠한 기능을 추가하는 것이 아니라 자동차·냉장고·안경·시계·스테레오 장비 등과 같이 어떤 기기나 사물에 컴퓨터를 집어넣어 커뮤니케이션이 가능하도록 해주는 정보기술(IT) 환경 또는 정보기술 패러다임을 뜻한다.
그런데, 유비쿼터스는 휴대성과 편의성뿐 아니라 시간과 장소에 구애받지 않고도 네트워크에 접속할 수 있는 장점들 때문에 세계적인 개발 경쟁이 일고 있지만, 유비쿼터스 네트워크가 이루어지기 위해서는 광대역 통신과 컨버젼스 기술의 일반화, 정보기술 기기의 저가격화 등 정보기술의 고도화가 전제되어야 한다.
또한, 유비쿼터스 개념의 홈 환경은 보다 지능적이면서도 자연스럽고 편리한 사용자 인터페이스를 필요로 한다. 이를 위해 제스처 인식, 음성 인식, 적외선(IR) 센서 등을 이용한 공간 마우스 개념의 기술들이 개발되어 왔다. 여기서,공간 마우스 개념은 일반 데스크탑 컴퓨터에서 사용되는 마우스의 개념을 물리적인 세계로 확장시킨 개념이다. 상기 공간 마우스는 앞으로 다가올 유비쿼터스 홈(Ubiquitous Home) 환경에 있어서, 사용자가 컴퓨팅 능력을 가진 가전기기들을 선택, 즉, 마우스의 왼쪽 버튼을 클릭하고, 해당 가전기기들에 대한 명령, 즉, 마우스의 더블 클릭 또는 오른쪽 버튼 클릭 후 메뉴를 선택할 수 있다. 또한, 해당 기기들 사이에 정보를 주고받을 수 있는데, 예를 들어, 마우스의 드래그(drag) 및 드롭(drop)에 의한 파일 이동 및 복사할 수 있다. 따라서, 상기 공간 마우스 개념은 범용 원격 제어기(universal remote controller)의 개념으로 볼 수 있다.
한편, 종래 기술에 따른 물체 인식(Object Recognition) 기법들로는 XWand, 스마트 배턴 시스템(Smart Baton System), 및 로봇 비전(Robot Vision)에서의 물체 인식 등이 있고, 전술한 공간 마우스를 제작한 예가 XWand 및 스마트 배턴 시스템이다.
구체적으로, 마이크로소프트 리서치(Microsoft Research: MSR)의 XWand는 네트워크로 연결된 공간상에서 기기들 간의 자연스러운 인터랙션 방법을 제공하는 다양한 센서로 구성된 막대기이다. 상기 XWand는 지시 기능과 제스처 인식을 위해 다양한 센서들로 구성되며, 구체적으로, 아날로그 디바이스(Analog Device)의 ADXL202 가속도 센서, Honeywell HMC1023 자기 측정계, Murata ENC-03 자이로스코프, BIM 418MHz FM 트랜시버, PIC 16F873 마이크로컨트롤러, IR-LED 등의 다양한 센서들이 XWand를 구성하고 있다.
상기 XWand는 예를 들어, 사용자가 막대기를 조작하고자 하는 특정 기기를 가리킨 후, 간단한 제스처나 음성으로 그 기기를 조작할 수 있다. 또한, 사용자는 전등을 가리킴으로써 불을 켤 수 있고, 또는 "켜져라" 라는 말을 하여 불을 켤 수도 있다. 또는 오디오를 가리킨 후, 막대기를 돌리는 제스처를 취함으로써 볼륨을 조절할 수도 있다.
하지만, 상기 XWand는 카메라가 사용자를 항상 추적하는 점, 물체의 위치가 고정되어 있다고 가정하는 점, 그리고 카메라가 설치된 공간을 벗어나서는 이용할 수 없는 점 등의 문제점이 있다.
한편, 상기 스마트 배턴 시스템은 PDA에 레이저 포인터를 부착해 조작하고자 하는 가전기기들을 가리키면 그 기기를 조작할 수 있는 메뉴가 PDA 화면에 뜨게 되는 시스템을 말한다. 이때, 가전기기들은 레이저 빔을 감지할 수 있는 태양전지(Solar Cell)가 부착되어 있고, 상기 레이저 빔에 사용자의 고유번호를 실어 보내면 가전기기들을 이 고유번호를 인식하여 일련의 인증 과정을 거친 후, 사용자에 따라 다른 조작 메뉴 화면을 보여주게 된다.
하지만, 상기 스마트 배턴 시스템은 레이저를 가정과 같은 환경에서 사용하기에 적합한 지에 대한 의문과 레이저 빔을 감지하기 위해 모든 물체들은 레이저 수신기가 설치되어야 한다는 문제점이 있다.
한편, 종래 기술에 따른 로봇 비전의 물체 인식은 로봇이 어떤 작업을 수행하기 위해서 스스로 필요한 물체를 찾아서 인식해야만 하고, 이런 경우에 물체 하나를 찾기 위해 많은 계산량을 필요로 하여 계산 시간이 매우 오래 걸리는 문제점이 있다. 다시 말하면, 전술한 일반적인 물체 인식 기법들 중에서 로봇 비전은 물체 인식을 위해 컴퓨터 비전(computer vision)을 이용하므로 많은 계산량이 필요하고, 이에 따라 유비쿼터스 홈과 같이 사용자에게 빠른 피드백이 필요한 환경에서는 사용할 수가 없다는 문제점이 있다.
상기 문제점을 해결하기 위한 본 발명의 목적은, 유비쿼터스 환경에서 사용자와 사물간에 발생하는 인터랙션에 의해 도움을 얻는 컴퓨터 비전을 활용함으로써, 빠른 시간 안에 물체를 인식할 수 있는 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위한 수단으로서, 본 발명에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템은,
사용자의 도움을 얻는 컴퓨터 비전을 이용한 물체 인식 시스템에 있어서,
물체의 외형에 따른 복수의 이미지를 사용자의 인터랙션에 의해 획득함으로써 물체 인식이 가능한 SIDOR 모듈(Spatial Interaction Device Object Recognition Module);
상기 SIDOR 모듈로부터 획득된 복수의 이미지를 컴퓨터 내에 입력하기 위한 이미지 입력부;
상기 입력된 복수의 이미지를 연결하여 스티치 이미지를 형성하고, 상기 스티치 미지의 배경을 삭제하는 이미지 스티칭부;
상기 스티치 이미지와 비교할 다수의 템플렛 이미지의 휴 히스토그램(Hue Histogram)이 저장된 템플렛 이미지(template image) 저장부; 및
상기 스티치 이미지와 상기 템플렛 이미지를 서로 비교하여 물체 인식을 수행하는 이미지 비교부
를 포함하는 것을 특징으로 한다.
여기서, 상기 SIDOR 모듈은, 사용자의 터치를 인식하는 터치 센서; 상기 터치에 따라 발광하며, 상기 사용자의 조작에 따라 상기 인식하려는 물체를 가리키기 위한 발광다이오드; 상기 발광다이오드의 이동에 따라 상기 물체의 외형에 따른 이미지를 촬영하여 획득하는 카메라; 및 상기 SIDOR 모듈의 물체 인식 동작의 온/오프를 제어하기 위한 스위치를 포함할 수 있다.
여기서, 상기 이미지 스티칭부는 상기 사용자의 제스처에 의해 입력된 이미지 중에서 연속된 두 이미지의 움직임 벡터를 구하여 이미지를 스티칭한 뒤 스티치된 이미지의 휴 히스토그램을 매칭하는 것을 특징으로 한다.
여기서, 상기 이미지 비교부는 상기 템플렛 이미지와 배경이 삭제된 이미지의 색조 히스토그램의 상관을 구하거나, 또는 두 이미지 사이에 컬러 상호발생 히스토그램을 구하여 두 이미지를 매칭시키는 것을 특징으로 한다.
여기서, 상기 이미지 비교부는 입력 이미지의 휴 히스토그램과 미리 저장되어 있는 템플릿 이미지의 휴 히스토그램의 상관 관계를 구하는 것을 특징으로 한다.
여기서, 상기 이미지 비교부는 상기 입력 이미지와 비교되는 템플렛 이미지 중에서 가장 높은 상관 값을 갖는 템플렛 이미지가 사용자가 인식하려는 물체라고 판정하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 다른 수단으로서, 본 발명에 따른 공간 인터랙션 장치 물체 인식 모듈은,
사용자의 인터랙션에 의해 물체의 외형에 따른 복수의 이미지를 획득하기 위한 공간 인터랙션 장치의 물체 인식(SIDOR) 모듈에 있어서,
사용자의 터치를 인식하는 터치 센서;
상기 터치에 따라 발광하며, 상기 사용자의 조작에 따라 상기 인식하려는 물체를 가리키기 위한 발광다이오드;
사용자가 상기 발광다이오드를 비추어 물체를 가리키는 경우, 소정 버튼을 눌러 상기 물체의 영상을 획득하는 카메라; 및
상기 물체 인식 동작의 온/오프를 제어하기 위한 스위치
를 포함하는 것을 특징으로 한다.
여기서, 상기 카메라 및 발광다이오드는 함께 고정되어 같이 움직이는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 다른 수단으로서, 본 발명에 따른 공간 인터랙션 장치를 이용한 물체 인식 방법은,
사용자의 도움을 얻는 컴퓨터 비전을 이용한 물체 인식 방법에 있어서,
a) 물체 인식이 가능한 공간 인터랙션 장치를 사용하여 물체의 외형에 따른 복수의 이미지를 사용자의 인터랙션에 의해 획득하는 단계;
b) 상기 물체 인식이 가능한 공간 인터랙션 장치로부터 획득된 복수의 이미지를 입력하는 단계;
c) 상기 입력된 복수의 이미지를 연결한 스티치 이미지를 형성하는 단계;
d) 상기 연결된 이미지의 배경을 삭제하는 단계;
e) 기저장된 템플렛 이미지의 휴 히스토그램을 추출하여, 상기 배경이 삭제된 이미지의 휴 히스토그램과 서로 비교하는 단계; 및
f) 상기 비교 결과에 따라 물체 인식을 수행하는 단계
를 포함하는 것을 특징으로 한다.
여기서, 상기 c) 단계는 상기 복수의 이미지들 사이의 이동 벡터를 구하거나, 또는 상기 복수의 이미지의 광 이동량에 따라 움직임 벡터를 구하여 스티치 이미지를 형성하는 것을 특징으로 한다.
여기서, 상기 e) 단계는 상기 템플렛 이미지와 배경이 삭제된 이미지의 색조 히스토그램의 상관을 구하거나, 또는 두 이미지 사이에 컬러 상호발생 히스토그램을 구하여 두 이미지를 매칭시키는 것을 특징으로 한다.
여기서, 상기 e) 단계는, e-1) 기저장된 템플렛 이미지를 추출하는 단계; e-2) 상기 템플렛 이미지와 상기 배경이 삭제된 이미지를 HSV 칼라 모델로 변환하는 단계; 및 e-3) 상기 두 이미지 각각에 대해 휴 히스토그램의 상관(correlation) 값을 서로 비교하는 단계를 포함할 수 있다.
여기서, 상기 f) 단계는 상기 입력 이미지와 비교되는 템플렛 이미지 중에서 가장 높은 상관 값을 갖는 템플렛 이미지가 사용자가 인식하려는 물체라고 판정하는 것을 특징으로 한다.
따라서, 종래의 로봇 비전과 같은 물체 인식 기법은 물체를 인식하는데 많은 시간이 필요하지만, 본 발명에 따르면, 사용자가 인식할 물체를 직접 가리키고 사용자의 인터랙션에 의해서 이미지를 스티칭함으로써, 인식하려는 사물을 이미지 처음부터 찾아내야 하는 시간을 필요로 하지 않기 때문에 컴퓨터의 물체인식 계산량이 줄어들고, 물체 인식 속도가 빨라지게 된다.
이하, 첨부한 도면을 참조하여, 본 발명의 실시예에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법을 설명한다.
본 발명의 실시예는 HCI(Human-Computer Interaction)에 있어서, 사용자와 물체들 간에 인터랙션이 일어날 때 발생하는 사용자의 인터랙션(interaction)을 통해 도움을 얻는 컴퓨터 비전 방법을 이용하여 빠른 속도로 물체 인식을 가능하게 하는 공간 인터랙션 장치(Spatial Interaction Device: SID)인 공간 마우스의 물체 인식 기술을 개시한다.
본 발명의 실시예에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템은 개략적으로 SIDOR 하드웨어와 소프트웨어로 구성될 수 있다.
상기 하드웨어는 사용자가 원하는 물체를 가리키기 위한 LED, 물체의 이미지를 얻기 위한 카메라, 사용자가 하드웨어를 사용하려는 것을 자동적으로 인지하기 위한 터치센서, 및 상기 카메라를 이용하여 물체의 이미지를 얻기 위한 명령을 전달하기 위한 명령 스위치를 포함할 수 있다. 이와 같은 하드웨어를 이용하여 사용자는 인터랙션을 통해 인식하려는 물체의 외형을 따라 LED를 이용하여 물체의 이미지들을 얻게 된다.
또한, 본 발명의 실시예에 따른 소프트웨어는 상기 카메라로부터 얻어진 연속된 이미지들을 이미지의 움직임에 맞게 하나의 이미지로 연결하고, 물체 인식에 방해가 되는 연결된 이미지의 배경을 삭제한다. 이러한 방법을 이미지 스티칭(image stitching) 방법이라 칭한다. 즉, 이미지 스티칭은 이미지를 결합해서 하나의 큰 이미지를 만드는 과정을 말하며, 또한, 이와 같이 연결된 이미지를 스티치 이미지(stitched image)라고 칭한다. 이후, 본 발명의 실시예에 따른 소프트웨어는 미리 컴퓨터에 저장된 물체들의 템플렛 이미지들과 스티칭 이미지를 비교하여 물체 인식을 수행하게 된다.
한편, 도 1은 본 발명의 실시예에 따른 사용자 조작 및 컴퓨터 비전에 기반한 공간 인터랙션 장치를 이용한 물체 인식 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템은 물체(100), 공간 인터랙션 장치의 물체 인식 모듈(Spatial Interaction Device Object Recognition Module: SIDOR Module)(200) 및 컴퓨터(300)를 포함하며, 상기 컴퓨터(300) 내에 이미지 입력부(310), 스티치 이미지 형성부(320), 템플렛 이미지 저장부(330) 및 이미지 비교부(340)를 포함한다.
상기 SIDOR 모듈(200)은 사용자의 인터랙션에 의해 상기 외형에 따른 이미지를 획득하기 위한 물체(100)의 이미지를 획득하게 되며, 사용자는 SID 물체 인식 모듈(200)을 이용하여 여러 이미지들을 얻을 수 있다. 예를 들어, 사용자는 인식하려는 물체의 윤곽을 따라 카메라로 원을 그리며 이미지를 얻게 된다. 이후, 이와 같이 얻어진 이미지는 이미지 스티칭(image stitching) 방법에 의하여 하나의 이미지로 만들어지게 된다.
상기 컴퓨터(300) 내에 구현되는 이미지 입력부(310)는 상기 SIDOR 모듈(200)로부터 획득된 이미지를 입력하는 역할을 한다.
상기 스티치 이미지 형성부(320)는 상기 입력 이미지(input image)에서 물체를 제외한 거의 모든 배경은 삭제되고, 상기 이미지에 남은 물체의 이미지(stitch image)를 형성하게 된다.
상기 템플렛 이미지 저장부(330)는 해당 물체의 템플렛 이미지를 미리 저장하고 있다.
상기 이미지 비교부(340)는 상기 이미지에 남은 물체의 이미지(stitch image)와 미리 저장된 해당 물체의 템플렛 이미지(template image)와의 색조 히스토그램(hue histogram)을 비교함으로써 물체 인식을 수행한다.
따라서, 본 발명의 실시예는 전술한 로봇 비전과는 달리 사용자와 물체들 간에 인터랙션이 일어날 때 발생하는 사용자의 인터랙션으로부터 도움을 얻어 빠른 속도로 물체를 인식할 수 있다.
한편, 도 2는 본 발명의 실시예에 따른 공간 인터랙션 장치인 물체 인식(SIDOR) 모듈의 구성도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 공간 인터랙션 장치인 물체 인식(SIDOR) 모듈(200)은 물체(100)의 외형에 따른 이미지를 획득하기 위한 것으로, 인쇄회로기판(210), 스위치 버튼(220), IEEE 1394 카메라인 드래곤플라이 렌즈 확장 버전 카메라(Dragonfly Camera Extended CCD: 230), 카메라 렌즈부(240), 고휘도 발광다이오드(LED: 250), 상기 카메라(230)에서 제공하는 범용 입출력 장치(General Purpose Input/Output: GPIO)(260) 및 IEEE-1394 케이블(270)을 포함할 수 있다.
상기 고휘도 LED(250)는 상기 사용자의 터치에 따라 발광하며, 상기 사용자의 조작에 따라 상기 인식하려는 물체를 가리키기 위한 것이고, 상기 카메라(230)는 상기 LED(250)의 이동에 따라 상기 물체(100)의 외형에 따른 이미지를 촬영하여 획득하기 위한 것이다. 또한, 상기 LED(250)가 물체에 투시된 상황에서 물체의 이미지를 획득하면 물체의 색이 상기 LED(250)의 색에 영향을 받은 상태로 이미지가 획득되게 되므로 물체의 정확한 이미지 정보를 얻지 못할 수 있고, 상기 이미지를 찍는 순간은 상기 LED(250)를 끄고, 상기 LED(250)로 사물을 가리킬 때는 이미지를 획득하지 않는 시분할 방법을 이용하여 상기 LED(250)로 사물을 가리키면서 이미지를 획득하게 된다.
또한, 상기 스위치 버튼(220)은 상기 SIDOR 모듈(200)의 물체 인식 동작의 온/오프를 제어하게 되며, 상기 GPIO(260)는 상기 LED(250)와 스위치 버튼(220)의 조작을 위한 전원을 제공한다.
구체적으로, 사용자가 SIDOR 모듈(200)을 이용하기 위해 하드웨어, 즉, 공간 마우스를 손에 쥐면 터치 센서(도시되지 않음)가 사람의 터치를 인식하여 고휘도 LED(250)가 켜지게 된다. 이후, 사용자는 LED(250)를 이용하여 인식하고 싶은 물체(100)를 가리킨 후, 상기 스위치 버튼(220)을 누르면서 물체(100)의 외형을 따라 물체의 이미지들을 획득하게 된다. 보다 구체적으로 말하면, SIDOR 모듈을 가지고 사용자가 가리키는 곳에 LED(250)를 비추고, 사용자가 버튼을 누르면 카메라(230)가 상기 물체의 영상을 획득하게 되는데, 상기 영상의 중심에는 항상 LED(250)가 비춰지게 된다. 이때, SIDOR Module에 카메라(230)와 LED(250)가 함께 고정되어 있어서 같이 움직이게 된다. 이때, 사용자가 상기 물체의 외형을 LED(250)로 비추어 이미지를 획득하게 되면, 사물의 외형은 획득된 이미지의 중심에 놓일 수 있다.
상기 획득된 이미지들은 컴퓨터(300)로 전송되고, 상기 컴퓨터(300)에서 실행중인 소프트웨어는 카메라(230)로부터 얻은 이미지들을 스티칭하고, 이후 상기 이미지의 배경을 삭제한 이미지를 만든다. 상기 배경이 삭제된 이미지가 다시 입력 이미지가 되고, 상기 이미지는 컴퓨터(300)에 미리 저장되어 있는 여러 템플렛 이미지들과 비교된다.
이러한 이미지들의 비교는 예를 들어, 모든 이미지를 HSI 칼라 모델로 변환한 후, 각각 이미지의 휴 히스토그램(histogram)의 상관(correlation) 값으로 비교하고, 상기 입력 이미지와 비교되는 템플렛 이미지 중에서 가장 높은 상관 값을 갖는 템플렛 이미지가 사용자가 인식하려는 물체라고 판정한다.
한편, 도 3a 내지 도 3c는 각각 본 발명의 실시예에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템의 이미지 획득(Image Stitching) 과정을 나타내는 도면이다.
도 3a는 입력된 여러 이미지들의 움직임에 따라서 하나의 이미지로 연결하는 이미지 스티칭(421)을 나타내는 도면이고, 도 3b는 검은 선으로 도시되는 각 이미지들의 중점을 연결한 도면(422)이며, 도 3c는 연결된 도면의 배경이 삭제된 스티치 이미지(423)가 형성된 것을 나타내는 도면이다. 여기서, 상기 이미지 스티칭은 사용자가 취하는 액션과 그에 따라 취득되는 일련의 이미지, 그 이미지들을 결합해서 하나의 합성 이미지를 만드는 과정을 말한다.
본 발명의 실시예에 따른 이미지 스티칭을 수행하기 위해서는 연속된 두 이미지가 얼마만큼 어느 방향으로 움직였는지 알아야 한다. 이러한 움직임 벡터를 구하기 위한 방법은 여러 가지 방법이 있다.
예를 들면, 고속 퓨리에 변환(Fast Fourier Transform: FFT)을 이용하여 두 이미지를 주파수 영역으로 변환하고, 그 상태에서 두 이미지의 상관(correlation)을 구하여, 두 이미지 사이의 이동 벡터를 구하는 방식, 또는 이미지의 광 이동(optical flow)을 이용하는 방식이 있다.
이와 같이 움직임 벡터를 구하는 방식으로 이미지 스티칭을 수행한 후(도 3a 참조), 상기 스티치 이미지의 배경을 삭제하기 위해서, 상기 이미지가 스티칭되기 전의 각각의 이미지의 중점을 모두 연결하게 된다(도 3b 참조).
예를 들어, 사용자가 하드웨어로 물체의 이미지를 얻을 때, 물체의 외형을 원형으로 가리킨 경우, 각각의 이미지의 중점을 연결한 모양이 도 3b에 도시된 바와 같이 원이 될 것이다. 마찬가지 방법으로, 사용자가 물체의 외형을 사각형으로 가르쳤다면 각각의 이미지의 중점을 연결한 모양이 사각형이 될 것이다.
이후, 도 3b에 도시된 바와 같이, 이미지의 배경을 삭제하면 도 3c와 같은 이미지가 남게 된다. 따라서, 전술한 템플렛 이미지 저장부(430) 및 이미지 비교부(440)를 사용하여, 컴퓨터에 미리 저장되어 있는 템플렛 이미지들을 서로 매칭(matching) 시킴으로써, 사용자가 원하는 물체를 인식한다.
이러한 두 이미지를 매칭시키는 방법에는 기존에 알려진 여러 가지 방법이 있을 수 있다. 예를 들면, 두 이미지의 색조 히스토그램(hue histogram)의 상관(correlation)을 구하는 방법, 또는 두 이미지 사이에 컬러 상호발생(Color Cooccurrence) 히스토그램을 구하는 방법이 있다. 이러한 이미지 매칭 방법은 당업자에게 자명하므로 상세한 설명은 생략한다.
한편, 도 4는 본 발명의 실시예에 따른 사용자 조작 및 컴퓨터 비전에 기반한 공간 인터랙션 장치를 이용한 물체 인식 방법의 동작 흐름도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 공간 인터랙션 장치를 이용한 물체 인식 방법은, 먼저, SIDOR 모듈(200)을 사용하여 물체의 외형에 따른 이미지를 획득하고(S401), 이후, 획득된 이미지를 컴퓨터 내에 입력하게 된다(S402).
다음으로, 상기 입력된 이미지를 연결한 스티치 이미지를 형성하고(S403), 상기 연결 이미지 배경을 삭제하게 된다(S404). 상기 이미지 스티칭은 두 이미지 사이의 이동 벡터를 구하거나, 또는 이미지의 광 이동량에 따라 움직임 벡터를 구함으로써 이루어질 수 있다.
다음으로, 상기 이미지의 휴 히스토그램을 계산하고(S405), 이후, 템플렛 이미지의 휴 히스토그램을 추출하며(S406), 상기 배경이 삭제된 이미지와 상기 템플렛 이미지를 서로 비교함으로써 물체 인식을 수행하게 된다(S407). 즉, 상기 두 이미지의 색조 히스토그램의 상관을 구하거나, 또는 두 이미지 사이에 컬러 상호발생 히스토그램을 구하여 두 이미지를 매칭시킬 수 있다.
이후, 사용자의 종료 명령이 있는지 확인하여(S408), 사용자가 추가로 이미지를 획득하고자 하는 경우, 전술한 S401 단계 내지 S407 단계를 반복할 수 있다.
한편, 도 5a 내지 도 5c는 본 발명의 실시예에 따른 템플릿 이미지로부터 휴 히스토그램을 구하는 과정을 나타내는 도면들로서, 도 1에 도시된 템플릿 이미지 저장부(330)의 동작을 설명하기 위한 도면이다. 즉, 도 5a는 템플릿 이미지를 예시하며, 도 5b는 템플릿 이미지의 휴 이미지를 나타내고, 도 5c는 휴 히스토그램을 나타낸다.
구체적으로, 템플릿 이미지에서 휴 히스토그램을 구하는 것은 미리 수행되어있으므로, 실제 물체 인식에서는 템플릿 이미지의 휴 히스토그램 값만을 가져와서 입력 이미지의 휴 히스토그램과 비교하게 된다. 따라서, 상기 이미지 비교를 수행할 때마다 템플릿 이미지를 휴 이미지로 변환하고, 휴 히스토그램을 구하는 것은 반복적으로 수행하지 않아도 된다.
종래의 기술에 따르면, 로봇이 사물을 인식하는 경우, 사용자가 인식할 물체를 가르쳐 주지 않고 로봇 스스로가 획득한 영상에서 찾아야 하는 물체를 영상의 처음부터 끝까지 검색해 나가면서 물체를 획득하기 때문에 시간이 오래 걸리지만, 본 발명의 실시예에 따르면 컴퓨터의 계산량이 낮아지게 되는데, 그 이유는 사용자의 인터랙션, 즉, 사용자가 인식할 물체를 포인트 해주고 또 그 물체를 가리킬 때, 원을 그리는 제스처에 의해 도 3c와 같이 원래 이미지의 배경이 모두 삭제되므로, 인식하려는 사물을 이미지 처음부터 찾아내야 하는 시간을 필요로 하지 않기 때문에 컴퓨터의 계산량이 낮아지고, 인식 속도가 빨라지게 된다.
결국, 본 발명의 실시예는 유비쿼터스 환경에서 사용되는 SID와 결합할 경우, 종래의 물체 인식 방법들처럼 물체를 인식하기 위해 여러 개의 센서나 IR 태그, 레이저 수신기를 부착할 필요가 없고 인식하려는 물체의 위치가 고정되어 있을 필요도 없다. 지금 현재로써는 PDA와 같은 포켓용(handheld) 장치의 컴퓨팅 능력이 빠르지 않아서 본 발명의 실시예에 따른 소프트웨어를 PC에서 실행시키지만, 향후, 소형 포켓용 장치의 컴퓨팅 능력이 현재의 PC처럼 빨라질 경우, 사용자가 어느 곳에서든지 원하는 물체를 인식하여 그 물체에 대한 조작을 가능하게 할 수 있다는 점은 자명하다. 따라서, 본 발명의 실시예는 만능 리모컨으로서의 기능을 목표로 하는 기기의 물체 인식 모듈로서 사용될 수 있다.
이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
본 발명에 따르면, 사용자가 인식할 물체를 직접 가리키고 사용자의 인터랙션에 의해서 이미지를 스티칭함으로써, 인식하려는 사물을 이미지 처음부터 찾아내야 하는 시간을 필요로 하지 않기 때문에 컴퓨터의 물체인식 계산량이 줄어들고, 물체 인식 속도가 빨라지게 된다.
도 1은 본 발명의 실시예에 따른 사용자 조작 및 컴퓨터 비전에 기반한 공간 인터랙션 장치를 이용한 물체 인식 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 공간 인터랙션 장치의 물체 인식(SIDOR) 모듈의 구성도이다.
도 3a 내지 도 3c는 각각 본 발명의 실시예에 따른 공간 인터랙션 장치를 이용한 물체 인식 시스템의 이미지 스티칭(Image Stitching) 과정을 예시하는 도면이다.
도 4는 본 발명의 실시예에 따른 사용자 조작 및 컴퓨터 비전에 기반한 공간 인터랙션 장치를 이용한 물체 인식 방법의 동작 흐름도이다.
도 5a 내지 도 5c는 본 발명의 실시예에 따른 템플릿 이미지로부터 휴 히스토그램을 구하는 과정을 나타내는 도면들이다.

Claims (14)

  1. 사용자의 도움을 얻는 컴퓨터 비전을 이용한 물체 인식 시스템에 있어서,
    물체의 외형에 따른 복수의 이미지를 사용자의 인터랙션에 의해 획득함으로써 물체 인식이 가능한 SIDOR 모듈(Spatial Interaction Device Object Recognition Module);
    상기 SIDOR 모듈로부터 획득된 복수의 이미지를 컴퓨터 내에 입력하기 위한 이미지 입력부;
    상기 입력된 복수의 이미지를 연결하여 스티치 이미지를 형성하고, 상기 스티치 미지의 배경을 삭제하는 이미지 스티칭부;
    상기 스티치 이미지와 비교할 다수의 템플렛 이미지의 휴 히스토그램(Hue Histogram)이 저장된 템플렛 이미지(template image) 저장부; 및
    상기 스티치 이미지와 상기 템플렛 이미지를 서로 비교하여 물체 인식을 수행하는 이미지 비교부
    를 포함하는 공간 인터랙션 장치를 이용한 물체 인식 시스템.
  2. 제1항에 있어서, 상기 SIDOR 모듈은,
    사용자의 터치를 인식하는 터치 센서;
    상기 터치에 따라 발광하며, 상기 사용자의 조작에 따라 상기 인식하려는 물체를 가리키기 위한 발광다이오드;
    상기 발광다이오드의 이동에 따라 상기 물체의 외형에 따른 이미지를 촬영하여 획득하는 카메라; 및
    상기 SIDOR 모듈의 물체 인식 동작의 온/오프를 제어하기 위한 스위치
    를 포함하는 공간 인터랙션 장치를 이용한 물체 인식 시스템.
  3. 제1항에 있어서,
    상기 이미지 스티칭부는 상기 사용자의 제스처에 의해 입력된 이미지 중에서 연속된 두 이미지의 움직임 벡터를 구하여 이미지를 스티칭한 뒤 스티치된 이미지의 휴 히스토그램을 매칭하는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 시스템.
  4. 제1항에 있어서,
    상기 이미지 비교부는 상기 템플렛 이미지와 배경이 삭제된 이미지의 색조 히스토그램의 상관을 구하거나, 또는 두 이미지 사이에 컬러 상호발생 히스토그램을 구하여 두 이미지를 매칭시키는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 시스템.
  5. 제4항에 있어서,
    상기 이미지 비교부는 입력 이미지의 휴 히스토그램과 미리 저장되어 있는 템플릿 이미지의 휴 히스토그램의 상관 관계를 구하는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 시스템.
  6. 제4항에 있어서,
    상기 이미지 비교부는 상기 입력 이미지와 비교되는 템플렛 이미지 중에서 가장 높은 상관 값을 갖는 템플렛 이미지가 사용자가 인식하려는 물체라고 판정하는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 시스템.
  7. 사용자의 인터랙션에 의해 물체의 외형에 따른 복수의 이미지를 획득하기 위한 공간 인터랙션 장치의 물체 인식(SIDOR) 모듈에 있어서,
    사용자의 터치를 인식하는 터치 센서;
    상기 터치에 따라 발광하며, 상기 사용자의 조작에 따라 상기 인식하려는 물체를 가리키기 위한 발광다이오드;
    사용자가 상기 발광다이오드를 비추어 물체를 가리키는 경우, 소정 버튼을 눌러 상기 물체의 영상을 획득하는 카메라; 및
    상기 물체 인식 동작의 온/오프를 제어하기 위한 스위치
    를 포함하는 공간 인터랙션 장치의 물체 인식 모듈.
  8. 제7항에 있어서,
    상기 카메라 및 발광다이오드는 함께 고정되어 같이 움직이는 것을 특징으로 하는 공간 인터랙션 장치의 물체 인식 모듈.
  9. 제7항에 있어서,
    상기 SIDOR 모듈은 공간 마우스 내에 탑재되는 것을 특징으로 하는 공간 인터랙션 장치의 물체 인식 모듈.
  10. 사용자의 도움을 얻는 컴퓨터 비전을 이용한 물체 인식 방법에 있어서,
    a) 물체 인식이 가능한 공간 인터랙션 장치를 사용하여 물체의 외형에 따른 복수의 이미지를 사용자의 인터랙션에 의해 획득하는 단계;
    b) 상기 공간 인터랙션 장치로부터 획득된 복수의 이미지를 입력하는 단계;
    c) 상기 입력된 복수의 이미지를 연결한 스티치 이미지를 형성하는 단계;
    d) 상기 연결된 이미지의 배경을 삭제하는 단계;
    e) 기저장된 템플렛 이미지의 휴 히스토그램을 추출하여, 상기 배경이 삭제된 이미지의 휴 히스토그램과 서로 비교하는 단계; 및
    f) 상기 비교 결과에 따라 물체 인식을 수행하는 단계
    를 포함하는 공간 인터랙션 장치를 이용한 물체 인식 방법.
  11. 제10항에 있어서,
    상기 c) 단계는 상기 복수의 이미지들 사이의 이동 벡터를 구하거나, 또는 상기 복수의 이미지의 광 이동량에 따라 움직임 벡터를 구하여 스티치 이미지를 형성하는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 방법.
  12. 제10항에 있어서,
    상기 e) 단계는 상기 템플렛 이미지와 배경이 삭제된 이미지의 색조 히스토그램의 상관을 구하거나, 또는 두 이미지 사이에 컬러 상호발생 히스토그램을 구하여 두 이미지를 매칭시키는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 방법.
  13. 제10항에 있어서, 상기 e) 단계는,
    e-1) 기저장된 템플렛 이미지를 추출하는 단계;
    e-2) 상기 템플렛 이미지와 상기 배경이 삭제된 이미지를 HSV 칼라 모델로 변환하는 단계; 및
    e-3) 상기 두 이미지 각각에 대해 휴 히스토그램의 상관 값을 서로 비교하는 단계
    를 포함하는 공간 인터랙션 장치를 이용한 물체 인식 방법.
  14. 제10항에 있어서,
    상기 f) 단계는 상기 입력 이미지와 비교되는 템플렛 이미지 중에서 가장 높은 상관 값을 갖는 템플렛 이미지가 사용자가 인식하려는 물체라고 판정하는 것을 특징으로 하는 공간 인터랙션 장치를 이용한 물체 인식 방법.
KR1020050012265A 2005-02-15 2005-02-15 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법 KR20050029161A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050012265A KR20050029161A (ko) 2005-02-15 2005-02-15 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050012265A KR20050029161A (ko) 2005-02-15 2005-02-15 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20050029161A true KR20050029161A (ko) 2005-03-24

Family

ID=37385857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050012265A KR20050029161A (ko) 2005-02-15 2005-02-15 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20050029161A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307642B1 (ko) * 2011-12-23 2013-09-12 (주)디지엔터테인먼트 3차원 디지털 사진 촬영 장치
CN105631449A (zh) * 2015-12-21 2016-06-01 华为技术有限公司 一种图片分割方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307642B1 (ko) * 2011-12-23 2013-09-12 (주)디지엔터테인먼트 3차원 디지털 사진 촬영 장치
CN105631449A (zh) * 2015-12-21 2016-06-01 华为技术有限公司 一种图片分割方法、装置及设备

Similar Documents

Publication Publication Date Title
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
US11586292B2 (en) Systems and methods of tracking moving hands and recognizing gestural interactions
JP5122517B2 (ja) ポインティングデバイスに基づくユーザインターフェイスシステム
JP2009134718A5 (ko)
JP7266619B2 (ja) デバイスをキャプチャする画像データの処理および／またはデバイスのインストール環境に基づくデバイスの制御
US20130044912A1 (en) Use of association of an object detected in an image to obtain information to display to a user
US8913037B1 (en) Gesture recognition from depth and distortion analysis
Rahman et al. Motion-path based gesture interaction with smart home services
US11514705B2 (en) Information processing apparatus and non-transitory computer readable medium to allow operation without contact
KR20070043807A (ko) 디바이스를 제어하는 방법
KR20050029161A (ko) 공간 인터랙션 장치를 이용한 물체 인식 시스템 및 그 방법
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
KR20030021988A (ko) 영상처리를 이용한 원격 손가락 조종기
WO2001046941A1 (en) Method and apparatus for vision-based coupling between pointer actions and projected images
Shariff et al. Irus Stylus
CN117668380A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
KR20030021987A (ko) 영상처리를 이용한 무선 Finger Mouse 시스템
KR20100065085A (ko) 적외선 송신 장치를 기반으로 한 동작 인식으로 제어되는 전자기기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application