KR100694283B1 - 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법 - Google Patents

이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법 Download PDF

Info

Publication number
KR100694283B1
KR100694283B1 KR1020040089683A KR20040089683A KR100694283B1 KR 100694283 B1 KR100694283 B1 KR 100694283B1 KR 1020040089683 A KR1020040089683 A KR 1020040089683A KR 20040089683 A KR20040089683 A KR 20040089683A KR 100694283 B1 KR100694283 B1 KR 100694283B1
Authority
KR
South Korea
Prior art keywords
image
surveillance
user
mission
region
Prior art date
Application number
KR1020040089683A
Other languages
English (en)
Other versions
KR20060040846A (ko
Inventor
이동걸
Original Assignee
텔미정보통신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔미정보통신 주식회사 filed Critical 텔미정보통신 주식회사
Priority to KR1020040089683A priority Critical patent/KR100694283B1/ko
Publication of KR20060040846A publication Critical patent/KR20060040846A/ko
Application granted granted Critical
Publication of KR100694283B1 publication Critical patent/KR100694283B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법에 관한 것으로, (a) 영상인식 컴퓨터가 사용자에게 특정 동작을 요구하는 소정 미션 영상 정보와 해당 미션 영상에 상응하는 감시이미지 영역에 관한 설정 정보와 감시이미지 비교 기준인 모션 민감도 정보를 포함하는 미션 파일을 저장하는 단계; (b) 영상인식 컴퓨터가 카메라 장치로부터 촬영되는 사용자의 동영상 이미지를 수신하여 저장하는 단계; (c) 상기 영상인식 컴퓨터가 상기 카메라 장치로부터 수신되는 영상 이미지와 상기 미션 파일의 미션 영상 이미지를 합성하여 디스플레이부를 통해 표시시키는 단계; (d) 상기 영상인식 컴퓨터가 상기 감시영역 설정 정보를 검색하여 현재 출력되는 미션 영상에 상응하는 감시영역에 관한 정보를 추출하고, 수신되는 사용자 촬영 현재 영상 이미지와 그 이전 영상 이미지에서 상기 감시영역 설정 정보에 해당하는 양측의 소정 감시영역을 대비하여 해당 전후 감시영역 이미지의 픽셀값에 변화가 발생하였는지 여부를 비교검사하는 단계; 및 (e) 상기 영상인식 컴퓨터가 전후 감시영역 이미지의 픽셀값에 변화가 발생한 경우, 해당 감시영역 간 픽셀값의 변화값이 상기 모션 민감도의 변화 허용폭 이상이면 해당 사용자가 해당 미션에서 요구하는 동작을 수행했음을 나타내는 동작체크 신호를 생성하는 단계; 를 포함하는 것을 특징으로 한다.

Description

이미지 프로세싱을 이용한 ＰＣ 기반의 영상 인식 방법{METHOD FOR PC BASED IMAGE RECOGNITION USING THE IMAGE PROCESSING}
도 1은 본 발명의 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법이 적용되는 시스템을 나타내는 일예시도.
도 2는 본 발명의 실시예에 따른 영상인식 컴퓨터의 일예시도.
도 3은 본 발명의 실시예에 따른 영상인식 컴퓨터의 디스플레이 상태를 설명하기 위한 도면.
도 4 및 도 5는 본 발명의 실시예에 따른 미션 영상의 타겟 및 감시영역을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법을 나타내는 전체적인 흐름도.
도 7은 본 발명의 실시예에 따른 현재 이미지와 그 이전 이미지의 감시영역간 비교 단계를 나타내는 상세 흐름도.
<도면 주요 부분에 대한 부호의 설명>
100 : 카메라 장치 200 : 영상인식 컴퓨터
210 : 외부 인터페이스 220 : 중앙 제어부
230 : 이미지 저장부 240 : 이미지 비교부
250 : 영상 합성부 260 : 미션 저장부
270 : 디스플레이부 280 : 음향 출력부
본 발명은 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법에 관한 것으로, 보다 상세하게는 웹카메라를 이용해 사용자의 영상 이미지를 획득하고 별도의 미션 영상과 함께 모니터 장치에 출력시키는 한편, 웹카메라를 통해 획득되는 영상 이미지에서 프로그램 미션으로 설정된 소정 영역만을 이전에 획득한 이미지의 동일한 소정 영역과 비교하여 이미지 변화가 발생하였는지 여부로 해당 미션 영상에 대한 사용자의 동작 여부를 실시간으로 체크할 수 있게 됨으로써 기존 영상 인식 방법에 비해 적은 연산 범위와 탁월한 연산 및 진행 속도를 얻을 수 있게 되어 저사양의 PC에서도 원활하게 구동될 수 있게 되는 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법에 관한 것이다.
일반적으로, 최근 다양한 분야에서 각광받고 있는 이미지 프로세싱 기술이란 이미지 장치(예컨데, 디지탈 카메라, 스케너, 피씨 카메라)로 부터 이미지 데이터를 입력 받아 해당 이미지 데이터를 처리하는 일련의 과정을 의미한다.
대표적으로, 이러한 이미지 프로세싱 기술에는 실영상 이미지를 인공 영상의 이미지와 결합시키거나 변형시켜 컴퓨터 예술이나 광고, 오락 등의 분야에 광범위하게 사용되고 있는 이미지 합성(Image Synthesis) 기술과, 영상 이미지 속에 나타 나는 객체를 식별하는 일련의 작업을 일컫는 이미지 분석(Image Analysis) 기술과 그리고 영상 이미지로 주어진 문자나 사람의 지문, 얼굴과 같은 객체를 파악하여 인식하는 작업을 일컫는 이미지 패턴 인식(Image Pattern Recognition) 기술 등이 있다.
특히, 최근에는 대표적 비디오 게임기인 플레이 스테이션 2(Play Station 2 : PS2)에서 이러한 이미지 프로세싱 기술을 응용한 게임 타이틀인 아이토이(Eye Toy)을 출시하여 많은 관심을 모으고 있는데, 이는 해당 게임 타이틀에 동봉되어 판매되는 전용의 USB 카메라를 통해 게임기 본체로 사용자의 영상을 받아들이고 이를 TV에 출력시킴으로써 사용자의 동작 변화를 감지하고, 이러한 동작 변화가 해당 TV 출력 미션 화면에 일치되게 되면 소정 포인트를 부여하는 방식으로 진행되게 된다.
하지만, 상술한 게임에 적용된 이미지 프로세싱 기술은 피사체 즉, 게임 사용자의 움직임이나 동작변화를 인식하기 위하여 해당 전용 USB 카메라를 통해 입력되는 화면 전체에 대하여 이미지 인식을 시도하여 어떤 부분이 변했고 얼마나 변했는가를 추출하여 이를 게임에 적용시킨 것으로, 이와 같이 화면 전체를 연산하여 비교하는 이미지 프로세싱 기술을 상기 플레이 스테이션과 같은 고속 비디오 게임기가 아닌 일반 가정용 PC에서 사용할 경우 해당 PC의 사양이 고사양이 아닌 경우 그 연산범위가 대단히 광범위하다는 한계 때문에 상당한 연상의 끊김 현상이 발생하게 된다. 이는 전체 화면을 연산하는 것이 플레이 스테이션의 하드웨어적인 지원하에서는 원활히 수행이 될 수 있지만, 일반 PC에서는 이러한 연산속도를 뒷받침해 주지 못하기 때문에 결국 동일한 이미지 프로세싱 기술을 사용해서는 이와 같은 영상 끊김 현상은 물론 실제 게임의 진행 자체가 불가능하게 되는 문제점이 있다.
또한, 일반 PC에서 해당 게임을 진행하기 위해서 플레이 스테이션에서와 같이 별도의 전용 USB 카메라를 제작 및 설치해야만 하는 하드웨어 자원문제에 직면하게 되기 때문에 실제 PC에서는 이와 같은 이미지 프로세싱 게임의 활용이 현재 거의 전무한 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 웹카메라를 이용해 사용자의 영상 이미지를 획득하고 별도의 미션 영상과 함께 모니터 장치에 출력시키는 한편, 웹카메라를 통해 획득되는 영상 이미지에서 프로그램 미션으로 설정된 소정 영역만을 이전에 획득한 이미지의 동일한 소정 영역과 비교하여 이미지 변화가 발생하였는지 여부로 해당 미션 영상에 대한 사용자의 동작 여부를 실시간으로 체크할 수 있게 됨으로써 기존 영상 인식 방법과 같이 화면전체를 연산하여 이동에 대한 비교를 하는 것에 비해 적은 연산 범위와 탁월한 연산 및 진행 속도를 얻을 수 있게 되어 저사양의 PC에서도 원활하게 구동될 수 있게 되는 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따른 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법은, (a) 영상인식 컴퓨터가 사용자에게 특정 동작을 요구하는 소정 미션 영상 정보와 해당 미션 영상에 상응하는 감시이미지 영역에 관 한 설정 정보와 감시이미지 비교 기준인 모션 민감도 정보를 포함하는 미션 파일을 저장하는 단계; (b) 영상인식 컴퓨터가 카메라 장치로부터 촬영되는 사용자의 동영상 이미지를 수신하여 저장하는 단계; (c) 상기 영상인식 컴퓨터가 상기 카메라 장치로부터 수신되는 영상 이미지와 상기 미션 파일의 미션 영상 이미지를 합성하여 디스플레이부를 통해 표시시키는 단계; (d) 상기 영상인식 컴퓨터가 상기 감시영역 설정 정보를 검색하여 현재 출력되는 미션 영상에 상응하는 감시영역에 관한 정보를 추출하고, 수신되는 사용자 촬영 현재 영상 이미지와 그 이전 영상 이미지에서 상기 감시영역 설정 정보에 해당하는 양측의 소정 감시영역을 대비하여 해당 전후 감시영역 이미지의 픽셀값에 변화가 발생하였는지 여부를 비교검사하는 단계; 및 (e) 상기 영상인식 컴퓨터가 전후 감시영역 이미지의 픽셀값에 변화가 발생한 경우, 해당 감시영역 간 픽셀값의 변화값이 상기 모션 민감도의 변화 허용폭 이상이면 해당 사용자가 해당 미션에서 요구하는 동작을 수행했음을 나타내는 동작체크 신호를 생성하는 단계; 를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제 (b) 단계 이전에, 상기 영상인식 컴퓨터가 영상 이미지에서 전후 감시영역 간 변화 여부를 판별할 수 있는 기준인 모션 민감도에 대한 설정을 사용자에게 제안하고 해당 사용자로부터 입력되는 소정 모션 민감도에 관한 사용자 입력 정보를 수신하여 감시영역 비교 기준 정보로서 설정하는 단계; 를 더 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 제 (e) 단계 이후에, 상기 영상인식 컴퓨터가 해당 미션 시나리오를 통해 상기 동작 체크신호에 따른 사용자의 동작이 해당 미션에서 요구하는 동작인 경우, 해당 사용자가 해당 미션에서 요구하는 동작을 수행했음을 해당 사용자에게 영상 및 음향으로 알리고 해당 요구 동작 수행에 따른 포인트를 해당 사용자에게 부여하는 단계; 를 더 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 제 (d) 단계는, (d-1) 상기 영상인식 컴퓨터가 상기 카메라 장치로부터 수신되는 사용자 촬영 영상 이미지를 순차적으로 일시 저장시키는 단계; (d-2) 상기 영상인식 컴퓨터가 상기 미션 파일에서 현재 디스플레이부에서 표시되는 미션 영상에 상응하는 소정 감시영역에 대한 설정정보를 검색하는 단계; (d-3) 상기 영상인식 컴퓨터가 상기 검색된 감시영역 설정정보를 이용하여 현재 영상 이미지에서의 소정 감시영역 이미지와 해당 현재 영상 이미지의 이전 영상 이미지에서의 동일 감시영역 이미지를 비교해 해당 감시영역 내 픽셀값의 변화가 발생하였는지 여부를 판단하는 단계; 및 (d-4) 상기 영상인식 컴퓨터가 해당 감시영역 내 픽셀값의 변화가 발생한 경우, 전후 감시영역 이미지의 픽셀 변화값을 산정하는 단계; 를 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 감시영역의 변화 여부에 대한 판별 기준이 되는 픽셀값은 픽셀의 RGB 값인 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
이하에서 본 발명은 웹카메라를 이용해 사용자의 영상 이미지를 획득하고 별도의 미션 영상과 함께 모니터 장치에 출력시키는 한편, 웹카메라를 통해 획득되는 영상 이미지에서 프로그램 미션으로 설정된 소정 영역만을 이전에 획득한 이미지의 동일한 소정 영역과 비교하여 이미지 변화가 발생하였는지 여부로 해당 미션 영상에 대한 사용자의 동작 여부를 실시간으로 체크할 수 있게 됨으로써 기존 영상 인식 방법과 같이 화면전체를 연산하여 이동에 대한 비교를 하는 것에 비해 적은 연산 범위와 탁월한 연산 및 진행 속도를 얻을 수 있게 되어 저사양의 PC에서도 원활하게 구동될 수 있게 되는 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법을 바람직한 실시예로 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법이 적용되는 시스템을 나타내는 일예시도이다.
본 발명본 발명의 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법이 적용되는 시스템은 사용자의 영상을 촬영하는 카메라 장치(100)와 상기 카메라 장치(100)로부터 촬영된 사용자 영상 이미지를 수신해 미션 영상과 합성하여 출력시키는 한편 해당 사용자 영상 이미지를 통해 사용자의 동작 변화를 감지하고 이러한 동작 변화가 주어진 미션에서 요구하는 동작인지 여부를 판별해 해당 미션을 진행시키는 영상인식 컴퓨터(200)로 구성된다.
도 1을 참조하여 본 발명의 실시예에 따른 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법이 적용되는 시스템에 대해 좀더 상세하게 설명하면,
상기 카메라 장치(100)는 해당 미션의 수행시 피사체인 해당 사용자를 촬영하고 해당 촬영 영상 이미지를 상기 영상인식 컴퓨터(200)로 전송하는 역할을 수행하는 바, 이러한 카메라 장치(100)는 일반적인 PC에서 별도의 하드웨어적인 기술 없이 즉시 채용 가능한 웹캠(WebCam)(혹은 PC 카메라나 USB 카메라)인 것이 바람직하지만, 촬영된 영상 이미지를 디지털화해 소정 인터페이스를 통해 컴퓨터로 전송할 수 있는 일반적인 디지털 카메라이면 관계없다.
한편, 상기 영상인식 컴퓨터(200)는 상기 카메라 장치(100)로부터 촬영된 사용자의 영상 이미지를 수신하고 이를 소정 미션 화면과 조합하여 출력시켜 사용자에게 제공하는 한편 해당 미션 화면에서 요구하는 동작을 해당 사용자가 실제 수행하였는지 여부를 인식하여 해당 미션을 진행시키는 역할을 수행하는 바, 도 2에 도시된 바와 같이 외부 인터페이스(210), 중앙 제어부(220), 이미지 저장부(230), 이미지 비교부(240), 영상 합성부(250), 미션 저장부(260), 디스플레이부(270), 및 음향 출력부(280)로 구성된다.
상기 외부 인터페이스(210)는 상기 카메라 장치(100)로부터 전송되는 사용자 촬영 영상 이미지 데이터를 수신하게 되는데, 이러한 외부 카메라 장치(100)와 영상인식 컴퓨터(200) 간 영상 데이터의 원활한 전송을 위해서 고속 데이터 전송이 가능한 USB(Universal Serial Bus) 규격의 인터페이스가 사용되는 것이 바람직하다.
상기 이미지 저장부(230)는 상기 외부 인터페이스(210)를 통해 수신된 촬영 영상 이미지를 저장하게 된다. 이때, 이러한 입력 영상 이미지들을 저장하기 위한 상기 이미지 저장부(230)는 해당 PC의 메모리상의 일정 부분을 사용하게 되는 버퍼로 이루어지게 되며 영상 이미지가 입력되는 시간별로 순차적으로 해당 영상 이미지들을 저장하게 되는데, 동영상 이미지의 특성상 원활한 이미지 데이터의 사용을 위해 해당 이미지 저장부(230)는 환형 버퍼(circular buffer)로 구성되는 것이 바람직하다.
한편, 상기 미션 저장부(260)는 해당 영상 인식 게임을 진행하기 위한 미션 파일이 저장되게 된다. 이때, 이러한 미션 파일은 상기 디스플레이부(270)에 표시시켜 사용자에게 특정 동작을 요구하게 되는 소정 미션 영상과 해당 미션 영상에 상응하는 감시이미지 영역에 대한 설정 정보를 포함하게 된다.
즉, 상기 미션 파일에 포함되는 상기 미션 영상이라 함은 디스플레이부(270)에 표시되는 보조 영상으로서, 해당 미션 영상이 상기 디스플레이부(270)에 사용자의 영상과 함께 디스플레이됨으로써 해당 사용자에게 신체를 움직여 특정 동작을 수행하도록 유도하는 것으로, 도 3에 이와 같은 미션 영상의 일예가 도시되어 있다.
도 3a는 상기 카메라 장치(100)로부터 수신된 사용자의 실제 촬영 영상 이미지이고 이러한 촬영 영상 이미지는 상기 디스플레이부(270)에 디스플레이되게 된다.
또한, 도 3b는 상술한 미션 영상의 일예이고 이러한 미션 영상 역시 상기 디스플레이부(270)에 디스플레이되게 된다.
이와 같이, 상기 사용자의 실제 촬영 영상 이미지와 미션 영상은 상기 영상 합성부(250)를 통해 합성되어 도 3c와 같이 하나의 화면상에 동시에 표시되게 되는데, 이러한 디스플레이부(270)의 영상을 통해 자신의 현재 모습과 미션 영상을 동시에 인지하게 되는 사용자는 해당 미션 영상에서 요구하는 동작(예컨데, 손을 들 어 공을 쳐내는 동작)을 실제 수행하면서 이에 따른 자신의 동작 변화 모습과 미션 영상의 변화 모습을 즉시 해당 디스플레이부(270)를 통해 실시간으로 확인할 수 있게 된다.
또한, 상기 미션 파일에 포함되는 감시이미지 영역에 대한 설정 정보라 함은 상기 미션 영상 중 해당 사용자가 실제 동작하여 디스플레이부(270)를 통해 투영되는 자신의 신체로 터치해야 하는 소정 타겟에 관한 영역 설정정보를 나타내는 것으로, 일예로 상기 도 3b 및 도 3c에 도시된 축구공은 해당 사용자가 디스플레이부(270)를 통해 투영되는 자신의 신체로 터치해야 하는 타겟이 된다.
이때, 상기 미션 영상으로서 디스플레이되는 타겟에 대하여 해당 타겟의 표시 크기에 상응하는 이미지내 영역은 감시영역으로 상기 감시영역 설정정보에 저장되어 있게 된다. 따라서 비록 사용자가 디스플레이부(270)를 통해 투영되는 자신의 신체로 상기 타겟을 터치하게 되지만, 실제로 상기 영상인식 컴퓨터(200)에서는 상기 타겟에 상응하는 상기 감시영역만을 대상으로 그 감시영역 이미지의 변화여부를 체크하게 되는 것이다.
이러한 감시영역 인식을 통한 영상 인식 방법을 보다 상세하게 설명하면, 상기 영상인식 컴퓨터(200)는 사용자의 동작 영상과 미션 영상을 상기 영상 합성부(250)를 통해 합성하여 동시에 디스플레이부(270)로 출력시키는 한편, 촬영된 사용자의 동작 영상 이미지들을 상기 이미지 저장부(230)에 순차적으로 실시간 저장시키게 된다. 그리고 상기 미션 영상에서 타겟이 나타나게 되는 시기에 상기 영상인식 컴퓨터(200)는 상기 이미지 비교부(240)를 통해 상기 이미지 저장부(230)에 저 장되는 해당 사용자의 영상 이미지 중 해당 타겟에 상응하는 감시영역을 그 이전 영상 이미지 중 해당 타겟에 상응하는 감시영역과 계속적으로 비교하여, 양측의 변화가 발생하면 이를 사용자가 타겟을 터치한 것으로 판단하게 되는 것이다.
이때, 상기 이미지 비교부(240)에는 해당 전후 감시영역의 변화 여부를 판별하기 위한 기준인 모션 민감도가 미리 설정되어 있게 되며, 이러한 모션 민감도를 기준으로 상기 이미지 비교부(240)는 전후 감시영역을 비교하여 실제 동작여부를 판별하게 된다.
이때, 이러한 미션 영상의 타겟과 이에 상응하는 감시영역에 대한 일예가 도 4a 및 도 4b에 도시되어 있다.
상기 도 4a를 참조하면, 축구공 형상으로 표현된 타겟(10)이 미션 영상의 일부로서 디스플레이부(270)에 실제 표시되게 된다. 그리고 이러한 미션 영상에 대하여 상기 미션 파일에는 해당 축구공의 크기에 상응하는 감시영역(20)이 미리 설정되어 있다. 따라서 사용자가 도 4b에 도시된 바와 같이 상기 타겟(10)인 축구공을 모니터상의 자신의 신체로 터치하게 되면, 이러한 사용자의 동작을 모두 촬영한 상기 카메라 장치(100)로부터 수신되어 저장되는 영상 이미지들로부터 상기 이미지 비교부(240)를 통해 전후간 영상 이미지 중 상기 감시영역(20)만을 서로 비교하여 해당 감시영역(20)에 이미지 변화가 발생하는지 여부를 감시 중이던 해당 영상인식 컴퓨터(200)는 이를 해당 사용자가 타겟(10)을 터치한 것으로 인식할 수 있게 되는 것이다.
또한, 이러한 미션 영상의 타겟(10) 및 이에 상응하는 감시영역(20)은 단순 히 해당 화면에 정지되어 있지만은 않은 바, 도 5a 및 도 5b에 이러한 미션 영상의 유동 타겟(10)과 이에 상응하는 유동 감시영역(20)에 대한 일예가 도시되어 있다.
상기 도 5a를 참조하면, 새 형상으로 표현된 유동 타겟(10)이 미션 영상의 일부로서 디스플레이부(270)에 표시되어 실제 새의 움직임과 같이 화면상에서 움직이게 된다. 그리고 이러한 미션 영상에 대하여 상기 미션 파일에는 해당 새의 크기에 상응하는 감시영역(20) 및 그 유동좌표가 미리 설정되어 있다. 따라서 사용자가 도 5b에 도시된 바와 같이 상기 타겟(10)인 움직이는 새를 모니터상의 자신의 신체로 터치하게 되면, 이러한 사용자의 동작을 모두 촬영한 상기 카메라 장치(100)로부터 수신되는 영상 이미지들로부터 전후간 영상 이미지 중 해당 감시영역(20)만을 서로 비교하여 해당 감시영역(20)에 이미지 변화가 발생하는지 여부를 감시 중이던 해당 영상인식 컴퓨터(200)는 이를 해당 사용자가 타겟을 터치한 것으로 인식할 수 있게 되는 것이다.
이때, 상기 감시영역(20)에 대한 이미지 변화를 인식할 수 있는 방법으로, 해당 감시영역과 그 이전 감시영역을 비교하여 그 픽셀값의 변화 즉, RGB 값의 변화를 통해 해당 감시영역 간 이미지 변화 여부를 알 수 있게 된다.
한편, 상기 음향 출력부(280)는 해당 미션에서 발생하는 일반 진행음향과 해당 사용자가 미션에서 요구하는 동작을 수행하는 경우 발생하는 격려음향 등을 외부로 출력시키게 된다.
이와 같은, 본 발명의 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법에 대하여 본 실시예에서 사용자가 PC 모니터를 통해 즐기는 모션 게임으로 설명하 였지만, 본 발명의 원리는 이에 제한되지 않고 PC를 이용하여 사용자의 영상 데이터를 통해 사용자의 동작 여부를 인식하는 다양한 동영상 인식 과정에 적용될 수 있다.
본 발명의 전체적인 흐름을 도 6을 참조하여 설명하면 다음과 같다.
도 6은 본 발명의 실시예에 따른 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법을 나타내는 전체적인 흐름도이다.
우선, 상기 영상인식 컴퓨터(200)의 중앙 제어부(220)는 영상 이미지에서 전후 감시영역 간 변화 여부를 판별할 수 있는 기준인 모션 민감도에 대한 설정을 사용자에게 제안하고 해당 사용자로부터 입력되는 소정 모션 민감도에 관한 사용자 입력 정보를 수신하여 이를 상기 이미지 비교부(240)에 감시영역 비교 기준 정보로서 설정한다(S10).
즉, 상기 모션 민감도는 상기 이미지 비교부(240)가 이미지 저장부(230)에 저장되는 사용자의 영상 이미지들에서 감시영역들을 순차적으로 계속 비교하여 그 변화 여부를 판별할 수 있는 기준이 되는 정보로서, 본 실시예에서 이러한 모션 민감도는 픽셀값 즉, RGB 값이 될 수 있다. 따라서 사용자는 감시영역의 픽셀값의 변화 허용폭을 설정하게 됨으로써 해당 허용폭을 넘어서는 픽셀값의 변화가 발생하면 이를 해당 이미지 비교부(240)가 사용자 동작으로 인식하도록 하게 된다.
이러한 모션 민감도에 대한 사용자 설정은 해당 모션 게임이 진행되는 다양한 환경(사용자 주변 색상, 사용자 옷의 색상)에 따라 해당 모션 민감도의 설정에 변화를 줄 수 있게 되어 보다 확실한 영상변화 인식을 가능하게 한다.
일예로, 사용자가 흰 옷을 입고 있고 해당 사용자의 주변 배경이 흰색인 경우에는 사용자의 움직임 여부를 픽셀의 변화로 판단하기에 무리가 있을 수 있으므로 보다 해당 민감도의 변화 허용폭을 적게 설정함으로써 주변환경에 따른 적절한 영상변화의 인식이 가능하게 된다.
다음으로, 상기 영상인식 컴퓨터(200)의 중앙 제어부(220)는 상기 카메라 장치(100)로부터 촬영되는 사용자의 영상 이미지를 계속적으로 수신하고, 이를 상기 이미지 저장부(230)에 영상 이미지 데이터로 시간별로 순차적으로 저장하게 된다(S20).
상기 중앙 제어부(220)는 상기 카메라 장치(100)로부터 촬영되는 영상 이미지와 상기 미션 저장부(260)에 기저장된 미션 파일에 포함된 미션 영상 이미지를 상기 영상 합성부(250)를 통해 합성하고 이를 상기 디스플레이부(250)로 출력시켜 사용자가 디스플레이부(250)를 통해 자신의 현재 영상과 자신이 수행해야하는 미션 영상을 동시에 확인할 수 있도록 한다(S30).
상기 중앙 제어부(220)는 상기 미션 저장부(260)에서 감시영역 설정 정보를 검색하여 현재 출력되고 있는 미션 영상에 상응하는 감시영역에 관한 정보를 추출하고, 상기 이미지 저장부(230)에 축적되는 데이터인 사용자 촬영 영상 이미지에서 현재 영상 이미지와 그 이전 영상 이미지에서 상기 감시영역 이미지 양측에 대하여 상기 이미지 비교부(240)를 통해 대비하여 전후 감시영역 이미지의 픽셀값에 변화가 발생하였는지 여부를 비교검사함으로써, 전후 사용자 영상 이미지에서 소정 감시영역에 변화가 발생하였는지 여부를 비교하게 된다(S40).
이때, 이와 같은 사용자 영상 이미지의 감시영역에 대한 비교 기준은 영역 내 픽셀값의 변화여부 즉 RGB값의 변화 여부인 것이 바람직하다.
상기 중앙 제어부(220)는 상기 S40 단계의 비교 결과 전후 사용자 영상 이미지에서 소정 감시영역의 픽셀값에 변화가 발생하면, 상기 이미지 비교부(240)를 통해 해당 감시영역의 픽셀값 변화폭이 기설정된 모션 민감도의 변화 허용폭 이상인지 여부를 판단한다(S50).
상기 제 S50 단계의 판단결과, 해당 감시영역의 픽셀값 변화폭이 기설정된 모션 민감도의 변화 허용폭 미만인 경우, 상기 중앙 제어부(220)는 절차를 상기 제 S40 단계로 이행하여 계속적으로 전후 영상 이미지 간 감시영역을 비교하게 된다.
한편, 상기 제 S50 단계의 판단결과, 해당 감시영역의 픽셀값 변화폭이 기설정된 모션 민감도의 변화 허용폭 이상인 경우, 상기 중앙 제어부(220)는 해당 사용자가 해당 미션 영상의 타겟을 모니터상에서 자신의 신체로 터치하였음을 나타내는 동작 체크신호를 생성한다(S60).
상기 중앙 제어부(220)는 해당 미션 시나리오를 통해 상기 동작 체크신호에 따른 사용자의 동작이 해당 미션에서 요구하는 동작인지 여부를 판단한다(S70).
상기 제 S70 단계의 판단결과, 사용자의 동작이 해당 미션에서 요구하는 동작이 아닌 경우, 상기 중앙 제어부(220)는 상기 제 S40 단계로 절차를 이행하여 계속적으로 전후 영상 이미지 간 감시영역을 비교하게 된다.
한편, 상기 제 S70 단계의 판단결과, 사용자의 동작이 해당 미션에서 요구하는 동작인 경우, 상기 중앙 제어부(220)는 해당 사용자가 해당 미션에서 요구하는 동작을 수행했음을 해당 사용자에게 상기 디스플레이부(270) 및 음향 출력부(280)를 통해 영상 및 음향으로 알리는 한편, 해당 요구 동작 수행에 따른 포인트를 해당 사용자에게 부여하게 되는 일반 게임 포인트 적립 과정을 수행하게 된다(S80).
한편, 상기 제 S40 단계인 현재 이미지와 그 이전 이미지의 감시영역간 비교 단계에 대해 도 7을 참조하여 상세하게 설명하면 다음과 같다.
도 7은 본 발명의 실시예에 따른 현재 이미지와 그 이전 이미지의 감시영역간 비교 단계를 나타내는 상세 흐름도이다.
우선, 상기 영상인식 컴퓨터(200)의 중앙 제어부(220)는 상기 카메라 장치(100)로부터 수신되는 사용자 촬영 영상 이미지를 해당 PC의 메모리상의 일정 부분을 사용하게 되는 버퍼로 이루어진 상기 이미지 저장부(230)에 일시 저장시킨다(S41).
상기 중앙 제어부(220)는 상기 미션 저장부(260)의 미션 파일에서 현재 디스플레이부(270)에서 표시되는 미션 영상에 상응하는 소정 감시영역에 대한 설정정보를 검색한다(S42).
이때, 상기 감시영역에 대한 설정정보는 해당 화면에서 상기 감시영역이 차지하는 영역의 좌표 및 크기에 관한 정보이다. 이는 해당 감시영역이 화면에서 유동하는 경우라 하더라도 동일하며, 별도의 이동좌표가 추가될 수 있다.
상기 중앙 제어부(220)는 상기 검색된 감시영역 설정정보를 이용하여 상기 이미지 비교부(240)를 통해 상기 이미지 저장부(230)에 저장되는 현재 영상 이미지에서의 소정 감시영역 이미지와 이러한 현재 영상 이미지의 이전 영상 이미지에서 의 동일 감시영역 이미지를 비교한다(S43).
상기 중앙 제어부(220)는 상기 제 S42 단계를 통하여 비교 대상이 된 전후 감시영역 이미지의 관계에서 해당 감시영역 내 픽셀값의 변화가 발생하였는지 여부를 판단한다(S44).
이때, 상기 S44 단계에서 감시영역 이미지 간 변화발생 여부의 판단 기준이 되는 픽셀값은 RGB 값인 것이 바람직하다.
상기 제 S44 단계의 판단결과, 해당 감시영역 내 픽셀값의 변화가 발생하지 않은 경우, 상기 중앙 제어부(220)는 상기 제 S41 단계로 절차를 이행한다.
한편, 상기 제 S44 단계의 판단결과, 해당 감시영역 내 픽셀값의 변화가 발생한 경우, 상기 중앙 제어부(220)는 상기 이미지 비교부(240)를 통해 전후 감시영역 이미지의 픽셀 변화정도, 즉 픽셀 변화값을 산정한다(S45).
상기 중앙 제어부(220)는 상기 제 S45 단계를 통하여 산정된 전후 감시영역 간 픽셀 변화값과 상기 이미지 비교부(240)에 기설정된 모션 민감도 즉, 감시영역의 픽셀값의 변화 허용값을 직접 비교하여(S46), 상기 기술된 바와 같이 해당 비교 결과 전후 감시영역 간 픽셀 변화값이 모션 민감도 이상으로 변화된 경우 이를 사용자가 미션에서 요구한 동작을 수행한 것으로 판단하게 되는 것이다.
이상에서 살펴본 바와 같이, 본 발명에 나타난 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법은 웹카메라를 이용해 사용자의 영상 이미지를 획득하고 별도의 미션 영상과 함께 모니터 장치에 출력시키는 한편, 웹카메라를 통해 획득되는 영상 이미지에서 프로그램 미션으로 설정된 소정 영역만을 이전에 획득한 이미지의 동일한 소정 영역과 비교하여 이미지 변화가 발생하였는지 여부로 해당 미션 영상에 대한 사용자의 동작 여부를 실시간으로 체크할 수 있게 됨으로써 기존 영상 인식 방법과 같이 화면전체를 연산하여 이동에 대한 비교를 하는 것에 비해 적은 연산 범위와 탁월한 연산 및 진행 속도를 얻을 수 있게 되어 저사양의 PC에서도 원활하게 구동될 수 있게 되는 효과가 있다.
또한, 사용자별, 또는 패키지별로 미리 모션 민감도를 셋팅할 수 있게 되어 사용환경에 따라 보다 확실한 영상인식이 가능하게 되는 효과도 있다.

Claims (5)

  1. (a-1) 영상인식 컴퓨터가 사용자에게 특정 동작을 요구하는 소정 미션 영상 정보와 해당 미션 영상에 상응하는 감시이미지 영역에 관한 감시영역의 영역좌표, 영역크기 및 영역이동좌표를 포함하는 설정 정보와 감시이미지 비교 기준으로 게임 진행시 상기 감시영역들을 순차적으로 계속 비교하여 그 변화 여부를 판별할 수 있는 기준으로서 해당 감시영역의 픽셀값의 변화 허용폭을 결정하는 모션 민감도 정보를 포함하는 미션 파일을 저장하는 단계;
    (a-2) 상기 영상인식 컴퓨터가 카메라 장치를 통해 사용자 및 그 주변 배경을 촬영하여 하나의 화면으로 디스플레이부에 표시시키고, 게임 중 영상 이미지에서 전후 감시영역 간 변화 여부를 판별할 수 있는 기준인 모션 민감도에 대한 설정을 사용자 상과 주변 상의 색상이 유사할수록 민감도를 높이고 사용자 상과 주변 상의 색상이 상이할수록 민감도를 낮춰 설정하도록 사용자에게 제안하며, 해당 사용자로부터 직접 입력되는 소정 모션 민감도에 관한 사용자 입력 정보를 수신하여 감시영역의 변화여부를 판별할 수 있는 비교 기준 정보로서 해당 감시영역에 대한 픽셀값의 변화 허용폭을 사용자가 사신의 주변환경에 따라 직접 설정하는 단계;
    (b) 영상인식 컴퓨터가 카메라 장치로부터 촬영되는 사용자의 동영상 이미지를 수신하여 저장하는 단계;
    (c) 상기 영상인식 컴퓨터가 상기 카메라 장치로부터 수신되는 영상 이미지와 상기 미션 파일의 미션 영상 이미지를 합성하여 하나의 화면상에 디스플레이부를 통해 표시시키는 단계;
    (d) 상기 영상인식 컴퓨터가 상기 감시영역 설정 정보를 검색하여 현재 출력되는 미션 영상에 상응하는 감시영역에 관한 영역좌표, 영역크기 및 영역이동좌표 정보를 추출하고, 수신되는 사용자 촬영 현재 영상 이미지와 그 이전 영상 이미지에서 상기 감시영역 설정 정보에 해당하는 양측의 소정 감시영역만을 대비하여 해당 전후 감시영역 이미지의 픽셀값에 변화가 발생하였는지 여부를 비교검사하는 단계; 및
    (e) 상기 영상인식 컴퓨터가 전후 감시영역 이미지의 픽셀값에 변화가 발생한 경우, 해당 감시영역 간 픽셀값의 변화값을 산정하고 해당 변화값이 해당 사용자가 기선정한 상기 모션 민감도의 변화 허용폭 이상이면 해당 사용자가 해당 미션에서 요구하는 동작을 수행했음을 나타내는 동작체크 신호를 생성하는 단계; 를 포함하되,
    상기 감시영역의 변화 여부에 대한 판별 기준이 되는 픽셀값은 픽셀의 RGB 값인 것을 특징으로 하는 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제 (e) 단계 이후에,
    상기 영상인식 컴퓨터가 해당 미션 시나리오를 통해 상기 동작 체크신호에 따른 사용자의 동작이 해당 미션에서 요구하는 동작인 경우, 해당 사용자가 해당 미션에서 요구하는 동작을 수행했음을 해당 사용자에게 영상 및 음향으로 알리고 해당 요구 동작 수행에 따른 포인트를 해당 사용자에게 부여하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법.
  4. 제 1항 또는 제 3항에 있어서,
    상기 제 (d) 단계는,
    (d-1) 상기 영상인식 컴퓨터가 상기 카메라 장치로부터 수신되는 사용자 촬영 영상 이미지를 순차적으로 일시 저장시키는 단계;
    (d-2) 상기 영상인식 컴퓨터가 상기 미션 파일에서 현재 디스플레이부에서 표시되는 미션 영상에 상응하는 소정 감시영역에 대한 설정정보를 검색하는 단계;
    (d-3) 상기 영상인식 컴퓨터가 상기 검색된 감시영역 설정정보를 이용하여 현재 영상 이미지에서의 소정 감시영역 이미지와 해당 현재 영상 이미지의 이전 영상 이미지에서의 동일 감시영역 이미지를 비교해 해당 감시영역 내 픽셀값의 변화가 발생하였는지 여부를 판단하는 단계; 및
    (d-4) 상기 영상인식 컴퓨터가 해당 감시영역 내 픽셀값의 변화가 발생한 경우, 전후 감시영역 이미지의 픽셀 변화값을 산정하는 단계; 를 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 PC 기반의 영상 인식 방법.
  5. 삭제
KR1020040089683A 2004-11-05 2004-11-05 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법 KR100694283B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040089683A KR100694283B1 (ko) 2004-11-05 2004-11-05 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040089683A KR100694283B1 (ko) 2004-11-05 2004-11-05 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법

Publications (2)

Publication Number Publication Date
KR20060040846A KR20060040846A (ko) 2006-05-11
KR100694283B1 true KR100694283B1 (ko) 2007-03-14

Family

ID=37147632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040089683A KR100694283B1 (ko) 2004-11-05 2004-11-05 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법

Country Status (1)

Country Link
KR (1) KR100694283B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385491B1 (ko) * 2013-01-15 2014-04-15 (주)퍼니글루 이미지 처리장치 및 그 이미지 처리방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998047117A1 (en) 1997-04-14 1998-10-22 Koninklijke Philips Electronics N.V. A security system with maskable motion detection and camera with an adjustable field of view
US6128047A (en) 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
KR20010027533A (ko) * 1999-09-14 2001-04-06 김운용 비디오 게임장치 및 그 제어방법
KR20020046862A (ko) * 2000-12-15 2002-06-21 박기봉 카메라를 이용한 동작비교장치 및 그 비교방법
JP2005319191A (ja) * 2004-05-11 2005-11-17 Namco Ltd ゲームシステム、プログラム、情報記憶媒体および画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998047117A1 (en) 1997-04-14 1998-10-22 Koninklijke Philips Electronics N.V. A security system with maskable motion detection and camera with an adjustable field of view
US6128047A (en) 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
KR20010027533A (ko) * 1999-09-14 2001-04-06 김운용 비디오 게임장치 및 그 제어방법
KR20020046862A (ko) * 2000-12-15 2002-06-21 박기봉 카메라를 이용한 동작비교장치 및 그 비교방법
JP2005319191A (ja) * 2004-05-11 2005-11-17 Namco Ltd ゲームシステム、プログラム、情報記憶媒体および画像生成方法

Also Published As

Publication number Publication date
KR20060040846A (ko) 2006-05-11

Similar Documents

Publication Publication Date Title
US9607213B2 (en) Body scan
US9519970B2 (en) Systems and methods for detecting a tilt angle from a depth image
US8660310B2 (en) Systems and methods for tracking a model
US8452051B1 (en) Hand-location post-process refinement in a tracking system
JP6355829B2 (ja) ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置
US8081822B1 (en) System and method for sensing a feature of an object in an interactive video display
US8864581B2 (en) Visual based identitiy tracking
US9069381B2 (en) Interacting with a computer based application
RU2720356C1 (ru) Устройство управления, способ управления и носитель хранения
US8866898B2 (en) Living room movie creation
JP2002196855A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20090251421A1 (en) Method and apparatus for tactile perception of digital images
US8605205B2 (en) Display as lighting for photos or video
US20100295771A1 (en) Control of display objects
JP2008059283A (ja) 操作検出装置とそのプログラム
CN103502910B (zh) 用于操作激光二极管的方法
KR100694283B1 (ko) 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법
JP4824409B2 (ja) 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
EP3813018A1 (en) Virtual object operating system and virtual object operating method
JP2004280856A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JPH0968409A (ja) 位置認識方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee