KR101156753B1 - 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법 - Google Patents

휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법 Download PDF

Info

Publication number
KR101156753B1
KR101156753B1 KR1020100038672A KR20100038672A KR101156753B1 KR 101156753 B1 KR101156753 B1 KR 101156753B1 KR 1020100038672 A KR1020100038672 A KR 1020100038672A KR 20100038672 A KR20100038672 A KR 20100038672A KR 101156753 B1 KR101156753 B1 KR 101156753B1
Authority
KR
South Korea
Prior art keywords
roi
pixels
frame
subject
portable terminal
Prior art date
Application number
KR1020100038672A
Other languages
English (en)
Other versions
KR20110119145A (ko
Inventor
김유석
김성식
조동원
차상호
Original Assignee
팬터로그인터액티브 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팬터로그인터액티브 주식회사 filed Critical 팬터로그인터액티브 주식회사
Priority to KR1020100038672A priority Critical patent/KR101156753B1/ko
Publication of KR20110119145A publication Critical patent/KR20110119145A/ko
Application granted granted Critical
Publication of KR101156753B1 publication Critical patent/KR101156753B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명에 따른 휴대용 단말 장치는 상기 휴대용 단말 장치에 구비된 카메라 모듈을 통해 입력되는 촬영 영상을 프레임 단위로 관리하는 촬영 영상 관리부, 상기 입력된 영상의 제 1 프레임과 제 2 프레임의 휘도 정보의 변경 여부에 기초하여 상기 휴대용 단말 장치 자체의 움직임을 검출하는 단말 움직임 검출부, 상기 제 1 프레임 및 제 2 프레임의 관심 영역에 포함된 픽셀의 휘도 정보 또는 색차 정보에 기초하여, 피사체의 모션을 검출하는 피사체 모션 검출부 및 상기 검출된 피사체의 모션을 상기 휴대용 단말 장치에서 구동되는 애플리케이션의 제어신호로서 변환하는 제어신호 생성부를 포함한다.

Description

휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법{PORTABLE TERMINAL DEVICE AND METHOD FOR MOTION DETECTING USING THE SAME}
본 발명은 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법에 관한 것이다.
최근 들어, 휴대용 단말기의 성능이 향상됨에 따라, 휴대용 단말기를 통해 처리할 수 있는 애플리케이션의 종류도 증가하고 있다. 예를 들어, 휴대용 단말기에 탑재되는 CPU의 처리속도 및 메모리 용량이 증가되고 있고, GPS 모듈, 카메라 모듈 또는 블루투스 모듈 등 각종 부가 모듈들이 추가되면서, 통신 기능 외에 각종 부가 기능을 수행할 수 있게 되었다. 특히, PDA 나 스마트 폰 등과 같이 고성능의 휴대용 단말의 사용자들은 부가 기능을 수행하는 애플리케이션을 주요 기능으로서 사용하고 있다.
이러한 애플리케이션의 발전과 함께 대두되고 있는 기술로서, 증강현실(Augmented Reality, AR) 기술이 알려져 있다. 증강현실기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐서 보여주는 기술이다. 현실세계를 보여주는 영상에 부가정보를 갖는 가상세계의 영상을 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만, 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. 예를 들어 휴대용 단말에 구비된 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다.
본 발명은 휴대용 단말에 대한 것으로, 특히 카메라를 통해 입력되는 피사체의 모션을 인식할 수 있도록 하는 구성에 관한 것이다. 즉, 피사체의 모션을 인식하여, 이를 애플리케이션의 입력신호로서 사용할 수 있도록 한다. 또한, 피사체의 모션을 인식하는 과정에서 피사체가 아닌 휴대용 단말 자체가 움직이는 경우, 이러한 움직임이 애플리케이션의 입력신호로서 입력되는 것을 방지하고자 한다.
본 발명의 일부 실시예는 휴대용 단말 장치를 통해 피사체의 움직임을 검출하는 과정에서, 휴대용 단말 자체의 움직임을 검출할 수 있는 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법을 제공한다.
또한, 본 발명의 다른 실시예는 휴대용 단말 장치를 통해 검출된 피사체의 모션을 애플리케이션의 제어신호로서 사용할 수 있는 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 휴대용 단말 장치는 상기 휴대용 단말 장치에 구비된 카메라 모듈을 통해 입력되는 촬영 영상을 프레임 단위로 관리하는 촬영 영상 관리부, 상기 입력된 영상의 제 1 프레임과 제 2 프레임의 휘도 정보의 변경 여부에 기초하여 상기 휴대용 단말 장치 자체의 움직임을 검출하는 단말 움직임 검출부, 상기 제 1 프레임 및 제 2 프레임의 관심 영역에 포함된 픽셀의 휘도 정보 또는 색차 정보에 기초하여, 피사체의 모션을 검출하는 피사체 모션 검출부 및 상기 검출된 피사체의 모션을 상기 휴대용 단말 장치에서 구동되는 애플리케이션의 제어신호로서 변환하는 제어신호 생성부를 포함한다.
또한, 본 발명의 제 2 측면에 따른 휴대용 단말 장치를 통한 피사체 모션 검출 방법은 상기 휴대용 단말 장치에 구비된 카메라 모듈을 통해 입력되는 촬영 영상을 프레임 단위로 식별하여 저장하는 단계, 상기 입력된 영상의 제 1 프레임과 제 2 프레임의 휘도 정보의 변경 여부에 기초하여 상기 휴대용 단말 장치 자체의 움직임을 검출하는 단계 및 상기 제 1 프레임 및 제 2 프레임의 관심 영역에 포함된 픽셀의 휘도 정보 또는 색차 정보에 기초하여, 피사체의 모션을 검출하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 휴대용 단말 장치의 카메라를 통해 입력되는 영상으로부터 피사체의 움직임을 검출하는 과정에서, 휴대용 단말 장치 자체의 움직임을 검출하여, 보다 정확하게 피사체의 움직임을 검출할 수 있다. 특히, 최적의 알고리즘을 사용하여 휴대용 단말 장치 자체의 움직임을 검출할 수 있어, CPU 성능이 일반 PC에 비하여 비교적 떨어지는 휴대용 단말 장치에서 효과적으로 사용할 수 있다.
또한, 상기 검출된 피사체의 움직임에 기초하여 제어신호를 생성하고, 이를 휴대용 단말 장치에서 구동되는 애플리케이션에 대하여 적용함으로써, 휴대용 단말 장치에서 다양한 입력수단을 사용할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 휴대용 단말 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 모션 인식부의 상세 구성을 도시한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 휴대용 단말 자체의 움직임을 검출하는 알고리즘을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 피사체의 모션을 검출하는 알고리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 휴대용 단말 장치를 이용한 모션 인식 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 휴대용 단말 장치에서 실행 가능한 애플리케이션의 화면을 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 휴대용 단말 장치를 도시한 도면이다.
휴대용 단말 장치(100)는 전원부(110), 중앙 제어부(120),디스플레이 모듈(140), 그래픽 제어부(150), 카메라 모듈(160), 모션 인식부(170) 및 메모리(180)를 포함한다. 또한, 추가적으로 통신 모듈(130)을 포함할 수 있다.
전원부(110)는 휴대용 단말 장치(100)에 포함된 각 구성 요소에 대해 전원을 공급하고, 중앙 제어부(120)는 휴대용 단말 장치(100)에 포함된 각 구성 요소의 동작을 제어한다.
통신 모듈(130)은 휴대용 단말 장치(100)를 이용하여 타 사용자 단말과의 통신 기능을 수행한다. 예를 들어, 휴대용 단말 장치(100)는 PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access) 또는 Wibro(Wireless Broadband Internet) 방식의 통신 기능을 수행할 수 있다.
디스플레이 모듈(140)은 휴대용 단말 장치(100)에 구비되는 영상 출력 수단으로서, 그래픽 제어부(150)를 통해 생성되는 영상을 출력한다. 또한, 디스플레이 모듈(140)은 증강현실기술에 따라 생성되는 영상을 출력하거나, 카메라 모듈(160)을 통해 입력되는 피사체를 출력할 수 있다. 한편, 터치 스크린 방식의 디스플레이 모듈(140)은 입력 수단으로 사용될 수 있다.
그래픽 제어부(150)는 디스플레이 모듈(140)을 통해 표시할 영상을 생성한다. 또한, 그래픽 제어부(150)는 카메라 모듈(160)을 통해 입력된 영상을 디스플레이 모듈(140)을 통해 출력할 수 있다. 또한, 그래픽 제어부(150)는 카메라 모듈(160)을 통해 입력된 영상에 이미지 또는 가상 영상을 결합하여 디스플레이 모듈(140)을 통해 출력할 수 있다.
카메라 모듈(160)은 렌즈를 통해 입사되는 영상을 그래픽 제어부(150) 및 모션 인식부(170)로 전송한다. 이와 같이 전송되는 영상은 메모리(180)에 저장될 수 있다.
모션 인식부(170)는 카메라 모듈(160)로부터 전송된 영상에 기초하여, 피사체의 모션을 인식한다. 또한, 모션 인식부(170)는 카메라 모듈(160)로부터 전송된 영상에 기초하여 휴대용 단말 장치(100) 자체의 움직임을 검출할 수 있다. 이와 같이 인식된, 피사체의 모션은 애플리케이션의 동작을 제어하는 제어신호로서 사용될 수 있다.
메모리(180)는 휴대용 단말 장치(100)의 구동시에 사용되는 각종 데이터를 저장한다. 특히, 그래픽 제어부(150)에 의하여 생성된 영상 데이터, 카메라 모듈(160)을 통해 입력된 영상 데이터 등이 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 모션 인식부의 상세 구성을 도시한 도면이다.
모션 인식부(170)는 촬영 영상 관리부(172), 단말 움직임 추출부(174), 피사체 모션 검출부(176)를 포함한다. 또한, 모션 인식부(170)는 실시예에 따라 제어신호 생성부(178)를 더 포함할 수 있다. 참고로, 본 발명의 실시예에 따른 도 1 및 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
촬영 영상 관리부(172)는 카메라 모듈(160)을 통해 전송되는 영상을 각 프레임 별로 식별하여 관리한다. 각 프레임은 메모리(180)에 저장될 수 있다.
단말 움직임 검출부(174)는 각 프레임의 픽셀 간의 휘도(Y)정보를 비교하여, 휴대용 단말 자체의 움직임을 검출할 수 있다. 예를 들어, 현재 프레임과 직전 프레임 간의 전체 픽셀에 대하여 휘도(Y) 정보의 변경 여부를 확인하고, 변경된 픽셀의 개수가 임계값을 초과하는 경우에는 휴대용 단말 자체가 움직인 것으로 판단한다. 도면을 참조하여 더욱 상세히 설명하기로 한다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 휴대용 단말 자체의 움직임을 검출하는 알고리즘을 설명하기 위한 도면이다.
먼저, 도 3을 참조하면, 카메라 모듈(160)을 통해 전송되는 영상은 프레임 단위로 구분할 수 있다. 또한, 제 1 프레임(310)은 제 2 프레임(320)보다 시간적으로 앞서서 촬영된 프레임이다. 각 프레임(310)은 휘도(Y) 정보(312), 제 1 색차(Cr) 정보(314) 및 제 2 색차(Cb) 정보(316)를 포함한다.
도 4를 참조하면, 제 1 프레임의 휘도 정보(312)와 제 2 프레임의 휘도 정보(322)의 변경 여부에 기초하여, 휴대용 단말의 움직임을 검출한다. 휘도 정보의 변경 여부를 확인하기 위한 상세 수학식은 다음과 같다.
[수학식 1]
Figure 112010026979053-pat00001
이때, i : 가로 인덱스 (0~W), j : 세로 인덱스 (0~H), T: 임계값, D: 차영상, W: 프레임 너비, H: 프레임 높이
상기 수학식 1을 통해, 각 픽셀의 휘도 차이가 임계값을 초과한 경우에는 각 픽셀의 휘도 변화 정보(CameraMove(i,j)를 1로 설정하고, 그렇지 않은 경우에는 픽셀의 휘도 변화 정보(CameraMove(i,j)를 0으로 설정한다.
다음으로, 수학식 2를 통해 전체 프레임에서의 휘도 변화값을 산출한다.
[수학식 2]
Figure 112010026979053-pat00002
이때, i : 가로 인덱스 (0~W), j : 세로 인덱스 (0~H), W: 프레임 너비, H: 프레임 높이
상기 수학식 2를 통해, 제 1 프레임과 제 2 프레임에서 각 픽셀의 휘도 차이가 임계값을 초과한 전체 픽셀의 개수, 즉 휘도 변경 픽셀 개수(Scam)를 산출할 수 있다. 그리고, 제 1 프레임과 제 2 프레임의 관계에서 휘도 변경 픽셀 개수(Scam)가 미리 설정된 제 1 임계값을 초과하였는지 여부에 따라 휴대용 단말 자체의 움직임이 발생하였는지 여부를 판단할 수 있다.
예를 들어, 제 1 임계값이 프레임에 포함된 픽셀의 30%에 해당하는 값이라면, 휘도 변경 픽셀 개수가 제 1 임계값을 초과한 경우 휴대용 단말 자체의 움직임이 발생한 것으로 판단하게 된다.
다시 도 2를 참조하면, 피사체 모션 검출부(176)는 카메라 모듈(160)을 통해 전송되는 영상 중 미리 설정된 관심 영역을 기준으로 피사체의 모션이 발생하였는지 여부를 검출한다. 예를 들면, 관심 영역에 포함된 픽셀의 휘도(Y) 정보의 변화 여부 또는 제 1 색차(Cr) 정보 및 제 2 색차(Cb) 정보의 변화 여부에 기초하여 피사체 모션을 검출할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 피사체의 모션을 검출하는 알고리즘을 설명하기 위한 도면이다.
먼저, 도 5를 참조하면, 제 1 프레임(510) 내에 설정된 관심 영역(512)에 포함된 픽셀의 휘도 정보와 제 2 프레임(520) 내에 설정된 관심 영역(522)에 포함된 픽셀의 휘도 정보를 비교하여, 피사체의 모션을 검출한다. 전체적인 알고리즘은 휴대용 단말 자체의 움직임을 검출하는 알고리즘과 유사하다.
[수학식 3]
Figure 112010026979053-pat00003
이때, i : 가로 인덱스 (0~w), j : 세로 인덱스 (0~h), T: 임계값, D: 차영상, w: 관심 영역 너비, h: 관심 영역 높이
상기 수학식 3을 통해, 각 픽셀의 휘도 차이가 임계값을 초과한 경우에는 관심 영역 픽셀의 휘도 변화 정보(YMotion(i,j))를 1로 설정하고, 그렇지 않은 경우에는 관심 영역 픽셀의 휘도 변화 정보(YMotion(i,j))를 0으로 설정한다.
다음으로, 수학식 4를 통해 관심 영역에서의 휘도 변화값을 산출한다.
[수학식 4]
Figure 112010026979053-pat00004
이때, i : 가로 인덱스 (0~W), j : 세로 인덱스 (0~H), w: 관심 영역 너비, h: 관심 영역 높이
상기 수학식 4를 통해, 제 1 프레임의 관심 영역과 제 2 프레임의 관심 영역에 포함된 각 픽셀의 휘도 차이가 임계값을 초과한 픽셀의 개수, 즉 관심 영역 내의 휘도 변경 픽셀 개수(SY)를 산출할 수 있다. 그리고, 제 1 프레임과 제 2 프레임의 관계에서 관심 영역 내의 휘도 변경 픽셀 개수(SY)가 미리 설정된 제 2 임계값을 초과하였는지 여부에 따라 피사체의 모션이 발생하였는지 여부를 판단할 수 있다.
예를 들어, 제 2 임계값이 관심 영역에 포함된 픽셀의 50%에 해당하는 값이라면, 관심 영역내의 휘도 변경 픽셀 개수가 제 2 임계값을 초과한 경우 관심 영역 내에서 피사체의 모션이 발생한 것으로 판단하게 된다.
도 6을 참조하면, 제 1 프레임(610) 내에 설정된 관심 영역(612)에 포함된 픽셀의 제 1 색차(Cr) 정보와 제 2 프레임(620) 내에 설정된 관심 영역(622)에 포함된 픽셀의 제 1 색차(Cr) 정보를 비교하여, 피사체의 모션을 검출한다. 또한, 제 1 프레임(630) 내에 설정된 관심 영역(632)에 포함된 픽셀의 제 2 색차(Cb) 정보와 제 2 프레임(640) 내에 설정된 관심 영역(642)에 포함된 픽셀의 제 2 색차(Cb) 정보를 비교하여, 피사체의 모션을 검출한다.
먼저, 제 1 색차(Cr) 정보를 이용하는 실시예를 살펴보기로 한다.
[수학식 5]
Figure 112010026979053-pat00005
이때, i : 가로 인덱스 (0~w), j : 세로 인덱스 (0~h), T: 임계값, D: 차영상, w: 관심 영역 너비, h: 관심 영역 높이
상기 수학식 5를 통해, 각 픽셀의 제 1 색차 정보의 차이가 임계값을 초과한 경우에는 관심 영역 픽셀의 제 1 색차 변화 정보(CrMotion(i,j))를 1로 설정하고, 그렇지 않은 경우에는 관심 영역 픽셀의 제 1 색차 변화 정보(CrMotion(i,j))를 0으로 설정한다.
다음으로, 수학식 6을 통해 관심 영역에서의 제 1 색차 변화값을 산출한다.
[수학식 6]
Figure 112010026979053-pat00006
이때, i : 가로 인덱스 (0~W), j : 세로 인덱스 (0~H), w: 관심 영역 너비, h: 관심 영역 높이
상기 수학식 6을 통해, 제 1 프레임의 관심 영역과 제 2 프레임의 관심 영역에 포함된 각 픽셀의 제 1 색차 정보의 차이가 임계값을 초과한 픽셀의 개수, 즉 관심 영역 내의 제 1 색차 변경 픽셀 개수(SCr)를 산출할 수 있다. 그리고, 제 1 프레임과 제 2 프레임의 관계에서 관심 영역 내의 제 1 색차 변경 픽셀 개수(SCr)가 미리 설정된 제 3 임계값을 초과하였는지 여부에 따라 피사체의 모션이 발생하였는지 여부를 판단할 수 있다.
다음으로, 제 2 색차(Cb) 정보를 이용하는 실시예를 살펴보기로 한다.
[수학식 7]
Figure 112010026979053-pat00007
이때, i : 가로 인덱스 (0~w), j : 세로 인덱스 (0~h), T: 임계값, D: 차영상, w: 관심 영역 너비, h: 관심 영역 높이
상기 수학식 7을 통해, 각 픽셀의 제 2 색차 정보의 차이가 임계값을 초과한 경우에는 관심 영역 픽셀의 제 2 색차 변화 정보(CbMotion(i,j))를 1로 설정하고, 그렇지 않은 경우에는 관심 영역 픽셀의 제 2 색차 변화 정보(CbMotion(i,j))를 0으로 설정한다.
다음으로, 수학식 8을 통해 관심 영역에서의 제 2 색차 변화값을 산출한다.
[수학식 8]
Figure 112010026979053-pat00008
이때, i : 가로 인덱스 (0~W), j : 세로 인덱스 (0~H), w: 관심 영역 너비, h: 관심 영역 높이
상기 수학식 8을 통해, 제 1 프레임의 관심 영역과 제 2 프레임의 관심 영역에 포함된 각 픽셀의 제 2 색차 정보의 차이가 임계값을 초과한 픽셀의 개수, 즉 관심 영역 내의 제 2 색차 변경 픽셀 개수(SCb)를 산출할 수 있다. 그리고, 제 1 프레임과 제 2 프레임의 관계에서 관심 영역 내의 제 2 색차 변경 픽셀 개수(SCb)가 미리 설정된 제 3 임계값을 초과하였는지 여부에 따라 피사체의 모션이 발생하였는지 여부를 판단할 수 있다.
한편, 사용자의 선택에 따라 제 1 색차 정보의 변화를 이용한 피사체 모션 검출 알고리즘과 제 2 색차 정보의 변화를 이용한 피사체 모션 검출 알고리즘을 결합하여 실시할 수 있다.
다시 도 2를 참조하면, 제어신호 생성부(178)는 카메라 모듈(160)을 통해 전송되는 영상으로부터 검출한 피사체의 모션을 제어신호로 변환한다. 즉, 휴대용 단말 장치(100)에서 실행되는 애플리케이션의 동작을 제어하는 제어신호로 변환한다. 예를 들면,관심 영역 내에서 제 1 프레임과 제 2 프레임 간의 휘도 정보, 제 1 색차 정보 또는 제 2 색차 정보 등이 일정량 이상 변화한 경우, 피사체의 모션이 발생한 것으로 보고 이를 애플리케이션의 동작을 제어하는 제어신호로 변환한다.
도 7은 본 발명의 일 실시예에 따른 휴대용 단말 장치를 이용한 모션 인식 방법을 도시한 순서도이다.
먼저, 카메라 모듈(160)을 통해 입력되는 이미지를 프레임 단위로 구별하여 저장한다(S710).
다음으로, 전체 프레임 중 시간적으로 선후 관계에 있는 제 1 프레임과 제 2 프레임의 전체 픽셀에 대하여 휘도 성분(Y)을 비교하고(S712), 비교 결과 변화된 픽셀이 제 1 임계값을 초과하는지 여부를 판단한다(S714). 이는 휴대용 단말 장치(100) 자체의 움직임을 검출하기 위한 것으로, 휘도 성분(Y)의 변화량이 제 1 임계값보다 큰 경우에는 휴대용 단말 장치(100) 자체의 움직임이 발생한 것으로 보고, 상기 단계(S710, S712)를 반복수행한다.
만약, 변화량이 제 1 임계값보다 작거나 같은 경우에는 휴대용 단말 장치(100) 자체의 움직임이 발생하지 않은 것으로 보고, 피사체의 움직임을 검출하기 위한 알고리즘을 수행한다. 즉, 제 1 프레임과 제 2 프레임의 관심 영역에 포함된 픽셀의 휘도 정보 또는 색차 정보를 비교하여 피사체의 움직임을 검출한다.
도시된 바와 같이, 휘도 정보에 기초한 움직임 검출 방법(S716, S718), 제 1 및 제 2 색차 정보에 기초한 움직임 검출 검출 방법(S720, S722)을 모두 적용하여, 관심 영역내의 피사체의 움직임을 검출할 수 있다.
또한, 휘도 정보에 기초한 피사체 움직임 검출 방법, 제 1 색차 정보에 기초한 피사체 움직임 검출 방법 또는 제 2 색차 정보에 기초한 피사체 움직임 검출 방법을 선택적으로 결합하여 움직임을 검출할 수 있다. 즉, 휘도 정보만을 이용하여 피사체의 움직임을 검출하거나, 색차 정보만을 이용하여 피사체의 움직임을 검출하는 등의 실시예가 가능하다.
도 8은 본 발명의 일 실시예에 따른 휴대용 단말 장치에서 실행 가능한 애플리케이션의 화면을 도시한 도면이다.
애플리케이션(800)의 인터페이스는 배경화면(810), 캐릭터(820) 및 피사체(830)를 하나의 화면에 표시할 수 있다. 이때, 배경화면(810)과 피사체(830)는 카메라 모듈(160)을 통해 실시간으로 입력되는 이미지이고, 캐릭터(820, 822)는 휴대용 단말장치(100)에 미리 저장되어 있던 이미지이다. 즉, 증강현실기술을 통해, 실사 이미지와 저장된 이미지를 결합하여, 하나의 화면에서 실행하는 것이다. 한편, 도시된 캐릭터(820, 822)의 경우, 설명의 간단을 위해, 해칭처리되어 도시되었으며, 실제 실시화면에서는 여러 형태의 이미지로 구성될 수 있다.
본 발명의 알고리즘을 통해 피사체(830)의 움직임이 감지되면, 화면에 표시되는 캐릭터의 상태가 변경될 수 있다. 예를 들어, 피사체(830)가 캐릭터(820)의 주변에 미리 설정된 관심 영역(840)내에서 움직이게 되면, 피사체(830)의 움직임을 감지하여 이를 제어신호로서 변환하고, 해당 제어신호에 기초하여 미리 설정된 형태로 변형된 캐릭터(822)를 화면에 표시한다. 이때, 본 발명에서는 휴대용 단말 자체의 움직임을 검출할 수 있어, 피사체 만의 움직임이 발생한 경우에 한하여 제어신호가 출력될 수 있도록 제어할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 휴대용 단말 장치 110: 전원부
120: 중앙 제어부 130: 통신 모듈
140: 디스플레이 모듈 150: 그래픽 제어부
160: 카메라 모듈 170: 모션 인식부
172: 촬영 영상 관리부 174: 단말 움직임 검출부
176: 피사체 모션 검출부 178: 제어신호 생성부
180: 메모리

Claims (14)

  1. 휴대용 단말 장치에 있어서,
    상기 휴대용 단말 장치에 구비된 카메라 모듈을 통해 입력되는 촬영 영상을 프레임 단위로 관리하는 촬영 영상 관리부,
    상기 입력된 영상의 제 1 프레임과 제 2 프레임의 휘도 정보의 변경 여부에 기초하여 상기 휴대용 단말 장치 자체의 움직임을 검출하는 단말 움직임 검출부,
    상기 제 1 프레임 및 제 2 프레임의 관심 영역에 포함된 픽셀의 휘도 정보 및 색차 정보 중 하나 이상에 기초하여, 피사체의 모션을 검출하는 피사체 모션 검출부 및
    상기 검출된 피사체의 모션을 상기 휴대용 단말 장치에서 구동되는 애플리케이션의 제어신호로서 변환하는 제어신호 생성부를 포함하되,
    상기 단말 움직임 검출부는 상기 제 1 프레임에 포함된 전체 픽셀과 제 2 프레임에 포함된 전체 픽셀에 대하여 휘도 변경 픽셀 개수를 산출하고, 상기 산출된 휘도 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 휴대용 단말 장치 자체의 움직임이 발생한 것으로 판단하고,
    상기 피사체 모션 검출부는 상기 단말 움직임 검출부를 통해 상기 휴대용 단말 장치 자체의 움직임이 검출되지 않은 경우에만 상기 피사체 모션 검출을 수행하는 휴대용 단말 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 피사체 모션 검출부는
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 휘도 변경 픽셀 개수를 산출하고, 상기 산출된 관심 영역 내의 휘도 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 휴대용 단말 장치.
  5. 제 1 항 또는 제 4 항에 있어서,
    상기 피사체 모션 검출부는
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 색차 변경 픽셀 개수를 산출하고, 상기 산출된 색차 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 휴대용 단말 장치.
  6. 제 5 항에 있어서,
    상기 피사체 모션 검출부는
    제 1 색차(Cr) 변경 픽셀 개수 및 제 2 색차 변경 픽셀 개수(Cb)를 산출하고,
    상기 산출된 제 1 색차(Cr) 변경 픽셀 개수 및 제 2 색차(Cb) 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 휴대용 단말 장치.
  7. 휴대용 단말 장치를 통한 피사체 모션 검출 방법에 있어서,
    상기 휴대용 단말 장치에 구비된 카메라 모듈을 통해 입력되는 촬영 영상을 프레임 단위로 식별하여 저장하는 단계,
    상기 입력된 영상의 제 1 프레임과 제 2 프레임의 휘도 정보의 변경 여부에 기초하여 상기 휴대용 단말 장치 자체의 움직임을 검출하는 단계,
    상기 제 1 프레임 및 제 2 프레임의 관심 영역에 포함된 픽셀의 휘도 정보 및 색차 정보 중 하나 이상에 기초하여, 피사체의 모션을 검출하는 단계 및
    상기 검출된 피사체의 모션을 상기 휴대용 단말 장치에서 구동되는 애플리케이션의 제어신호로서 변환하는 단계를 포함하되,
    상기 휴대용 단말 장치 자체의 움직임을 검출하는 단계는,
    상기 제 1 프레임에 포함된 전체 픽셀과 제 2 프레임에 포함된 전체 픽셀에 대하여 휘도 변경 픽셀 개수를 산출하는 단계 및
    상기 산출된 휘도 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 휴대용 단말 장치 자체의 움직임이 발생한 것으로 판단하는 단계를 포함하고,
    상기 피사체의 모션을 검출하는 단계는 상기 휴대용 단말 장치 자체의 움직임이 검출되지 않은 경우에만 수행되는 것인 휴대용 단말 장치를 통한 피사체 모션 검출 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 7 항에 있어서,
    상기 피사체의 모션을 검출하는 단계는
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 휘도 변경 픽셀 개수를 산출하는 단계 및
    상기 산출된 관심 영역 내의 휘도 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 단계
    를 포함하는 휴대용 단말 장치를 통한 피사체 모션 검출 방법.
  12. 제 7 항에 있어서,
    상기 피사체의 모션을 검출하는 단계는
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 색차 변경 픽셀 개수를 산출하는 단계 및
    상기 산출된 관심 영역 내의 색차 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 단계
    를 포함하는 휴대용 단말 장치를 통한 피사체 모션 검출 방법.
  13. 제 12 항에 있어서,
    상기 색차 변경 픽셀 개수를 산출하는 단계는 제 1 색차(Cr) 변경 픽셀 개수 및 제 2 색차 변경 픽셀 개수(Cb)를 산출하는 단계를 포함하고,
    상기 피사체의 움직임이 발생한 것으로 판단하는 단계는 상기 산출된 제 1 색차(Cr) 변경 픽셀 개수 및 제 2 색차(Cb) 변경 픽셀 개수가 임계값을 초과하는 경우, 상기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 단계
    를 포함하는 휴대용 단말 장치를 통한 피사체 모션 검출 방법.
  14. 제 7 항에 있어서,
    상기 피사체의 모션을 검출하는 단계는
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 휘도 변경 픽셀 개수를 산출하는 단계,
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 제 1 색차 변경 픽셀 개수를 산출하는 단계,
    상기 제 1 프레임의 관심 영역에 포함된 픽셀과 제 2 프레임의 관심 영역에 포함된 픽셀에 대하여 관심 영역 내의 제 2 색차 변경 픽셀 개수를 산출하는 단계 및
    상기 산출된 관심 영역 내의 휘도 변경 픽셀 개수, 관심 영역 내의 제 1 색차 변경 픽셀 개수 및 관심 영역 내의 제 2 색차 변경 픽셀 개수가 각각 임계값을 초과하는 경우기 관심 영역 내에서 피사체의 움직임이 발생한 것으로 판단하는 단계
    를 포함하는 휴대용 단말 장치를 통한 피사체 모션 검출 방법.
KR1020100038672A 2010-04-26 2010-04-26 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법 KR101156753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038672A KR101156753B1 (ko) 2010-04-26 2010-04-26 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038672A KR101156753B1 (ko) 2010-04-26 2010-04-26 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법

Publications (2)

Publication Number Publication Date
KR20110119145A KR20110119145A (ko) 2011-11-02
KR101156753B1 true KR101156753B1 (ko) 2012-06-14

Family

ID=45390774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038672A KR101156753B1 (ko) 2010-04-26 2010-04-26 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법

Country Status (1)

Country Link
KR (1) KR101156753B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530222B1 (ko) * 2021-03-17 2023-05-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100659901B1 (ko) * 2006-04-20 2006-12-20 엘지전자 주식회사 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기
KR20070019849A (ko) * 2005-08-11 2007-02-15 삼성전자주식회사 이동 통신 단말의 사용자 입력 방법 및 장치
KR20080002409A (ko) * 2006-06-30 2008-01-04 연세대학교 산학협력단 2차원 영상의 3차원 영상 변환 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070019849A (ko) * 2005-08-11 2007-02-15 삼성전자주식회사 이동 통신 단말의 사용자 입력 방법 및 장치
KR100659901B1 (ko) * 2006-04-20 2006-12-20 엘지전자 주식회사 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기
KR20080002409A (ko) * 2006-06-30 2008-01-04 연세대학교 산학협력단 2차원 영상의 3차원 영상 변환 장치 및 방법
KR100799990B1 (ko) 2006-06-30 2008-01-31 연세대학교 산학협력단 2차원 영상의 3차원 영상 변환 장치 및 방법

Also Published As

Publication number Publication date
KR20110119145A (ko) 2011-11-02

Similar Documents

Publication Publication Date Title
US10783683B2 (en) Image stitching
KR101722654B1 (ko) 점 특징 및 선 특징을 사용한 강력한 추적
KR102121592B1 (ko) 시력 보호 방법 및 장치
KR102173106B1 (ko) 증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법
US9661298B2 (en) Depth image enhancement for hardware generated depth images
US10440284B2 (en) Determination of exposure time for an image frame
US10863077B2 (en) Image photographing method, apparatus, and terminal
US20200244885A1 (en) Photographing method and electronic apparatus
KR20160031706A (ko) 이미지의 잡음 특성 개선 방법 및 그 전자 장치
US10593028B2 (en) Method and apparatus for view-dependent tone mapping of virtual reality images
GB2523149A (en) Method, apparatus and computer program product for image-driven cost volume aggregation
CN109218598B (zh) 一种相机切换方法、装置及无人机
US20160379374A1 (en) Video frame processing
EP2659452A1 (en) Method and apparatus for providing a mechanism for gesture recognition
US20190110003A1 (en) Image processing method and system for eye-gaze correction
US20230245441A9 (en) Image detection method and apparatus, and electronic device
KR102456332B1 (ko) 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법
US11094291B2 (en) Method and device for detecting ambient light and terminal
CN111191619B (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN104240227A (zh) 图像分析系统及方法
KR101156753B1 (ko) 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법
CN114659450A (zh) 机器人跟随方法、装置、机器人及存储介质
CN113891018A (zh) 拍摄方法、装置及电子设备
US20170091905A1 (en) Information Handling System Defocus Tracking Video
US8934014B2 (en) Electronic device and switching method for the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee