KR20190001856A - 모바일 단말기의 카메라를 이용한 동작 인식 시스템 - Google Patents

모바일 단말기의 카메라를 이용한 동작 인식 시스템 Download PDF

Info

Publication number
KR20190001856A
KR20190001856A KR1020170082032A KR20170082032A KR20190001856A KR 20190001856 A KR20190001856 A KR 20190001856A KR 1020170082032 A KR1020170082032 A KR 1020170082032A KR 20170082032 A KR20170082032 A KR 20170082032A KR 20190001856 A KR20190001856 A KR 20190001856A
Authority
KR
South Korea
Prior art keywords
mobile terminal
image
camera
visible light
image sensor
Prior art date
Application number
KR1020170082032A
Other languages
English (en)
Inventor
정연호
라젠드라 텔리 쉬바니
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020170082032A priority Critical patent/KR20190001856A/ko
Publication of KR20190001856A publication Critical patent/KR20190001856A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0004—Personal or domestic articles
    • F21V33/0052—Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H04M1/72522—
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2105/00—Planar light sources
    • F21Y2105/10—Planar light sources comprising a two-dimensional array of point-like light-generating elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Optical Communication System (AREA)

Abstract

본 발명의 일 실시예에 따른 모바일 카메라를 이용한 동작 인식 시스템은, 적어도 하나의 발광원을 구비하는 조명 장치; 및 상기 조명 장치에서 출력되는 가시광 통신 신호를 수신하는 모바일 단말기;를 포함하고, 상기 모바일 단말기는, 상기 가시광 통신 신호를 수신하는 이미지 센서를 구비하는 카메라 유닛; 상기 이미지 센서에서 획득한 영상으로부터 가시광 통신 신호를 인식하는 이미지신호처리부; 및 제어부;를 더 포함하며, 상기 모바일 단말기는 상기 조명 장치와 상기 모바일 단말기 사이에서 움직이는 오브젝트의 동작 패턴을 인식하는 동작 인식 모듈을 더 포함하며, 상기 카메라 유닛의 이미지 센서는 상기 오브젝트의 영상을 획득하고, 상기 동작 인식 모듈은 상기 이미지 센서에서 획득한 영상에서, 상기 오브젝트의 센트로이드를 감지하여 센트로이드의 위치 데이터를 획득하고, 2 이상의 센트로이드의 위치 데이터로부터 상기 오브젝트의 동작 패턴을 인식하며, 상기 제어부는 상기 오브젝트의 동작 패턴에 대응하는 제어 신호를 획득한다.

Description

모바일 단말기의 카메라를 이용한 동작 인식 시스템{MOTION DETECTION SYSTEM USING CAMERA OF MOBILE DEVICE}
본 발명은 모바일 단말기의 카메라를 이용한 동작 인식 시스템에 관한 것으로서, 더욱 상세하게는 조명 장치와 모바일 단말기 사이에서 가시광 통신이 수행되는 것과 동시에, 조명 장치와 모바일 단말기 사이에서 움직이는 오브젝트의 동작 패턴을 인식하여 그에 대응하는 제어 신호를 획득하는 것이 가능한 동작 인식 시스템에 관한 것이다.
가시광 통신(Visible Light Communication, VLC)이란 눈에 보이는 가시광을 이용하여 통신하는 것으로 가시광 파장 영역 내의 빛을 이용한 무선 통신 기술이다. 이러한 가시광 통신은 LED(Light Emitting Diode)의 확산과 더불어 최근 다양한 형태의 기술이 개발되고 있다.
공개특허공보 10-2014-0143975호(2014.12.18. 공개)는 "가시광 통신 및 무선 네트워크를 이용한 하이브리드 측위 시스템"에 관한 것으로서, 해당 공개 특허에 공개된 바와 같이, 일반적인 가시광 통신에서는 가시광 송신기로서 색상과 조도의 제어가 가능한 LED 또는 LD(laser Diode) 등을 광원으로 사용하여 가시광을 송신하고, 가시광 수신기로서는 포토다이오드(PD)를 채용하여 가시광을 수신하며, 수신된 가시광을 처리함으로써 가시광을 이용한 통신이 이루어지게 된다.
그러나, 이와 같이 가시광 수신기로서 포토다이오드(PD)를 사용하는 경우에는 송신기로서 LED 어레이와 수신기로서 PD 어레이 간의 빔 정렬(alignment)이 필요하며, 송신기 또는 수신기의 위치 이동에 의한 링크 단절시 통신 효율 저하의 우려가 높은 것은 큰 약점이다.
이러한 점에서, 종래 기술에 따른 포토 다이오드를 사용한 통신 링크에 대신하여 송수신기 사이의 정렬 오차에 의한 광통신 효율 저하의 문제점이 없고, 광통신의 효율에 영향을 미치지 않으면서 모션 인식이 가능한 동작 인식 시스템에 대한 수요가 늘어나고 있다.
본 발명은 전술한 바와 같은 요구를 충족시키기 위해 창안된 것으로, 본 발명의 목적은 조명 장치와 모바일 단말기 사이에서 가시광 통신이 수행되는 것과 동시에, 조명 장치와 모바일 단말기 사이의 오브젝트의 동작을 인식하고, 해당 동작에 대응하는 제어 신호를 독출하는 것이 가능한 동작 인식 시스템을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상술한 과제를 해결하기 위하여 창안된 것으로서, 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템은, 적어도 하나의 발광원을 구비하는 조명 장치; 및 상기 조명 장치에서 출력되는 가시광 통신 신호를 수신하는 모바일 단말기;를 포함하고, 상기 모바일 단말기는, 상기 가시광 통신 신호를 수신하는 이미지 센서를 구비하는 카메라 유닛; 상기 이미지 센서에서 획득한 영상으로부터 가시광 통신 신호를 인식하는 이미지신호처리부; 및 제어부;를 더 포함하며, 상기 모바일 단말기는 상기 조명 장치와 상기 모바일 단말기 사이에서 움직이는 오브젝트의 동작 패턴을 인식하는 동작 인식 모듈을 더 포함하며, 상기 카메라 유닛의 이미지 센서는 상기 오브젝트의 영상을 획득하고, 상기 동작 인식 모듈은 상기 이미지 센서에서 획득한 영상에서, 상기 오브젝트의 센트로이드를 감지하여 센트로이드의 위치 데이터를 획득하고, 2 이상의 센트로이드의 위치 데이터로부터 상기 오브젝트의 동작 패턴을 인식하며, 상기 제어부는 상기 오브젝트의 동작 패턴에 대응하는 제어 신호를 획득하는 것을 특징으로 한다.
또한, 상기 이미지 센서에서 획득한 영상은 복수의 연속 프레임으로 구성되고, 상기 동작 인식 모듈은 오브젝트가 포함된 2 이상의 프레임에서 획득한 센트로이드의 위치를 시간순으로 연결하여 상기 오브젝트의 동작 패턴을 인식할 수 있다.
또한, 상기 제어부에는 오브젝트 동작 패턴에 대응하는 제어 신호에 대한 정보가 미리 설정되어 저장될 수 있다.
또한, 상기 발광원은 발광 다이오드(Light Emitting Diode)이고, 상기 조명 장치는 복수 개의 발광 다이오드가 가로 및 세로로 어레이 배열되어 구성될 수 있다.
본 발명의 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템에 따르면, 조명의 요구를 만족시키면서 가시광 통신을 수행할 수 있고, 동시에 가시광 통신의 성능에 영향을 주지 않으면서 오브젝트의 동작 패턴을 인식할 수 있는 동작 인식 시스템을 제공한다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템의 기술개념을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템의 구성도이다.
도 4는 오브젝트에서 센트로이드를 검출하는 과정을 나타낸 개념도이다.
도 5는 오브젝트가 촬영영역의 프레임 하방으로 이동하는 경우에 오브젝트의 동작 패턴을 인식하는 과정을 설명하기 위한 개념도이다.
도 6은 오브젝트의 다양한 동작 패턴을 예시적으로 나타낸 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템(100)의 기술적 개념을 설명하기 위한 개념도이고, 도 2는 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템(100)을 나타낸 개념도이며, 도 3은 본 발명의 일 실시예에 따른 모바일 단말기의 카메라를 이용한 동작 인식 시스템(100)의 구성도이다.
가시광 통신이란 380~780 나노미터의 가시광 파장을 사용하는 통신 방식으로서, 조명 장치(110)(LED 어레이)에서 발산하는 가시광을 이용하여 데이터를 무선으로 송수신하는 통신 기술이다. 즉, 조명 장치 본연의 역할인 조명 기능에 통신 기능을 부가한 것이다. 본 발명에서, 발명자는 조명 및 통신 기능의 성능에 영향을 주지 않으면서도, 독특하고 새로운 동작 인식 기술을 제시한다.
도 1 내지 도 3을 참조하면, 본 발명의 동작 인식 시스템(100)은, 적어도 하나의 발광원을 구비하는 조명 장치(110) 및 조명 장치(110)에서 출력되는 가시광 통신 신호를 수신하여 가시광 통신 정보를 독출하는 모바일 단말기(130)를 포함한다. 조명 장치(110)와 모바일 단말기(130)는 본 발명에서 설명하는 가시광 통신 링크를 이루는 기본적인 구성이다.
조명 장치(110)는 가시광 통신 링크에서 송신기(transmitter)의 역할을 한다. 이러한 조명 장치(110)는 가시광 데이터 생성부(111), 변조부(113) 및 LED 드라이버(115)를 포함한다. 가시광 데이터 생성부(111)는 가시광 통신을 위한 데이터 신호를 생성한다. 그리고, 변조부(113)는 가시광 데이터 생성부(111)를 통해 전달되는 가시광 신호를 광통신에 적합한 신호로 변조하고, LED 드라이버(115)는 변조부(113)로부터 변조된 데이터 신호에 따라 발광원을 on/off 시킴으로써 광변조한다. 이에 따라 LED 드라이버(115)는 빛 신호를 "0"과 "1"의 가시광 데이터 신호로 출력시키는데, 이때 발광원은 발광 다이오드(LED; Light Emitting Diode)이고, 복수 개의 발광 다이오드가 가로 및 세로로 어레이 배열되어 구성될 수 있다.
이러한 각 발광 다이오드는 기설정된 주파수의 펄스로 온/오프(on/off) 되면서 후술하는 모바일 단말기(130)에 대하여 가시광 통신 신호를 송신하는데, 온/오프 펄스의 주파수가 110㎐ 이상, 즉 초(sec)당 펄스가 110회 이상이면 사람의 눈으로는 그 온/오프를 구분하지 못하고 계속 온 상태인 것으로 인식한다. 이때, 각 발광 다이오드는 전송하고자 하는 통신 신호에 따라 온/오프가 결정된다. 예컨대, 서로 다른 이진 데이터에 온과 오프를 대응시키도록 할 수 있다. 다수의 발광 다이오드는 M×N의 매트릭스로 어레이 배열될 수 있고, 매트릭스 형태가 아니라 원형, 방사형, 타원형 등 다양한 형태로 배열될 수 있다.
한편, 모바일 단말기(130)는 일반적으로 사용되는 스마트폰, 태블릿 PC, 노트북 PC, 디지털 카메라 중 어느 하나가 될 수 있으며, 카메라 유닛(131), 이미지신호처리부(133)(image signal processor: ISP), 제어부(135), 표시부 등을 포함한다.
카메라 유닛(131)은 조명 장치(110)의 광신호를 감지하고 감지된 광신호를 전기 신호로 변환한다. 이러한 카메라 유닛(131)은 적어도 하나의 렌즈를 구비하여 피사체의 이미지를 형성하는 렌즈 유닛과, 렌즈 유닛에 의해 형성된 영상을 전기 신호로 검출하는 CCD 이미지 센서, CMOS 이미지 센서 등과 같은 이미지 센서를 포함한다.
이미지 센서는 초당 수 내지 수백 프레임으로 이미지를 획득할 수 있는 반도체 센서로서, 가시광 통신 링크에서 수신기(receiver)의 역할을 한다. 이러한 이미지 센서에는 발광 다이오드의 온/오프 펄스의 주파수와 동일한 프레임 속도로 다수의 발광 다이오드의 온/오프 이미지를 연속 프레임으로 획득한다. 즉, 발광 다이오드의 온/오프 펄스 주파수와 이미지 센서의 촬영 프레임 속도가 동일하므로 발광 다이오드의 각 펄스마다 광원의 온/오프 이미지를 획득한다.
이미지신호처리부(133)는 이미지 센서에서 획득한 연속 프레임의 온/오프 이미지로부터 데이터를 출력한다. 예컨대, 제1 프레임과 제2 프레임은 조명 장치(110)의 온 이미지를 촬영하고, 제2 프레임과 제4 프레임은 조명 장치(110)의 오프 이미지를 촬영한 일례를 도시한다. 이미지신호처리부(133)는 프레임의 온 이미지는 디지털 데이터 1로, 오프 이미지는 디지털 데이터 0으로 처리하여, 각 프레임은 순서대로 디지털 데이터 1-0-1-0을 얻게 된다. 이와 같이, 본 발명에 따른 가시광 통신 링크는 조명 장치(110)에서 전송하고자 하는 데이터에 대응하는 온/오프를 설정하고, 그 설정된 온/오프에 따라 조명 장치(110)의 발광원이 온/오프되면, 모바일 단말기(130)의 카메라 유닛(131)에서 이러한 발광원의 온/오프 이미지를 촬영하며, 이미지신호처리부(133)에서는 조명 장치(110)의 가시광 통신 신호를 디지털 신호로 획득한다.
제어부(135)는 제어 대상이 되는 장치와 유선 또는 무선으로 연결되어 이미지신호처리부(133)에서 획득한 가시광 통신 신호에 대응하는 제어 명령을 장치에 송신한다.
표시부(139)는 이미지신호처리부(133)로부터 입력된 영상 프레임을 화면에 표시한다. 이러한 표시부로는 액정표시장치(liquid crystal display: LCD), 터치 스크린(touch screen) 등을 사용할 수 있다.
한편, 본 발명의 일 실시예에 따른 동작 인식 시스템(100)의 조명 장치(110)와 모바일 단말기(130)는 가시광 통신을 수행하면서 동시에, 조명 장치(110)와 모바일 단말기(130) 사이에서 사용자의 신체 또는 입력 수단과 같은 오브젝트가 개입하여 특정한 동작을 행할 때, 해당 동작을 인식하고 동작에 대응하는 제어 신호를 독출하는 기능을 수행한다. 이를 위해 본 발명의 일 실시예에 따른 모바일 단말기(130)는 오브젝트의 동작을 인식하기 위한 동작 인식 모듈(137)을 더 포함한다.
동작 인식 모듈(137)은 이미지신호처리부(133)로부터 입력된 영상 프레임들로부터 오브젝트의 동작 패턴을 인식하고, 그 인식 결과를 제어부(135)로 출력한다.
구체적으로, 전술한 모바일 단말기(130)의 카메라 유닛(131)은 모바일 단말기(130) 상방의 공간에서 카메라 유닛(131)의 화각 내, 즉, 촬상 영역으로 들어온 오브젝트를 촬영한다. 전술한 것처럼 이미지 센서는 조명 장치(110)의 발광 다이오드의 온/오프 펄스의 주파수와 동일한 프레임 속도로 촬상 영역의 촬영하여 연속 프레임을 획득한다.
동작 인식 모듈(137)에서는 이미지 센서에서 획득한 연속 프레임에서, 오브젝트의 센트로이드를 감지하여 센트로이드의 위치 데이터를 획득한다. 그리고, 2 이상의 센트로이드의 위치 데이터로부터 오브젝트의 동작 패턴을 인식한다. 구체적으로, 동작 인식 모듈(137)은 오브젝트가 포함된 2 이상의 프레임에서 획득한 센트로이드의 위치를 시간순으로 연결하여 오브젝트의 동작 패턴을 인식한다.
도 4는 오브젝트에서 센트로이드를 검출하는 과정을 나타낸 개념도이다. 예컨대, 오브젝트가 사용자의 손바닥이라고 가정하면, 동작 인식 모듈(137)에서는 먼저 손바닥이 없고 배경만 촬영된 프레임의 이미지와 손바닥이 포함된 프레임의 이미지의 차이를 구해, 배경이 제거되고 손바닥의 영역만 남기는 차분 과정을 수행하여 차분 이미지를 얻는다. 다음, 미리 결정된 임계값을 이용하여 차분 이미지를 이진화 이미지로 변환하는 이진화 과정을 거치며, 이진화 이미지로부터 손바닥의 경계선은 1의 값을 가지고 나머지 영역은 모두 0의 값을 갖는 경계선 이미지를 얻는다. 이후, 손가락의 끝점을 검출하여 이를 센트로이드로 인식한다. 예컨대, 손바닥의 중심점에서 손가락의 경계선에 이르는 각 거리를 구하면, 손가락은 손바닥의 중심점에서 가장 거리가 먼 지점들이 되므로, 경계와 중심점의 거리에서 극대점을 검출하여 손가락의 끝점으로 인식할 수 있다. 영상을 이루는 각 프레임에는 하나의 센트로이드가 지정되며, 센트로이드는 프레임 내에서의 평면 위치 좌표로 특정된다.
도 5는 오브젝트가 카메라 유닛(131)의 촬영 영역에서 평면 수직 방향으로 하방 이동하는 경우에 각 프레임의 센트로이드를 연결하여 오브젝트의 동작을 인식하는 과정을 설명하기 위한 개념도이다. 예컨대, 획득한 연속 프레임 중 오브젝트가 포함된 프레임마다 센트로이드를 검출하고, 시간의 경과에 따라 센트로이드의 위치 좌표를 연결한다. 도 5에서는 4개의 프레임에서 손가락 끝점을 센트로이드로 인식하고, 각 프레임에서의 센트로이드 좌표를 연결한다. 각 센트로이드가 구성하는 패턴은 촬영 영역을 하방으로 횡단하는 직선이고, 이로부터 조명부와 카메라 유닛(131) 사이에 직선의 동작이 행해진 것으로 감지한다. 이와 같은 방식으로 오브젝트의 다양한 동작을 인식할 수 있으며, 도 6에는 오브젝트의 다양한 동작을 예시적으로 나타낸다.
한편, 제어부(135)는 동작 인식 모듈(137)에서 감지한 오브젝트의 동작 패턴에 대응하는 제어 신호를 획득한다. 제어부(135)에는 동작 패턴에 해당하는 제어 신호에 대한 정보가 미리 저장되어 있고, 이러한 정보에 기초하여, 감지된 동작 패턴에 해당하는 제어 신호를 획득한다. 예를 들면, 오브젝트의 동작 패턴이 평면 수직 하방 직선일때 그에 대응하는 제어 신호로서 전원 온(ON) 작동 신호를 획득한다. 또, 원을 형성하는 동작 패턴은 그레 대응하는 제어 신호로서 전원 오프(OFF) 신호를 획득한다. 그 밖에 기본적인 온오프 제어 신호뿐만 아니라, "증가" 또는 "감소"와 같이 보다 진보된 제어 신호도 획득할 수 있다.
모바일 단말기(130)에 장착되는 카메라 유닛(131)은 렌즈의 종류에 따라 화각이 다양한데, 표준 렌즈는 화각이 약 80도이고, 광각 렌즈의 경우에는 화각이 약 135도에 이른다. 이와 같이 모바일 단말기(130)의 카메라 유닛(131)은 그 렌즈의 화각이 넓기 때문에 카메라 유닛(131)의 상방에서 오브젝트가 동작을 수행하는 과정에서 빛의 수신을 일부 방해하더라도, 조명 장치(110)와 카메라 유닛(131) 사이의 가시광 통신에는 영향을 주지 않으면서 오브젝트의 동작 패턴 인식이 가능하다는 이점이 있다.
한편, 본 발명의 또 다른 실시예(이하, 제2 실시예)에 따르면, 오브젝트가 모바일 단말기(130)의 상방에서 x-y 평면에서 동작하는 경우뿐만 아니라, 오브젝트가 모바일 단말기(130)의 일면에 수직한 z축 법선 상에서 움직이는 동작에 대해서도 패턴을 인식하는 것이 가능하다. 예컨대, 모바일 단말기(130)의 전면 상방에서 출발하여 점점 전면에 근접하도록 오브젝트를 수직 하방 이동시킬 경우에도 해당 동작의 패턴을 인식할 수 있다.
카메라 유닛(131)은 모바일 단말기(130)의 일면 내부에 실장되어 단말기의 전면 상방의 공간을 촬영하도록 렌즈가 전면에 배향된다. 조명 장치(110)에서 발산된 광은 모바일 단말기(130)의 전면에서 반사되고, 반사광은 단말기의 전면 상방의 공간에 위치한 오브젝트에 조사되며, 오브젝트에 반사된 빛이 카메라 유닛(131)의 렌즈로 향하는데, 오브젝트가 카메라 유닛(131)으로부터 소정의 한계 높이 이내에 존재할 때에는 손가락에서 반사된 빛이 큰 손실 없이 카메라 유닛(131)으로 입사하기 때문에, 프레임에는 손가락의 광량이 주위보다 높아 손가락이 밝게 나타난다. 본 발명의 제2 실시예에 따른 동작 인식 모듈(137)은 오브젝트에서 반사되어 렌즈로 입사는 빛의 광량을 측정하여, 오브젝트의 광량이 미리 설정된 한계값보다 클 경우에 유효한 데이터로 인식하도록 설정될 수 있다.
그리고, 오브젝트와 카메라 유닛(131) 사이의 거리에 따라 광량이 변하는데, 오브젝트가 카메라 유닛(131)으로부터 멀어질수록 광량은 줄어들고, 카메라 유닛(131)에 가까워질수록 광량이 증가한다. 오브젝트의 광량이 전술한 한계값을 최초로 초과한 후 광량이 계속적으로 증가하는 경우에는 오브젝트가 카메라 유닛(131)에 근접한 움직임으로 추정되고, 오브젝트의 광량이 점차적으로 감소하여 전술한 한계값보다 낮아지는 경우에는 오브젝트가 카메라 유닛(131)으로부터 멀어지는 움직임으로 추정할 수 있다.
이와 같이, 제2 실시예에 따른 동작 인식 모듈(137)은 오브젝트에서 반사된 광량의 세기를 감지함으로써, 광량의 증감에 따라 오브젝트가 모바일 단말기(130)의 법선 방향을 따라 움직이는 동작에 대하여 패턴을 인식하는 것이다.
한편, 일반적으로 모바일 단말기(130)의 전면에는 평면 유리 액정이 설치되기 때문에, 모바일 단말기(130)의 전면에 입사된 광은 유리 액정에 의해 반사 효율이 높다. 이에 따라, 액정에서 반사되어 오브젝트에 입사된 반사광은 광량이 크고, 이에 따라 오브젝트에서 반사되어 렌즈로 입사하는 광의 광량 역시 크다. 이와 같이, 모바일 단말기(130)에 설치된 카메라 유닛(131)을 사용하여 오브젝트의 동작을 감지하는 본 발명의 실시예에서는 모바일 단말기(130)의 평면 액정에 기인하여 오브젝트의 광량을 보다 정확하게 인식 가능하고, 오브젝트의 위치 이동에 의한 광량 변화도 효율적으로 측정하는 것이 가능한 이점이 있다.
이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함되는 것으로 이해되어야 한다.
100: 동작 인식 시스템 110: 조명 장치
130: 모바일 단말기 131: 카메라 유닛
133: 이미지신호처리부 135: 제어부
137: 동작 인식 모듈

Claims (4)

  1. 적어도 하나의 발광원을 구비하는 조명 장치; 및
    상기 조명 장치에서 출력되는 가시광 통신 신호를 수신하는 모바일 단말기;
    를 포함하고,
    상기 모바일 단말기는,
    상기 가시광 통신 신호를 수신하는 이미지 센서를 구비하는 카메라 유닛;
    상기 이미지 센서에서 획득한 영상으로부터 가시광 통신 신호를 인식하는 이미지신호처리부; 및
    제어부;를 더 포함하며,
    상기 모바일 단말기는 상기 조명 장치와 상기 모바일 단말기 사이에서 움직이는 오브젝트의 동작 패턴을 인식하는 동작 인식 모듈을 더 포함하며,
    상기 카메라 유닛의 이미지 센서는 상기 오브젝트의 영상을 획득하고,
    상기 동작 인식 모듈은 상기 이미지 센서에서 획득한 영상에서, 상기 오브젝트의 센트로이드를 감지하여 센트로이드의 위치 데이터를 획득하고, 2 이상의 센트로이드의 위치 데이터로부터 상기 오브젝트의 동작 패턴을 인식하며,
    상기 제어부는 상기 오브젝트의 동작 패턴에 대응하는 제어 신호를 획득하는 것을 특징으로 하는,
    모바일 단말기의 카메라를 이용한 동작 인식 시스템.
  2. 제1항에 있어서,
    상기 이미지 센서에서 획득한 영상은 복수의 연속 프레임으로 구성되고,
    상기 동작 인식 모듈은 오브젝트가 포함된 2 이상의 프레임에서 획득한 센트로이드의 위치를 시간순으로 연결하여 상기 오브젝트의 동작 패턴을 인식하는 것을 특징으로 하는,
    모바일 단말기의 카메라를 이용한 동작 인식 시스템.
  3. 제1항에 있어서,
    상기 제어부에는 오브젝트 동작 패턴에 대응하는 제어 신호에 대한 정보가 미리 설정되어 저장되는 것인,
    모바일 단말기의 카메라를 이용한 동작 인식 시스템.
  4. 제1항에 있어서,
    상기 발광원은 발광 다이오드(Light Emitting Diode)이고, 상기 조명 장치는 복수 개의 발광 다이오드가 가로 및 세로로 어레이 배열되어 구성되는 것인,
    모바일 단말기의 카메라를 이용한 동작 인식 시스템.
KR1020170082032A 2017-06-28 2017-06-28 모바일 단말기의 카메라를 이용한 동작 인식 시스템 KR20190001856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170082032A KR20190001856A (ko) 2017-06-28 2017-06-28 모바일 단말기의 카메라를 이용한 동작 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170082032A KR20190001856A (ko) 2017-06-28 2017-06-28 모바일 단말기의 카메라를 이용한 동작 인식 시스템

Publications (1)

Publication Number Publication Date
KR20190001856A true KR20190001856A (ko) 2019-01-07

Family

ID=65017063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082032A KR20190001856A (ko) 2017-06-28 2017-06-28 모바일 단말기의 카메라를 이용한 동작 인식 시스템

Country Status (1)

Country Link
KR (1) KR20190001856A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080677A (zh) * 2019-12-23 2020-04-28 天津理工大学 一种污染修复场地中工作人员实时分区作业的防护方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080677A (zh) * 2019-12-23 2020-04-28 天津理工大学 一种污染修复场地中工作人员实时分区作业的防护方法
CN111080677B (zh) * 2019-12-23 2023-09-12 天津理工大学 一种污染修复场地中工作人员实时分区作业的防护方法

Similar Documents

Publication Publication Date Title
US11080497B2 (en) Attachment including a targeting optic system that directs illumination from a white light source towards a target area
US7750969B2 (en) Camera calibration system and three-dimensional measuring system
EP3660575A1 (en) Eye tracking system and eye tracking method
CN107845627B (zh) 多接近度检测光传感器
KR20130093699A (ko) 광정보 전송장치 및 광정보 수신장치
US11450296B2 (en) Fade-in user interface display based on finger distance or hand proximity
CN101901087B (zh) 基于线性图像传感器的表面定位装置及方法
US9668319B2 (en) Lighting system and control method thereof
US20140015417A1 (en) Lighting control system
CN110709853B (zh) 具有范围和光级别检测的图像传感器
TW201626174A (zh) 具高追蹤速度的光學導航裝置
CN105094309A (zh) 光学感测模组以及移动装置
CN115769258A (zh) 用于漫射照明和结构光的投影仪
KR20190001856A (ko) 모바일 단말기의 카메라를 이용한 동작 인식 시스템
KR101872757B1 (ko) 광학 센서 장치 및 광학 센싱 방법
KR100843590B1 (ko) 광 포인팅 장치 및 이를 구비한 휴대 단말기
US20150138433A1 (en) Illumination Control System and Illumination Control Method
KR20180000159A (ko) 광학 센서 모듈 및 광학 센싱 방법
US20220272256A1 (en) Information processing device, visual line detection system, visual line detection method, and visual line detection program
US20140132500A1 (en) Method and apparatus for recognizing location of moving object in real time
US10942607B2 (en) Manipulation detection device and video display system that are capable detecting an object on a video display surface
JP2008026731A (ja) マーカー装置
JP6362282B2 (ja) スキャナユニット及びイメージスキャナ装置
KR101608242B1 (ko) 양방향 콘텐츠를 제공하는 지능형 테이블
CN111721232B (zh) 三维感测装置、发光模块及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application