KR101775080B1 - Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법 - Google Patents

Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법 Download PDF

Info

Publication number
KR101775080B1
KR101775080B1 KR1020160070503A KR20160070503A KR101775080B1 KR 101775080 B1 KR101775080 B1 KR 101775080B1 KR 1020160070503 A KR1020160070503 A KR 1020160070503A KR 20160070503 A KR20160070503 A KR 20160070503A KR 101775080 B1 KR101775080 B1 KR 101775080B1
Authority
KR
South Korea
Prior art keywords
user
motion
pressure
image
drawing means
Prior art date
Application number
KR1020160070503A
Other languages
English (en)
Inventor
조경은
치옥용
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020160070503A priority Critical patent/KR101775080B1/ko
Priority to PCT/KR2016/012235 priority patent/WO2017213307A1/ko
Application granted granted Critical
Publication of KR101775080B1 publication Critical patent/KR101775080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 NUI／NUX에 기반하여 디지털 드로잉 영상을 처리하는 장치 및 방법에 관한 것으로, 사용자의 실제 드로잉(drawing) 영상과 드로잉 중 손의 압력을 입력받아 사용자의 드로잉 패턴을 미리 학습하고, 사용자의 드로잉 모션(drawing motion)을 입력받아 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하고, 인식된 드로잉 수단의 움직임을 미리 학습된 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하며, 사용자의 드로잉 모션에 대응하여 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력한다.

Description

ＮＵＩ／ＮＵＸ에 기반하여 드로잉 영상을 처리하는 장치 및 방법{Drawing image processing apparatus and method based on natural user interface and natural user experience}
본 발명은 디지털 드로잉(digital drawing)을 구현하는 기술에 관한 것을, 특히 인간에게 가장 직관적인 NUI(natural user interface)를 통해 드로잉 동작으로부터 직관적인 드로잉 영상을 생성하는 드로잉 영상의 처리 장치, 방법 및 그 방법을 기록한 기록매체에 관한 것이다.
웹툰(web-toon)과 같은 인터넷 만화 서비스가 유행하면서 태블릿(tablet)을 이용하여 그림을 그리는 사람이 많아졌고 일반인들도 캘리그라피나 취미용 그림을 그리는 등 디지타이저를 이용한 디지털 드로잉이 점차 대중화되고 있다.
기존의 디지털 드로잉 기술은 전자 펜(pen)을 사용하여 특수한 소프트웨어를 통해 디지털 캔버스 상에 그림을 그리는 효과를 구현하는 방식으로 이루어진다. 이와 더불어, 터치 기술을 사용하여 손가락이나 스타일러스를의 궤적을 추적하여 그림을 그리는 방식도 존재한다. 이러한 방식들은 특수한 펜이나 감지 수단을 사용해야 하며, 그림을 그릴 때 실제 펜이나 붓과는 그 감각이 다를 뿐만 아니라, 실제 드로잉에서 체감할 수 있는 조작성을 제공할 수 없었다. 또한, 이러한 감각이 실제 드로잉과는 괴리되어 있어 그림 연습에도 도움이 되지 않았다.
이하에서 제시되는 선행기술문헌에는 자기장 발생 수단이 구비된 펜을 이용하여 사용자 입력을 감지하는 기술적 수단이 소개되어 있는데, 이 역시 센서와 특수한 장치가 내장된 전용 전자 펜을 이용하여야 한다는 점에서 상기된 바와 동일한 문제점이 예상된다.
따라서, 일반인들에게는 전용 전자 펜이나 태블릿과 같은 특수한 장비를 사용하지 않고도 실제 연필, 펜이나 붓과 같은 그림 도구를 이용하여 그림을 그리는것과 유사한 체감을 제공할 수 있는 간편한 디지털 영상 처리 수단이 요구된다.
한국 특허공개공보 10-2015-0080480, 2015.07.09 공개
본 발명이 해결하고자 하는 기술적 과제는, 종래의 디지털 드로잉 기술이 전용 전자 펜이나 태블릿과 같은 고가의 전문가용 장비를 활용하여야 하는 관계로 일반 사용자가 사용하기 어려운 문제를 해결하고, 이러한 전자 펜을 이용한 드로잉이 실제의 그림 그리기의 경우와 감각이 상이하거나 현장감을 제공하지 못하는 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 드로잉 영상 처리 방법은, 사용자의 실제 드로잉(drawing) 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하는 단계; 사용자의 드로잉 모션(drawing motion)을 입력받고, 입력된 상기 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하는 단계; 인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하는 단계; 및 상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 단계를 포함한다.
일 실시예에 따른 드로잉 영상 처리 방법에서, 상기 사용자의 드로잉 패턴을 미리 학습하는 단계는, 깊이 카메라를 이용하여 상기 사용자의 실제 드로잉에 대한 3차원 영상을 획득하는 단계; 상기 사용자의 손에 부착된 근전도(electromyogram, EMG) 센서를 이용하여 상기 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하고 드로잉 수단의 필압으로 변환하는 단계; 및 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장하는 단계를 포함할 수 있다. 또한, 상기 사용자의 드로잉 패턴은, 실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함할 수 있다. 나아가, 상기 사용자의 드로잉 패턴은, 상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장될 수 있다.
일 실시예에 따른 드로잉 영상 처리 방법에서, 상기 드로잉 수단의 움직임을 인식하는 단계는, 깊이 카메라를 이용하여 입력된 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하는 단계; 및 추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출하는 단계를 포함할 수 있다. 또한, 상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며, 상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별하는 단계를 더 포함할 수 있다.
일 실시예에 따른 드로잉 영상 처리 방법에서, 상기 스트로크 정보를 독출하는 단계는, 인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하는 단계; 및 미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환하는 단계를 포함할 수 있다.
일 실시예에 따른 드로잉 영상 처리 방법은, 디스플레이 수단을 이용하여 가상의 캔버스 공간을 출력하되, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시하는 단계를 더 포함할 수 있다.
한편, 이하에서는 상기 기재된 드로잉 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 드로잉 영상 처리 장치는, 사용자의 실제 드로잉(drawing) 영상 또는 사용자의 드로잉 모션(drawing motion)을 입력받는 깊이 카메라; 사용자의 손에 부착되어 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하는 근전도(electromyogram, EMG) 센서; 사용자의 드로잉 모션에 대응하는 드로잉 영상을 생성하는 프로그램을 저장하는 메모리; 및 상기 드로잉 영상을 생성하는 프로그램을 구동하는 프로세서를 포함하되, 상기 메모리에 저장된 프로그램은, 사용자의 실제 드로잉 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하고, 사용자의 드로잉 모션을 입력받아 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하고, 인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하며, 상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 명령어를 포함한다.
일 실시예에 따른 드로잉 영상 처리 장치에서, 상기 메모리에 저장된 프로그램은, 상기 사용자의 실제 드로잉 영상에 대한 3차원 영상을 획득하고, 상기 손의 압력을 드로잉 수단의 필압으로 변환하며, 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장함으로써, 상기 사용자의 드로잉 패턴을 미리 학습할 수 있다. 또한, 상기 사용자의 드로잉 패턴은, 실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함할 수 있다. 나아가, 상기 사용자의 드로잉 패턴은, 상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장될 수 있다.
일 실시예에 따른 드로잉 영상 처리 장치에서, 상기 메모리에 저장된 프로그램은, 상기 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하고, 추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출함으로써, 상기 드로잉 수단의 움직임을 인식할 수 있다. 또한, 상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며, 상기 메모리에 저장된 프로그램은, 상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별할 수 있다.
일 실시예에 따른 드로잉 영상 처리 장치에서, 상기 메모리에 저장된 프로그램은, 인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하고, 미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환함으로써, 상기 스트로크 정보를 독출할 수 있다.
일 실시예에 따른 드로잉 영상 처리 장치는, 가상의 캔버스 공간을 출력하는 디스플레이 수단을 더 포함하되, 상기 디스플레이 수단은, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시할 수 있다.
본 발명의 실시예들은, 특수한 전자 펜이나 디지타이저가 아닌 인간에게 가장 친숙한 드로잉 모션을 NUI를 통해 디지털 드로잉을 구현함으로써 보다 현장감있는 드로잉 체험을 사용자에게 제공하는 것이 가능하고, NUI/NUX를 기반으로 함으로써 연령대에 무관하게 전문가가 아닌 일반인들에게도 디지털 영상에 대한 빠르고 친숙한 적응과 용이한 조작을 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 NUI／NUX에 기반하여 드로잉 영상을 처리하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 실시예들이 구현되는 개괄적인 환경과 이에 수반된 장치를 도시한 도면이다.
도 3은 본 발명의 실시예들의 동작에 따른 데이터의 흐름을 도시한 도면이다.
도 4 및 도 5는 드로잉 수단의 움직임을 인식하는 방법을 설명하기 위한 도면이다.
도 6은 사용자의 필압을 측정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 NUI／NUX에 기반하여 드로잉 영상을 처리하는 장치를 도시한 블록도이다.
디지털 드로잉을 구현하는 종래의 기술적 수단은 특수하게 마련된 전자 펜을 사용하여야 하는 관계로 전문가들이 아닌 일반 사용자들이 사용을 어렵게 만드며, 특히 그림을 그릴 때 실제 그림을 그리는 펜이나 붓과는 그 감각이 상이하여 실제 회화 연습에는 큰 도움이 되지 않는다. 즉, 디지타이저(digitizer)를 통해 드로잉 연습을 반복하더라도 실제 캔버스에 그림을 그리는 것과는 다른 감각을 체득하게 되며, 그로 인해 여전히 경험이 부족한 일반 사용자는 캔버스나 종이 상에서 그림을 그리기 어렵다.
이하에서 기술되는 본 발명의 실시예들은 상기된 문제점들을 해소하기 위해 안출된 것으로서, 인간에게 가장 직관적인 NUI 기술을 사용하여 소환 현실 기반의 디지털 드로잉 시스템을 구현하고자 한다. 이러한 디지털 드로잉 시스템은 일반 태블릿의 특수한 전자 펜을 사용하지 않고 보통의 드로잉 수단, 예를 들어 연필, 펜이나 붓, 심지어 편 형상의 막대만을 사용하여서도 디지털 드로잉을 구현하는 것이 가능하다. 본 발명의 실시예들을 통해 사용자는 마치 실제 캔버스 상에서 그림을 그리는 방식으로 프로젝트가 투영한 화면이나 디스플레이 화면 상에서 자유롭게 드로잉 모션을 취하면서 그림을 그릴 수 있다. 또한, 실제 드로잉 수단을 사용할 때와 유사하게 펜/붓의 기울어진 각도, 누르는 힘의 크기나 펜/붓을 움직이는 속도에 따라 자연스럽게 그림 효과가 구현될 수 있다. 사용자는 일반 드로잉 수단, 심지어 막대를 사용할 수 있으며, 그림을 그리는 대상(예를 들어 종래의 태블릿과 같은 특수한 장비)이나 위치에 구애받지 않고 일반 종이나 캔버스, 심지어 벽과 같은 다양한 평면/곡면에도 실제와 유사한 감각으로 그림을 그릴 수 있다. 또한, 사용자가 펜/붓을 쥐는 힘을 측정하여 필압으로 변환하되, 펜/붓의 방향 및 힘의 크기에 따라 현실감 있는 그림 효과를 구현할 수 있다.
이하에서는, 도면을 참조하여 상기된 기술적 과제를 해결하기 위한 본 발명의 실시예들을 구체적으로 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 명칭 및 도면 부호로 나타내고 있음에 유의하여야 한다.
도 1은 본 발명의 일 실시예에 따른 NUI／NUX에 기반하여 드로잉 영상을 처리하는 방법을 도시한 흐름도이다.
S110 단계에서, 드로잉 영상 처리 장치는, 사용자의 실제 드로잉(drawing) 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습한다. 그림이나 필기는 사람마다 습관의 차이가 있는데, 본 발명의 실시예들에서는 개인의 드로잉/작도 습관을 손가락에 가하는 힘과 펜/붓을 쥐고 움직이는 각도 및 방향 정보를 기준으로 드로잉 패턴을 학습한다. 그림을 그리거나 필기를 할 때에는 손가릭에 가하는 힘이 끊임없이 변화하며, 이는 사용자의 손에 부착된 근전도(electromyogram, EMG) 센서를 통해 획득된 개인별 근전도 데이터 패턴으로부터 확인할 수 있다.
즉, 사용자의 드로잉 패턴을 미리 학습하는 S110 과정은, 깊이 카메라를 이용하여 상기 사용자의 실제 드로잉에 대한 3차원 영상을 획득하고, 상기 사용자의 손에 부착된 근전도(electromyogram, EMG) 센서를 이용하여 상기 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하고 드로잉 수단의 필압으로 변환하며, 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장함으로써, 구현될 수 있다. 특히, 드로잉 패턴을 학습하는 과정에서 축적된 근전도 데이터를 이용하여, 이후 사용자가 실제 디지털 드로잉 영상을 생성하는 경우에는 근전도 센서의 부착과 같은 번거로운 작업이 없이도 자연스러운 드로잉 모션만으로 그에 적합한 스트로크(stroke) 정도를 획득할 수 있다.
S120 단계에서, 상기 드로잉 영상 처리 장치는, 깊이 카메라를 이용하여 사용자의 드로잉 모션(drawing motion)을 입력받고, 입력된 상기 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하며, 이 과정에서는 별도의 근전도 센서가 불필요하다.
S130 단계에서, 상기 드로잉 영상 처리 장치는, S120 단계를 통해 인식된 상기 드로잉 수단의 움직임을 S110 단계를 통해 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출한다. 같은 궤적의 선을 그리더라도 사용자마다 펜을 쥐는 방향이나 각도가 다른데, 각각의 사용자마다 학습된 근전도 데이터로부터 사용자의 필압을 추정할 수 있으며, 획득된 영상으로부터 펜/붓 영역을 추정한 후 해당 영역에 대한 깊이(depth) 이미지에서 펜의 상태를 추정할 수 있다.
보다 구체적으로, 스트로크 정보를 독출하는 S130 단계는, 인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하고, 미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환하는 것이 바람직하다.
S140 단계에서, 상기 드로잉 영상 처리 장치는, 이제 상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력한다. 즉, 현재의 디지털 프로세서의 연산 능력을 바탕으로 S120 단계 내지 S140 단계는 실시간으로 처리될 수 있으며, 마치 사용자의 자연스러운 드로잉 모션에 반응하여 드로잉 영상이 사용자가 쥐고 있는 드로잉 수단의 말단에서 그려지는 것처럼 동작하게 된다. 이를 위해 드로잉 영상을 출력하는 수단은 깊이 카메라나 센서를 이용하여 사용자가 쥐고 있는 드로잉 수단의 말단을 인식하고, 인식된 말단의 위치에 대응하여 앞서 생성된 드로잉 영상을 표시하는 것이 바람직하다.
도 2는 본 발명의 실시예들이 구현되는 개괄적인 환경과 이에 수반된 장치를 도시한 도면이다.
보통의 평면 상에 영상을 출력하는 디스플레이 수단으로서 프로젝터(60A) 또는 디스플레이 장치(60B)를 설치한다. 이러한 디스플레이 수단(60A 또는 60B)을 이용하여 가상의 캔버스 공간을 출력하되, 이후 사용자의 드로잉 모션에 대응하여 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시함으로써 사용자에게 NUX를 제공하게 된다.
이와 더불어, 사용자의 드로잉 모션을 감지하기 위한 깊이 카메라(10)를 설치하고, 필압을 감지하기 위한 근전도 센서(20)를 사용자의 손의 일부에 부착한다. 프로젝터(60A)와 깊이 카메라(10)는 사용자에게 영향을 주지 않는 정도의 위치, 예를 들어 약 1.5m 위에 설치할 수 있다. 이렇게 설치된 깊이 카메라(10)를 통해 사용자의 손과 펜/붓의 움직임을 인식할 수 있으며, 근전도 센서(20)를 통해 사용자가 그림을 그릴 때 얼마만큼의 힘을 사용하지를 측정함으로써 필압 속성을 판단할 수 있다.
도 3은 본 발명의 실시예들의 동작에 따른 데이터의 흐름을 도시한 도면이다.
앞서 도 2를 통해 설명한 바와 유사하게, 구현의 관점에서 드로잉 영상 처리 방법을 구현하는 소프트웨어를 구동하는 프로세서(30) 내지 제어기, 예를 들어 컴퓨터를 이용하되, 컴퓨터와 프로젝터(60) 및 깊이 카메라(10)를 연결하여 책상 위쪽에서 책상을 바라보도록 배치한다. 연결된 프로젝터(60)를 통해 책상 위에 드로잉 화면을 투영시키고 드로잉 프로그램을 실행시키면 깊이 카메라(10)가 작동하기 시작한다.
깊이 카메라(10)를 통해 사용자가 쥐고 있는 펜/붓을 인식하고 그림을 그리거나 글씨를 쓸 수 있는 드로잉 모드(mode)로 전환하는데, 이때 사용자는 캔버스나 흰 종이 위에 펜/붓을 이용한 드로잉 모션을 통해 그림을 그리게 될 것이다. 사용자가 종이 위에 그림을 그리거나 글씨를 쓰는 드로잉 모션을 취한다면 이를 인식하여 프로그램 내부에서 벡터 형태의 연결된 선으로 인식된 펜의 이동 위치에 따라 디지털 영상을 생성하여 책상 위의 화면에 투영시킨다.
사용자가 펜/붓을 사용하여 그림을 그릴 때 펜의 높낮이에 대한 깊이 데이터, 만약 필요하다면 근전도 센서를 사용하여 사용자의 근전도를 파악한 데이터를 미리 학습시켜 놓은 데이터(50)를 기준으로 비교하여 필압을 추정할 수 있다. 또한, 사용자가 그리는 기능만 아니고 제스처 인식기능으로 간단한 제스처를 사용하여 빠르게 색깔을 바꿀 수 있고 지우개 기능 등으로 전환할 수도 있을 것이다.
앞서 도 1을 통해 소개한 바와 같이, 본 발명의 실시예들은 사용자의 드로잉 패턴을 미리 학습하는 과정이 선행되어야만 한다. 보다 구체적으로, 이 과정은, 깊이 카메라(10)를 이용하여 사용자의 실제 드로잉에 대한 3차원 영상을 획득하고, 상기 사용자의 손에 부착된 근전도(electromyogram, EMG) 센서를 이용하여 상기 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하고 드로잉 수단의 필압으로 변환하며, 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장하는 것이 바람직하다.
이러한 사전 학습을 위해 사용자는 근전도 센서를 착용한 상태에서 펜으로 그림 또는 필기를 수행하며, 사용자의 근전도 데이터와 깊이 데이터(펜/붓의 각도 내지 자세가 포함된다)를 수집하여 개인화된 드로잉 패턴에 관한 학습 데이터베이스(50)를 구축한다. 예를 들어, 하나의 프레임(frame)의 펜/붓의 상태 데이터는 다음의 수학식 1과 같은 데이터 집합으로 구성될 수 있다.
Figure 112016054639479-pat00001
여기서, Angle은 펜의 각도, Velocity는 펜의 속도 벡터이다. n은 현재의 프레임을 나타내고 n-1은 이전 프레임을 나타낸다.
펜/붓의 이러한 상태 값과 근전도 데이터를 대응시켜 학습이 진행된다. 학습은 연속적인 두 개의 프레임에서의 펜/붓의 상태 값의 차이에 따른 근전도 데이터 값의 변화를 매칭하여 수행된다. 학습이 수행된 후, 사용자가 펜/붓을 조작함에 따라 변화하는 펜/붓 상태를 기반으로 근전도 센서가 없이도 사용자가 의도한 필압을 추정할 수 있다.
요약하건대, 사용자의 드로잉 패턴은, 실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함하는 것이 바람직하다. 또한, 이러한 사용자의 드로잉 패턴은, 상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장될 수 있으며, 이후 학습된 데이터베이스(50)를 조회함으로써 개인의 고유 스트로크를 인식하는데 도움을 준다.
도 4 및 도 5는 드로잉 수단의 움직임을 인식하는 방법을 설명하기 위한 도면이다.
도 4의 [A]를 참조하면, 먼저 깊이 카메라(10)를 통해 획득한 깊이 데이터를 통해 캔버스 공간(예를 들어, 책상 평면이 될 수 있다)의 깊이 값을 저장한다. 이를 사용하여 나중에 기준 깊이 값보다 높은 깊이 값만을 인식 대상으로 취사 선택하고 나머지 정보는 폐기한다.
이제 도 4의 [B]를 참조하면, 깊이 카메라(10)의 인식 범위 내에 사용자의 손이 진입한 경우, 손부분의 깊이 데이터를 감지하고 이에 대응하는 위치의 2D 이미지 데이터를 분석하여 피부와 같은 색상 분포를 판별하여 손 영역으로 인식시킬 수 있다.
도 5를 참조하면, 사용자의 손 아래 부분이 캔버스와 가장 가까운 위치에서 손이 아닌 오브젝트의 2D 및 3D 이미지 데이터를 함께 활용하여 펜/붓의 움직임과 종류를 인식할 수 있다. 손 아래 부분이 보이지 않는 상황에서 손 위의 영역을 확인하여 3D 데이터의 분포를 계산하고, 원기둥 형태를 형성하는 오브젝트이면 펜/붓으로 판단한다. 원기둥의 각도와 손의 높이에 따라 보이지 않는 펜의 하단부의 위치를 찾을 수 있다. 또한, 이런 방식으로 펜의 각도를 측정할 수 있으며, 펜/붓의 스트로크 효과를 각도에 따라 구현할 수 있다.
한편, 펜의 상/하단 영역으로부터 획득된 3D 데이터에 대응하는 2D 데이터를 획득할 수 있다. 이렇게 획득된 2D 데이터를 사용하여 기준 데이터베이스 내에 저장된 펜/붓를 비교하여 그 종류를 추정하고, 가장 유사한 펜/붓의 스트로크 효과를 선택한다. 이로부터 사용자가 어떤한 종류의 펜이나 붓을 사용하더라도 자연스러운 그림을 구현하는 것이 가능하다.
요약하건대, 본 발명의 실시예들은, 깊이 카메라를 이용하여 입력된 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하고, 추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출함으로써, 드로잉 수단의 움직임을 인식할 수 있다. 이러한 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지거나 심지어 막대가 될 수도 있으며, 상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별하는 것이 가능하다.
도 6은 사용자의 필압을 측정하는 방법을 설명하기 위한 도면으로서, 반지 형태로 제작된 근전도 센서(20)를 이용하여 사용자의 드로잉 중의 손가락 근육의 근전도 데이터를 측정하는 상황을 예시하였다.
먼저, 다수의 사용자에 대해 필기 및 그릴 때의 손가락의 근전도 데이터를 수집한다. 근육의 정지 상태 및 필기 상태에 따라 근전도 데이터가 구별될 수 있으며, 사용자의 성별과 연령대에 따라 데이터를 분류할 수도 있다. 사용자로부터 수집된 데이터를 서포트 벡터 머신(support vector machine, SVM) 등의 분류 알고리즘을 통해 그 유형을 분류한다.
이제 사용자에 대해 드로잉 시의 힘을 많이 안 쓰는 상황과 많이 쓰지 않는 상황을 구별할 수 있으며, 이러한 방식으로 학습된 데이터베이스를 생성한다. 다만, 실제 사용자가 사용할 때에는, 먼저 사용자가 필기하는 동작을 수행시키고 근전도 데이터의 정확도를 보정하는 것이 바람직하다. 사람마다 근육량의 차이가 존재하므로 드로잉 영상 처리 전에 사용자의 실제 측정된 근전도 데이터와 미리 구축된 데이터베이스 내의 근전도 데이터를 비교하여 보정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 NUI／NUX에 기반하여 드로잉 영상을 처리하는 장치(700)를 도시한 블록도로서, 앞서 도 1을 통해 기술한 드로잉 영상의 처리 방법의 각 단계에 대응하는 기능 블록을 포함한다. 따라서, 설명의 중복을 피하기 위해, 여기서는 하드웨어의 연결 구조를 중심으로 각 구성의 동작을 약술하도록 한다.
깊이 카메라(10)는, 사용자의 실제 드로잉(drawing) 영상 또는 사용자의 드로잉 모션(drawing motion)을 입력받는 수단이고, 근전도(electromyogram, EMG) 센서(20)는, 사용자의 손에 부착되어 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하는 수단이다. 이들 장치(10, 20)로부터 측정된 값들은 프로세서(30)에 제공된다.
메모리(40)는, 사용자의 드로잉 모션에 대응하는 드로잉 영상을 생성하는 프로그램을 저장하며, 적어도 하나의 프로세서(30)를 구비하여 상기 드로잉 영상을 생성하는 프로그램을 구동한다.
이때, 상기 메모리(40)에 저장된 프로그램은, 사용자의 실제 드로잉 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하고, 사용자의 드로잉 모션을 입력받아 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하고, 인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하며, 상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 명령어를 포함한다.
메모리(40)에 저장된 프로그램은, 상기 사용자의 실제 드로잉 영상에 대한 3차원 영상을 획득하고, 상기 손의 압력을 드로잉 수단의 필압으로 변환하며, 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장함으로써, 상기 사용자의 드로잉 패턴을 미리 학습하는 것이 바람직하다. 또한, 상기 사용자의 드로잉 패턴은, 실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함할 수 있다. 나아가, 상기 사용자의 드로잉 패턴은, 상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장될 수 있다.
상기 메모리(40)에 저장된 프로그램은, 상기 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하고, 추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출함으로써, 상기 드로잉 수단의 움직임을 인식하는 것이 바람직하다. 여기서, 상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며, 상기 메모리에 저장된 프로그램은, 상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별할 수 있다.
상기 메모리(40)에 저장된 프로그램은, 인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하고, 미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환함으로써, 상기 스트로크 정보를 독출하는 것이 바람직하다.
나아가, 본 발명의 일 실시예에 따른 드로잉 영상 처리 장치(700)는, 가상의 캔버스 공간을 출력하는 디스플레이 수단(60)을 더 포함하되, 상기 디스플레이 수단(60)은, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시할 수 있다. 또한, 이때 표시되는 드로잉 영상은 사용자가 쥐고 있는 드로잉 수단의 말단의 위치에 대응하여 표시되는 것이 바람직하다.
앞서 기술한 바와 같이 종래의 태블릿이나 디지타이저를 이용하는 경우 전용 전자 펜 내지 특수한 감지 수단을 필요로 하기 때문에 사용자는 실제로 그림을 그리는 것과 다른 느낌을 체감하게 된다. 이에 비해, 상기된 본 발명의 실시예들은, 인간에게 가장 친숙한 드로잉 모션을 NUI를 통해 인식시킴으로써, 마치 실제로 그림을 그리는 느낌을 사용자에게 제공하는 것이 가능하다. 특히, NUI/NUX를 기반으로 디지털 드로잉을 구현함으로써, 대부분의 연령대를 포함하여 전문가가 아닌 일반인들에게도 빠르고 친숙한 적응과 용이한 조작을 가능하게 한다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
700: 드로잉 영상 처리 장치
10: 깊이 카메라
20: 근전도 센서
30: 프로세서
40: 메모리
50: 학습 데이터베이스
60, 60A, 60B: 디스플레이 수단

Claims (17)

  1. 사용자의 실제 드로잉(drawing) 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하는 단계;
    사용자의 드로잉 모션(drawing motion)을 입력받고, 입력된 상기 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하는 단계;
    인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하는 단계; 및
    상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 단계를 포함하되,
    상기 사용자의 드로잉 패턴을 미리 학습하는 단계는,
    깊이 카메라를 이용하여 상기 사용자의 실제 드로잉에 대한 3차원 영상을 획득하는 단계;
    상기 사용자의 손에 부착된 근전도(electromyogram, EMG) 센서를 이용하여 상기 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하고 드로잉 수단의 필압으로 변환하는 단계; 및
    획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장하는 단계를 포함하는 것을 특징으로 하는 드로잉 영상 처리 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 사용자의 드로잉 패턴은,
    실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함하는 것을 특징으로 하는 드로잉 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 사용자의 드로잉 패턴은,
    상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장되는 것을 특징으로 하는 드로잉 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 드로잉 수단의 움직임을 인식하는 단계는,
    깊이 카메라를 이용하여 입력된 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하는 단계; 및
    추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출하는 단계를 포함하는 드로잉 영상 처리 방법.
  6. 제 5 항에 있어서,
    상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며,
    상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별하는 단계를 더 포함하는 드로잉 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 스트로크 정보를 독출하는 단계는,
    인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하는 단계; 및
    미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환하는 단계를 포함하는 드로잉 영상 처리 방법.
  8. 제 1 항에 있어서,
    디스플레이 수단을 이용하여 가상의 캔버스 공간을 출력하되, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시하는 단계를 더 포함하는 드로잉 영상 처리 방법.
  9. 제 1 항, 제 3 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 사용자의 실제 드로잉(drawing) 영상 또는 사용자의 드로잉 모션(drawing motion)을 입력받는 깊이 카메라;
    사용자의 손에 부착되어 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하는 근전도(electromyogram, EMG) 센서;
    사용자의 드로잉 모션에 대응하는 드로잉 영상을 생성하는 프로그램을 저장하는 메모리; 및
    상기 드로잉 영상을 생성하는 프로그램을 구동하는 프로세서를 포함하되,
    상기 메모리에 저장된 프로그램은,
    사용자의 실제 드로잉 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하고, 사용자의 드로잉 모션을 입력받아 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하고, 인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하며, 상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 명령어를 포함하며,
    상기 사용자의 실제 드로잉 영상에 대한 3차원 영상을 획득하고, 상기 손의 압력을 드로잉 수단의 필압으로 변환하며, 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장함으로써, 상기 사용자의 드로잉 패턴을 미리 학습하는 것을 특징으로 하는 드로잉 영상 처리 장치.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 사용자의 드로잉 패턴은,
    실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함하는 것을 특징으로 하는 드로잉 영상 처리 장치.
  13. 제 10 항에 있어서,
    상기 사용자의 드로잉 패턴은,
    상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장되는 것을 특징으로 하는 드로잉 영상 처리 장치.
  14. 제 10 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하고, 추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출함으로써, 상기 드로잉 수단의 움직임을 인식하는 것을 특징으로 하는 드로잉 영상 처리 장치.
  15. 제 14 항에 있어서,
    상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며,
    상기 메모리에 저장된 프로그램은, 상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별하는 것을 특징으로 하는 드로잉 영상 처리 장치.
  16. 제 10 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하고, 미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환함으로써, 상기 스트로크 정보를 독출하는 것을 특징으로 하는 드로잉 영상 처리 장치.
  17. 제 10 항에 있어서,
    가상의 캔버스 공간을 출력하는 디스플레이 수단을 더 포함하되,
    상기 디스플레이 수단은, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시하는 것을 특징으로 하는 드로잉 영상 처리 장치.
KR1020160070503A 2016-06-07 2016-06-07 Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법 KR101775080B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160070503A KR101775080B1 (ko) 2016-06-07 2016-06-07 Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법
PCT/KR2016/012235 WO2017213307A1 (ko) 2016-06-07 2016-10-28 Nui/nux에 기반하여 디지털 영상을 처리하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070503A KR101775080B1 (ko) 2016-06-07 2016-06-07 Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101775080B1 true KR101775080B1 (ko) 2017-09-05

Family

ID=59924851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070503A KR101775080B1 (ko) 2016-06-07 2016-06-07 Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101775080B1 (ko)
WO (1) WO2017213307A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125403A (zh) * 2019-11-27 2020-05-08 浙江大学 一种基于人工智能的辅助设计绘图方法及系统
KR20200063605A (ko) 2018-11-28 2020-06-05 안희철 컴퓨팅 장치의 하나 이상의 프로세서에서 수행되는, 필체를 통해 생성한 폰트를 이용하는 드로잉 방법, 상기 방법을 실행하기 위해 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램 및 필체를 통해 생성한 폰트를 이용하는 드로잉 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001978A (ja) * 2013-06-17 2015-01-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 把持された物体を用いたモーション認識方法及びその装置並びにシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2826021B2 (ja) * 1992-09-17 1998-11-18 日本ネサマック 株式会社 ペングリップ式入力装置
JPH07160829A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 学習能力を有する手書きシンボル認識方法及び装置
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001978A (ja) * 2013-06-17 2015-01-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 把持された物体を用いたモーション認識方法及びその装置並びにシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time Gesture Recognition from Depth Data through Key Poses Learning and Decision Forests, SIBGRAPI Graphics Patterns and Images, 2012 25th SIBGRAPI(2012)*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063605A (ko) 2018-11-28 2020-06-05 안희철 컴퓨팅 장치의 하나 이상의 프로세서에서 수행되는, 필체를 통해 생성한 폰트를 이용하는 드로잉 방법, 상기 방법을 실행하기 위해 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램 및 필체를 통해 생성한 폰트를 이용하는 드로잉 시스템
CN111125403A (zh) * 2019-11-27 2020-05-08 浙江大学 一种基于人工智能的辅助设计绘图方法及系统
CN111125403B (zh) * 2019-11-27 2022-07-05 浙江大学 一种基于人工智能的辅助设计绘图方法及系统

Also Published As

Publication number Publication date
WO2017213307A1 (ko) 2017-12-14

Similar Documents

Publication Publication Date Title
CN105487673B (zh) 一种人机交互系统、方法及装置
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
US20130147790A1 (en) Video-based image control system
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
KR20130001176A (ko) 근접 범위 움직임 추적 시스템 및 방법
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
CN108027656B (zh) 输入设备、输入方法和程序
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
JP2014165660A (ja) バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム
CN113961067A (zh) 基于深度学习的非接触式涂鸦绘制方法与识别交互系统
JP7087364B2 (ja) 情報処理装置、情報処理システムおよびプログラム
JP5964603B2 (ja) データ入力装置、及び表示装置
KR101775080B1 (ko) Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법
CN102778951B (zh) 使用虚拟按键的输入设备及输入方法
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
JP6230666B2 (ja) データ入力装置、データ入力方法、及びデータ入力プログラム
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
KR102482841B1 (ko) 인공지능 미러링 놀이 가방
CN112199015A (zh) 智能交互一体机及其书写方法、装置
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR101520889B1 (ko) 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법
CN111860086A (zh) 基于深度神经网络的手势识别方法、装置及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant