KR20170121915A - Method and System for Painting using Smart Pen - Google Patents

Method and System for Painting using Smart Pen Download PDF

Info

Publication number
KR20170121915A
KR20170121915A KR1020160050782A KR20160050782A KR20170121915A KR 20170121915 A KR20170121915 A KR 20170121915A KR 1020160050782 A KR1020160050782 A KR 1020160050782A KR 20160050782 A KR20160050782 A KR 20160050782A KR 20170121915 A KR20170121915 A KR 20170121915A
Authority
KR
South Korea
Prior art keywords
color
smart
smart pen
unit
sensing
Prior art date
Application number
KR1020160050782A
Other languages
Korean (ko)
Inventor
최원만
Original Assignee
예스튜디오 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 예스튜디오 주식회사 filed Critical 예스튜디오 주식회사
Priority to KR1020160050782A priority Critical patent/KR20170121915A/en
Priority to PCT/KR2016/004378 priority patent/WO2017188470A1/en
Publication of KR20170121915A publication Critical patent/KR20170121915A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A painting method and system using a smart pen are disclosed. The painting method using the smart pen according to the embodiment of the present invention includes: a step of receiving recognition color information corresponding to a surrounding color sensed by a smart pen from the smart pen; a step of displaying a recognition color corresponding to the received recognition color information and at least one related color associated with the recognition color; a step of determining a color selected by the input of a user among the recognized color and the related color as a final color; and a step of outputting a picture corresponding to the movement trajectory of the smart pen with the determined final color. The picture can be easily drawn by improving color accuracy.

Description

스마트 펜을 이용한 그림 그리기 방법 및 시스템{Method and System for Painting using Smart Pen}TECHNICAL FIELD The present invention relates to a method and system for drawing a picture using a smart pen,

본 발명은 스마트 펜을 이용한 그림 그리기에 관한 것으로, 상세하게는 센싱된 색상을 보정하여 센싱하고자 하는 색상의 정확도를 향상시켜 그림을 용이하게 그릴 수 있는 스마트 펜을 이용한 그림 그리기 방법 및 시스템에 관한 것이다.
The present invention relates to a drawing using a smart pen, and more particularly, to a drawing method and system using a smart pen capable of easily drawing a drawing by improving the accuracy of color to be sensed by correcting sensed colors .

우리나라 아동과 청소년의 스마트폰 보급률은 초등학생은 50%, 중고등학생은 80%로 최근 들어 높아졌다. 아동과 청소년의 높은 스마트폰 보유율과 함께 과다 사용 비율도 높아지고 있다. 스마트폰은 위급 시에 안전을 지켜주는 유익한 도구이지만, 무분별하게 사용할 경우 자라나는 아이들의 정신건강에 문제를 일으킬 수 있다. 특히, 게임이나 SNS 중독, 유해 콘텐츠 노출, 온라인 따돌림, 학습능력 저하, ADHD 증상들이 있다. 이러한 스마트 기기에 심각하게 중독될 경우, 시간감각이나 공간감각이 떨어질 수 있다. 특히 영유아기부터 스마트 기기를 지속적으로 사용할 경우 학교생활이나 일상생활에도 영향을 줄 수 있다. The penetration rate of smartphones among children and adolescents in Korea has recently increased to 50% for elementary school students and 80% for middle and high school students. The high usage rate of children and adolescents with high smart phones is also increasing. Smartphones are a useful tool to keep you safe in an emergency, but if you use it indiscriminately, it can cause problems with your mental health. In particular, there are games, SNS addiction, harmful content exposure, online bullying, poor learning ability, and ADHD symptoms. If you are seriously addicted to these smart devices, your sense of time and sense of space may be compromised. Continuous use of smart devices from early childhood can affect school life and everyday life.

하지만 스마트 기기가 이러한 단점만 가지고 있는 것은 아니다. 최근에는 그림을 이용한 미술심리치료가 많이 이용되고 있다. 특히, 의사표현이 어려운 어린 아이 같은 경우에는 이러한 미술심리치료를 이용하여 심리 상태를 분석할 수 있다. 이때, 미술심리치료가 필요한 아이가 스마트 기기를 이용하여 그림을 그리고, 아이의 그림 그리는 패턴 등을 분석하여 심리치료를 진행할 수 있다. 이와 같이 스마트 기기를 이용함으로써 데이터를 편리하게 관리 및 분석할 수 있다.
However, smart devices do not have these disadvantages. In recent years, art psychotherapy using paintings has been widely used. Especially, in the case of a child who has difficulty in expressing his / her thoughts, he can analyze the psychological state using this art psychotherapy. At this time, a child who needs art psychotherapy can perform a psychotherapy by analyzing a picture using a smart device, a pattern of a child's drawing, and the like. By using smart devices, data can be conveniently managed and analyzed.

본 발명이 이루고자 하는 기술적 과제는 아이들의 스마트 기기의 사용에 관한 문제점을 개선하면서, 스마트 펜에 의해 센싱된 색상을 보정하여 센싱하고자 하는 색상의 정확도를 향상시켜 그림을 용이하게 그릴 수 있는 스마트 펜을 이용한 그림 그리기 방법 및 시스템을 제공하는데 있다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems occurring in the prior art, and it is an object of the present invention to provide a smart pen capable of correcting color sensed by a smart pen, And to provide a method and a system for drawing using images.

본 발명의 일 실시예에 따른 스마트 펜은 사용자가 스마트 펜을 파지할 수 있도록 하는 메인 바디; 주변 색상을 센싱하는 센싱부; 상기 주변 색상의 센싱과 관련된 정보를 상기 사용자에게 알리는 알림부; 상기 센싱된 주변 색상에 대응하는 색상 정보로 상기 스마트 펜의 출력 색상을 설정하는 설정부; 및 상기 설정된 출력 색상에 따라 스마트 용지 또는 스마트 단말에 그림이 그려지도록 상기 설정된 출력 색상에 대한 정보를 출력하는 출력부를 포함한다.According to an embodiment of the present invention, there is provided a smart pen including: a main body for allowing a user to grasp the smart pen; A sensing unit sensing a surrounding color; A notification unit informing the user of information related to the sensing of the surrounding color; A setting unit configured to set an output color of the smart pen as color information corresponding to the sensed surrounding color; And an output unit for outputting information on the set output color so that a picture is drawn on the smart paper or the smart terminal according to the set output color.

나아가, 본 발명의 일 실시예에 따른 스마트 펜은 상기 센싱부의 동작을 제어하기 위한 센싱 버튼; 및 상기 센싱 버튼의 입력 시 상기 센싱부와 상기 알림부를 제어하여 상기 주변 색상의 센싱과 알림을 제어하는 제어부를 더 포함할 수 있다.Further, a smart pen according to an embodiment of the present invention includes a sensing button for controlling an operation of the sensing unit; And a controller for controlling sensing and notification of the surrounding color by controlling the sensing unit and the notification unit when the sensing button is input.

더 나아가, 본 발명의 일 실시예에 따른 스마트 펜은 상기 센싱부에 포함된 조도 센서에 의해 센싱된 조도 값에 기초하여 상기 색상 정보를 보정하는 보정부를 더 포함하고, 상기 설정부는 상기 보정된 색상 정보를 상기 스마트 펜의 출력 색상으로 설정할 수 있다.Further, the smart pen according to an embodiment of the present invention may further include a correction unit that corrects the color information based on the illuminance value sensed by the illuminance sensor included in the sensing unit, Information can be set as the output color of the smart pen.

상기 센싱부는 센싱 대상이 패턴으로 설정되면 대상 패턴을 센싱하고, 상기 설정부는 상기 센싱된 대상 패턴에 대응하는 패턴 정보를 상기 스마트 펜의 출력 패턴으로 설정하며, 상기 출력부는 상기 설정된 출력 패턴에 따라 스마트 용지 또는 스마트 단말에 그림이 그려지도록 상기 설정된 출력 패턴에 대한 정보를 출력할 수 있다.Wherein the sensing unit senses a target pattern when the sensing object is set as a pattern and the setting unit sets pattern information corresponding to the sensed target pattern as an output pattern of the smart pen, It is possible to output information on the set output pattern so that a picture is drawn on the paper or smart terminal.

더 나아가, 본 발명의 일 실시예에 따른 스마트 펜은 상기 스마트 펜의 이동 궤적에 대응하는 상기 스마트 용지에 표시된 좌표들을 인식하는 좌표 인식부를 더 포함할 수 있다.
Furthermore, the smart pen according to an embodiment of the present invention may further include a coordinate recognition unit for recognizing coordinates displayed on the smart paper corresponding to the movement trajectory of the smart pen.

본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템은 스마트 펜; 및 상기 스마트 펜의 이동 궤적에 대응하는 그림을 시각적으로 출력하는 스마트 기기를 포함하고, 상기 스마트 펜은, 사용자가 상기 스마트 펜을 파지할 수 있도록 하는 메인 바디; 주변 색상을 센싱하는 센싱부; 상기 주변 색상의 센싱과 관련된 정보를 상기 사용자에게 알리는 알림부; 상기 센싱된 주변 색상에 대응하는 색상 정보로 상기 스마트 펜의 출력 색상을 설정하는 설정부; 및 상기 설정된 출력 색상에 따라 상기 스마트 기기에 그림이 그려지도록 상기 설정된 출력 색상에 대한 정보를 상기 스마트 기기로 출력하는 출력부를 포함한다.A drawing system using a smart pen according to an embodiment of the present invention includes a smart pen; And a smart device for visually outputting a picture corresponding to a movement trajectory of the smart pen, wherein the smart pen includes: a main body for allowing a user to grasp the smart pen; A sensing unit sensing a surrounding color; A notification unit informing the user of information related to the sensing of the surrounding color; A setting unit configured to set an output color of the smart pen as color information corresponding to the sensed surrounding color; And an output unit for outputting information on the set output color to the smart device so that a picture is drawn on the smart device according to the set output color.

상기 스마트 기기는 상기 스마트 펜으로부터 수신된 상기 출력 색상 및 상기 출력 색상과 관련된 적어도 하나의 관련 색상을 표시하는 표시부; 및 상기 출력 색상과 상기 관련 색상 중 상기 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하고, 상기 결정된 최종 색상으로 상기 스마트 펜의 이동 궤적에 대응하는 그림을 상기 표시부로 출력하도록 제어하는 제어부를 포함할 수 있다.Wherein the smart device displays at least one associated color associated with the output color and the output color received from the smartpen; And a control unit for determining a color selected by the input of the user among the output color and the related color as a final color and outputting a picture corresponding to the movement trajectory of the smart pen to the display unit with the determined final color can do.

상기 스마트 기기는 상기 스마트 펜으로부터 수신된 색상들과 상기 사용자의 입력에 의해 결정되는 최종 색상들에 기초하여 상기 스마트 펜으로부터 수신된 색상들 각각에 대한 최종 색상을 학습하는 학습부를 더 포함하고, 상기 표시부는 상기 스마트 펜으로부터 수신된 상기 출력 색상에 대해 학습된 제1 색상 및 상기 제1 색상과 관련된 적어도 하나의 관련 색상을 표시할 수 있다.Wherein the smart device further comprises a learning unit for learning a final color for each of the colors received from the smartpen based on the colors received from the smartpen and the final colors determined by the input of the user, The display may display a first color learned for the output color received from the smartpen and at least one associated color associated with the first color.

상기 스마트 기기는 상기 스마트 기기의 주변 조도를 센싱하는 센싱부; 상기 센싱된 주변 조도 값에 기초하여 상기 상기 스마트 펜으로부터 수신된 상기 출력 색상에 대한 정보를 보정하는 보정부; 상기 보정된 색상 및 상기 보정된 색상과 관련된 적어도 하나의 관련 색상을 표시하는 표시부; 및 상기 출력 색상과 상기 관련 색상 중 상기 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하고, 상기 결정된 최종 색상으로 상기 스마트 펜의 이동 궤적에 대응하는 그림을 상기 표시부로 출력하도록 제어하는 제어부를 포함할 수 있다.Wherein the smart device comprises: a sensing unit for sensing an ambient illuminance of the smart device; A correction unit for correcting information on the output color received from the smartpen based on the sensed ambient light intensity value; A display for displaying the corrected color and at least one associated color associated with the corrected color; And a control unit for determining a color selected by the input of the user among the output color and the related color as a final color and outputting a picture corresponding to the movement trajectory of the smart pen to the display unit with the determined final color can do.

상기 스마트 기기는 미리 설정된 언어로 상기 사용자로부터 입력된 색상에 대한 음성을 인식하는 음성 인식부를 더 포함하고, 상기 표시부는 상기 음성 인식된 색상 및 상기 음성 인식된 색상과 관련된 적어도 하나의 관련 색상을 표시할 수 있다.
The smart device may further include a voice recognition unit for recognizing a voice of a color inputted from the user in a predetermined language, and the display unit displays at least one related color related to the voice recognized color and the voice recognized color can do.

본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 방법은 스마트 펜에 의해 센싱된 주변 색상에 대응하는 인식 색상 정보를 상기 스마트 펜으로부터 수신하는 단계; 상기 수신된 인식 색상 정보에 대응하는 인식 색상 및 상기 인식 색상과 관련된 적어도 하나의 관련 색상을 표시하는 단계; 상기 인식 색상과 상기 관련 색상 중 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하는 단계; 및 상기 결정된 최종 색상으로 상기 스마트 펜의 이동 궤적에 대응하는 그림을 출력하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a method of drawing using a smart pen, comprising: receiving recognition color information corresponding to a surrounding color sensed by a smart pen from the smart pen; Displaying a recognition color corresponding to the received recognition color information and at least one related color associated with the recognition color; Determining a color selected by the user among the recognized color and the related color as a final color; And outputting a figure corresponding to the movement trajectory of the smart pen with the determined final color.

나아가, 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 방법은 상기 스마트 펜에서 인식되어 수신된 색상들과 상기 사용자의 입력에 의해 결정되는 최종 색상들에 기초하여 상기 색상들 각각에 대한 최종 색상을 학습하는 단계를 더 포함하고, 상기 표시하는 단계는 상기 스마트 펜으로부터 수신된 상기 인식 색상에 대해 학습된 제1 색상 및 상기 제1 색상과 관련된 적어도 하나의 관련 색상을 표시할 수 있다.In addition, a method of drawing a picture using a smart pen according to an embodiment of the present invention may include the steps of determining a final color for each of the colors based on the colors recognized and received by the smart pen and the final colors determined by the input of the user And the step of displaying may display a first color learned for the recognition color received from the smartpen and at least one associated color associated with the first color.

더 나아가, 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 방법은 주변 조도를 센싱하는 단계; 및 상기 센싱된 주변 조도 값에 기초하여 상기 인식 색상을 보정하는 단계를 더 포함하고, 상기 표시하는 단계는 상기 보정된 인식 색상 및 상기 보정된 인식 색상과 관련된 적어도 하나의 관련 색상을 표시할 수 있다.
Further, a method of drawing a picture using a smart pen according to an embodiment of the present invention includes sensing ambient illuminance; And correcting the recognition color based on the sensed ambient illumination value, wherein the displaying may display at least one associated color associated with the corrected recognition color and the corrected recognition color .

본 발명의 실시예들에 따르면, 주변 색상을 센싱하여 원하는 색상을 나타낼 수도 있으므로, 더욱 정확한 색상 표현과 사용에 편리함을 느낄 수 있다.According to embodiments of the present invention, since the surrounding colors can be sensed to represent desired colors, more accurate color representation and convenience in use can be felt.

본 발명의 실시예들에 따르면, 스마트 펜 또는 스마트 기기의 주변 조도 값에 기초하여 스마트 펜에 의해 센싱된 색상을 보정하고, 보정된 색상 및 보정된 색상과 관련된 관련 색상들을 화면에 표시한 후 사용자 입력에 기초하여 최종 색상을 결정함으로써, 색상의 정확도를 향상시켜 원하는 색상으로 그림을 용이하게 그릴 수 있다.According to embodiments of the present invention, the color sensed by the smart pen is corrected based on the ambient illumination value of the smart pen or the smart device, and the related colors related to the corrected color and the corrected color are displayed on the screen, By determining the final color based on the input, you can improve the accuracy of the color and easily draw the picture with the desired color.

이와 같이 아이들의 스마트 기기의 사용에 관한 문제점을 개선하면서, 스마트 기기의 장점을 이용하여 의사 표현이 어려운 아이들의 미술심리치료 등에 유용하게 이용될 수 있다.
Thus, it can be used for art psychotherapy of children who have difficulty in expressing their opinions by utilizing the advantages of smart devices while improving the problems related to the use of smart devices of children.

도 1은 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템의 전체 동작을 설명하기 위한 도면을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템에서 스마트 펜의 구성을 설명하기 위한 도면을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템에서 스마트 기기의 구성을 설명하기 위한 도면을 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 스마트 펜을 이용하여 주변 색상을 센싱하는 방법을 설명하기 위한 도면을 나타낸 것이다.
도 5는 스마트 기기에서 사용자 입력에 기초하여 최종 색상을 결정하는 과정을 설명하기 위한 일 예의 도면을 나타낸 것이다.
도 6은 스마트 펜에서 색상을 인식하는 과정을 설명하기 위한 일 실시예의 동작 흐름도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 방법에 대한 동작 흐름도를 나타낸 것이다.
도 8은 도 7에 도시된 단계 S720에 대한 일 실시예 동작 흐름도를 나타낸 것이다.
도 9는 도 7에 도시된 단계 S720에 대한 다른 일 실시예 동작 흐름도를 나타낸 것이다.FIG. 1 is a view for explaining the overall operation of a drawing system using a smart pen according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of a smart pen in a drawing system using a smart pen according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a configuration of a smart device in a drawing system using a smart pen according to an embodiment of the present invention. Referring to FIG.
4 is a view for explaining a method of sensing a surrounding color using a smart pen according to an embodiment of the present invention.
5 illustrates an example of a process for determining a final color based on user input in a smart device.
FIG. 6 is a flowchart illustrating an operation of an embodiment for explaining a process of recognizing colors in a smart pen.
7 is a flowchart illustrating a method of drawing a picture using a smart pen according to an embodiment of the present invention.
FIG. 8 shows an operational flow diagram of an embodiment of step S720 shown in FIG.
FIG. 9 shows another exemplary operational flow diagram for step S720 shown in FIG.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. In addition, the same reference numerals shown in the drawings denote the same members.

도 1은 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템의 전체 동작을 설명하기 위한 도면을 나타낸 것이다. 스마트 펜을 이용한 그림 그리기 시스템은 스마트 펜(110), 스마트 기기(120, 130)를 포함할 수 있다. FIG. 1 is a view for explaining the overall operation of a drawing system using a smart pen according to an embodiment of the present invention. The drawing system using the smart pen may include the smart pen 110, the smart devices 120 and 130, and the like.

스마트 펜(110)은 원하는 주변 색상을 센싱하고, 센싱된 주변 색상에 대응하는 색상 정보를 설정한 후 설정된 색상 정보를 출력 색상으로 그림을 그릴 수 있도록 출력 색상을 스마트 기기(120, 130)와의 통신을 통해 스마트 기기(120, 130)로 송신한다.The smart pen 110 senses a desired surrounding color, sets color information corresponding to the sensed surrounding color, and communicates the output color to the smart devices 120 and 130 so that the set color information can be drawn as an output color To the smart devices (120, 130).

이 때, 스마트 펜(110)은 주변 색상의 센싱 시작, 센싱 종료, 센싱된 색상 등의 각 상황에 따른 음성을 사용자에게 청각적으로 알릴 수 있는 사운드 기능을 포함할 수 있고, 필요에 따라 이러한 기능을 화면으로 제공할 수 있는 수단 또한 포함할 수도 있다.At this time, the smart pen 110 may include a sound function for audibly informing the user of the voice according to each situation such as the start of sensing of surrounding colors, the end of sensing, and the sensed color, May also be provided on the screen.

또한, 필요에 따라 스마트 펜(110)은 주변 색상을 센싱하기 위한 센싱 버튼을 추가적으로 구비함으로써, 센싱 버튼의 입력 시 스마트 펜을 이용하여 주변 색상을 센싱할 수 있다.In addition, the smart pen 110 may additionally include a sensing button for sensing the surrounding color, if necessary, so that the surrounding color can be sensed using the smart pen when the sensing button is input.

나아가, 스마트 펜(110)은 주변 환경의 조도에 의해 색상 인식의 오류를 방지하기 위하여, 주변 조도를 센싱하기 위한 조도 센서를 포함할 수 있으며, 조도 센서에 의해 주변 조도 값이 센싱되면 센싱된 주변 조도 값에 기초하여 센싱된 주변 색상을 보정함으로써, 주변 조도에 따른 보정을 통해 주변 색상을 정확하게 인식할 수 있다. 물론, 스마트 펜(110)가 반드시 조도 센서를 포함하는 것은 아니며, 조도 센서를 포함하고 있더라고 스마트 펜(110)에서 센싱된 주변 색상을 반드시 보정하는 것은 아니다. 일 예로, 스마트 펜(110)이 조도 센서를 포함하는 경우 스마트 펜(110)은 센싱된 주변 색상과 주변 조도 값을 무선 통신을 통해 스마트 단말(130)로 전송함으로써, 스마트 단말(130)에서 주변 조도 값에 기초하여 주변 색상을 보정할 수 있다. 다른 일 예로, 스마트 펜(110)이 조도 센서를 포함하지 않는 경우 스마트 펜(110)은 센싱된 주변 색상을 무선 통신을 통해 스마트 단말(130)로 전송하고, 스마트 단말(130)에 구비된 조도 센서를 이용하여 센싱된 주변 조도 값에 기초하여 주변 색상을 보정할 수도 있다. 이에 대한 것은 도 3에서 설명한다.Further, the smart pen 110 may include an illuminance sensor for sensing the ambient illuminance in order to prevent an error in color recognition due to the illuminance of the surrounding environment. When the ambient illuminance value is sensed by the illuminance sensor, By correcting the sensed surrounding color based on the illuminance value, it is possible to accurately recognize the surrounding color through the correction according to the ambient illuminance. Of course, the smart pen 110 does not necessarily include an illuminance sensor, and it does not necessarily correct the surrounding color sensed by the smart pen 110 even though it includes the illuminance sensor. For example, when the smart pen 110 includes an illuminance sensor, the smart pen 110 transmits the sensed surrounding color and the ambient illuminance value to the smart terminal 130 through wireless communication, The surrounding color can be corrected based on the illuminance value. The smart pen 110 transmits the sensed surrounding color to the smart terminal 130 via the wireless communication and transmits the illuminance provided in the smart terminal 130 to the smart terminal 130. [ The surrounding color may be corrected based on the sensed ambient illuminance value using the sensor. This is described in FIG.

이와 같이, 본 발명의 스마트 펜(110)은 주변 색상을 센싱하여 원하는 색상을 나타낼 수도 있으므로, 더욱 정확한 색상 표현과 사용에 편리함을 느낄 수 있다.As described above, since the smart pen 110 of the present invention can display a desired color by sensing a surrounding color, more accurate color representation and convenience in use can be felt.

이러한 스마트 펜(110)에 대한 구성은 도 2에서 상세히 설명한다.The configuration for such a smart pen 110 will be described in detail in Fig.

스마트 기기(120, 130)는 스마트 펜(110)의 이동 궤적에 대응하는 그림을 시각적으로 출력할 수 있다. 스마트 기기(120, 130)는 스마트 용지(120) 또는 스마트 단말(130)을 포함할 수 있다.The smart devices 120 and 130 can visually output a picture corresponding to the movement trajectory of the smart pen 110. [ The smart devices 120 and 130 may include a smart paper 120 or a smart terminal 130.

본 발명의 일 실시예에 따른 시스템은 스마트 펜을 이용하여 스마트 용지(120)에 그림을 그릴 수 있다.The system according to an embodiment of the present invention can draw a picture on the smart paper 120 using a smart pen.

스마트 용지(120)는 좌표(121)가 표시되어 있다. 스마트 펜(110)은 스마트 용지(120)에 표시된 좌표를 스마트 펜(110)의 센서를 통해 인식함으로써 사용자가 그림(122)을 그리는 패턴을 인식하도록 할 수 있다. The coordinates 121 of the smart paper 120 are displayed. The smart pen 110 can recognize the pattern drawn by the user by recognizing the coordinates displayed on the smart paper 120 through the sensor of the smart pen 110. [

그리고, 사용자가 그림(122)을 그리는 과정의 히스토리를 스마트 펜(110)에 저장할 수 있다. 예를 들어, 사용자가 스마트 펜(110)의 센서를 이용하여 주변 색상을 센싱하는 과정, 그림을 그리는 시간 및 그림을 그리는 패턴 등을 포함할 수 있다. 이렇게 저장된 정보는 스마트 단말(130)로 송신될 수 있다. 그리고, 스마트 단말(130)로 송신된 정보는 예를 들어, 사용자의 미술심리치료 등에 이용될 수 있다. Then, the user can store the history of the process of drawing the figure 122 in the smart pen 110. [ For example, a user may use a sensor of the smart pen 110 to sense a surrounding color, a time to draw a picture, and a pattern to draw a picture. The stored information may be transmitted to the smart terminal 130. The information transmitted to the smart terminal 130 may be used, for example, in art psychotherapy of the user.

또한 스마트 펜(110)은 사용자가 스마트 용지(120)에 그린 그림(122)을 스마트 용지(120)가 스마트 단말(130)과 통신하여 송신하도록 제어할 수 있다. 예를 들어, 스마트 펜(110)에 장착된 특정 버튼을 누를 경우, 스마트 용지(120)에 그려진 그림(122)을 스마트 단말(130)로 송신할 수 있다. 그러면, 스마트 단말(130)에도 스마트 용지(120)에 사용자가 그린 그림(122)과 동일한 그림(131)을 나타낼 수 있다. 이렇게 스마트 단말로 송신된 정보는 특정 목적 예를 들어, 미술심리치료나 SNS 등을 위해 이용될 수 있다.The smartpen 110 may also control the smartpen 120 to send a picture 122 drawn on the smartpen 120 by communicating with the smart terminal 130. [ For example, when a specific button mounted on the smart pen 110 is pressed, the drawing 122 drawn on the smart paper 120 can be transmitted to the smart terminal 130. The smart terminal 130 may also display the same picture 131 as the picture 122 drawn by the user on the smart paper 120. [ The information transmitted to the smart terminal may be used for a specific purpose, for example, art psychotherapy or SNS.

또한, 본 발명의 실시예에 따른 시스템은 스마트 펜(110)을 이용하여 스마트 용지에 그림을 그리는 것에 한정되지 않으며, 스마트 단말(130)(또는 사용자 단말)에 직접 그림을 그릴 수도 있다. 즉, 스마트 펜에 의해 인식된 주변 색상을 이용하여 스마트 단말에서 그림 그리기 기능을 수행할 수 있다.In addition, the system according to the embodiment of the present invention is not limited to drawing a picture on a smart paper using the smart pen 110, and may draw a picture directly on the smart terminal 130 (or a user terminal). That is, the smart terminal can perform the drawing function using the surrounding color recognized by the smart pen.

이러한 스마트 단말(130)에 대해서는 도 3에서 설명한다.
Such a smart terminal 130 will be described with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템에서 스마트 펜의 구성을 설명하기 위한 도면을 나타낸 것이다.2 is a diagram illustrating a configuration of a smart pen in a drawing system using a smart pen according to an embodiment of the present invention.

도 2를 참조하면, 스마트 펜(200)은 센싱부(210), 보정부(220), 알림부(230), 표시부(240), 설정부(250), 출력부(260), 좌표 인식부(270), 제어부(280) 및 통신부(290)를 포함한다.2, the smart pen 200 includes a sensing unit 210, a calibration unit 220, a notification unit 230, a display unit 240, a setting unit 250, an output unit 260, A controller 270, a control unit 280, and a communication unit 290.

여기서, 보정부(220)와 표시부(240)는 필요에 따라 해당 기능이 포함되지 않을 수도 있으며, 이러한 부분은 스마트 단말과의 연결 기능에 따라 결정될 수 있다. 본 발명에서의 스마트 펜(200)은 사용자가 스마트 펜을 파지할 수 있는 메인 바디를 포함할 수 있으며, 도 2에 도시된 구성들은 메인 바디에 구성될 수 있다.Here, the corrector 220 and the display unit 240 may not include a corresponding function if necessary, and such a portion may be determined according to a connection function with the smart terminal. The smart pen 200 in the present invention may include a main body that a user can grasp the smart pen, and the configurations shown in FIG. 2 may be configured in the main body.

센싱부(210)는 주변 색상을 센싱한다. 다시 말해, 센싱부(210)는 주변 색상을 센싱하여 사용자가 원하는 색상을 나타낼 수 있다. 예를 들어, 사용자가 스마트 펜을 이용하여 사과를 센싱했을 경우, 스마트 펜은 센싱부를 통해 사과의 색상을 센싱할 수 있다. 이때, 스마트 펜이 사과를 센싱함으로써 사과의 색상, 다시 말해 빨간색을 암호화하고, 이렇게 암호화된 색상을 스마트 용지 또는 스마트 단말에 나타낼 수 있다. 센싱부(210)를 통해 주변 색상을 센싱하는 과정을 도 4를 참조하여 더욱 상세히 설명한다.The sensing unit 210 senses the surrounding color. In other words, the sensing unit 210 may sense a surrounding color and display a desired color. For example, if a user senses an apple using a smart pen, the smart pen can sense the color of the apple through the sensing part. At this time, the smartpen can sense the apple color by sensing the apple, that is, the red color, and display the encrypted color on a smart paper or a smart terminal. The process of sensing the surrounding color through the sensing unit 210 will be described in more detail with reference to FIG.

이러한 센싱부(210)는 제어부(280)의 제어에 의해 동작될 수 있으며, 미리 구비된 센싱 버튼(미도시)이 사용자 또는 외부 접촉에 의해 눌러지는 경우 제어부(280)에 의한 제어에 의해 센싱 기능을 수행할 수 있다. 즉, 센싱부(210)는 센싱 버튼이 눌러지지 않은 경우에는 주변 색상을 센싱하지 않으며, 센싱 버튼이 눌러지는 경우 제어부(280)에 의한 제어에 의해 주변 색상을 센싱할 수 있다.The sensing unit 210 may be operated under the control of the control unit 280. When the sensing button (not shown) provided in advance is pressed by a user or an external contact, Can be performed. That is, the sensing unit 210 does not sense surrounding colors when the sensing button is not pressed, and can sense surrounding colors under the control of the control unit 280 when the sensing button is pressed.

이 때, 센싱부(210)는 필요에 따라 조도 센서를 포함할 수 있으며, 조도 센서가 포함된 경우에는 주변 조도를 센싱하여 센싱된 주변 조도 값을 제공할 수 있다. 물론, 주변 조도 값은 스마트 펜에서 센싱된 주변 색상을 보정하는 경우 보정부로 제공될 수 있으며, 스마트 단말에서 센싱된 주변 색상을 보정하는 경우에는 통신부를 통해 스마트 단말로 제공될 수 있다.In this case, the sensing unit 210 may include an illuminance sensor if necessary, and when the illuminance sensor is included, the ambient illuminance may be sensed to provide a sensed ambient illuminance value. Of course, the ambient illumination value may be provided to the correction unit when the ambient color sensed by the smart pen is corrected, and may be provided to the smart terminal through the communication unit when the ambient color sensed by the smart terminal is corrected.

나아가, 센싱부(210)는 패턴을 센싱할 수도 있다. 예를 들어, 센싱부(210)는 스마트 펜의 센싱 대상이 패턴으로 설정되면 대상 패턴을 센싱할 수 있으며, 대상 패턴을 센싱할 때 대상 패턴의 색상 또한 센싱할 수도 있다. 물론, 센싱부(210)가 패턴을 센싱하는 경우 아래에서 설명할 스마트 펜의 구성 그리고 스마트 단말의 구성에서는 센싱된 패턴에 대한 내용으로 변경되는 것은 자명하다.Furthermore, the sensing unit 210 may sense the pattern. For example, the sensing unit 210 may sense the target pattern when the sensing object of the smart pen is set as a pattern, and may also sense the color of the target pattern when sensing the target pattern. Of course, when the sensing unit 210 senses the pattern, it is apparent that the configuration of the smart pen to be described below and the content of the sensed pattern are changed in the configuration of the smart terminal.

보정부(220)는 센싱부(210)로부터 주변 환경에 대한 주변 조도 값과 센싱된 주변 색상 정보가 수신되면 수신된 주변 조도 값에 기초하여 센싱된 주변 색상을 보정한다. 즉, 보정부(220)는 주변 조도에 따라 인식되는 색상 오류를 주변 조도 값을 이용하여 보정함으로써, 주변 색상의 인식 오류를 줄이거나 최소화할 수 있다.The correction unit 220 corrects the sensed surrounding color based on the received ambient illumination value when the ambient illumination value and the sensed surrounding color information are received from the sensing unit 210. [ That is, the correcting unit 220 corrects the color error recognized according to the surrounding illuminance using the surrounding illuminance value, thereby reducing or minimizing the recognition error of the surrounding color.

물론, 이러한 보정부(220)는 주변 색상의 보정을 스마트 기기에서 수행하고자 하는 경우에는 생략될 수도 있다.Of course, such a correction unit 220 may be omitted when correction of a surrounding color is desired to be performed in a smart device.

알림부(230)는 사용자에게 스마트 펜의 센싱과 관련된 정보를 청각적으로 제공하기 위한 구성 수단으로, 사운드 기능을 포함하고, 제어부(280)에 의한 제어에 의해 수행되는 센싱 기능을 사운드로 제공한다.The notification unit 230 is a constituent means for audibly providing information related to the sensing of the smart pen to the user and includes a sound function and provides a sensing function performed under the control of the control unit 280 as a sound .

예를 들어, 알림부(230)는 주변 색상의 센싱을 시작하는 경우 센싱 시작에 대한 사운드를 제공할 수 있고, 주변 색상의 센싱이 종료되는 경우 센싱 종료에 대한 사운드를 제공할 수 있으며, 센싱된 주변 색상에 대한 색상 정보가 설정되면 설정된 색상 정보에 대한 사운드를 제공할 수도 있다.For example, the notification unit 230 may provide a sound for starting the sensing when the surrounding color sensing starts, a sound for the sensing end when the surrounding color sensing is finished, When the color information about the surrounding color is set, a sound for the set color information may be provided.

표시부(240)는 스마트 펜(200)에서 수행 중이거나 설정된 색상 정보를 화면 상에 표시하고, 센싱과 관련된 정보, 설정된 색상 정보, 스마트 펜의 설정 정보 등을 화면에 표시한다. 물론, 표시부(240)는 필요에 따라 생략될 수도 있다.The display unit 240 displays color information that is being executed or set in the smart pen 200 on the screen, and displays information related to sensing, color information set, setting information of the smart pen, and the like on the screen. Of course, the display unit 240 may be omitted if necessary.

설정부(250)는 스마트 펜(200)에서 인식한 주변 색상에 대한 색상 정보를 스마트 펜의 출력 색상으로 설정한다.The setting unit 250 sets the color information of the surrounding color recognized by the smart pen 200 as the output color of the smart pen.

이 때, 설정부(250)는 보정부(220)가 구비된 경우 보정부(220)에 의해 보정된 색상 정보를 출력 색상으로 설정할 수 있으며, 보정부(220)가 생략된 경우에는 센싱부(210)에 의해 센싱된 색상 정보를 출력 색상으로 설정할 수 있다.In this case, the setting unit 250 may set the color information corrected by the correction unit 220 as an output color when the correction unit 220 is provided. If the correction unit 220 is omitted, 210 can be set as an output color.

출력부(260)는 설정된 출력 색상에 따라 스마트 용지 또는 스마트 단말에 그림이 그려지도록 설정된 출력 색상에 대한 정보를 출력할 수 있다. 다시 말해, 스마트 펜에서 주변 색상을 센싱하여 원하는 색상을 나타낼 수도 있으므로, 더욱 정확한 색상 표현과 사용에 편리함을 느낄 수 있다.The output unit 260 may output information on an output color set to be drawn on the smart paper or the smart terminal according to the set output color. In other words, the smartpen can sense the surrounding color and display the desired color, so you can feel more accurate color representation and convenience in use.

좌표 인식부(270)는 스마트 펜의 이동 궤적에 대응하는 스마트 용지에 표시된 좌표들을 인식한다.The coordinate recognizing unit 270 recognizes the coordinates displayed on the smart paper corresponding to the movement trajectory of the smart pen.

이 때, 좌표 인식부(270)는 스마트 용지에 표시된 좌표를 인식함으로써 사용자가 스마트 용지에 그림을 그리는 과정을 인식할 수도 있다. 예를 들어, 스마트 펜의 센서를 이용하여 주변 색상을 센싱하는 과정, 그림을 그리는 시간 및 그림을 그리는 패턴을 포함하는 히스토리들을 인식할 수 있다. 그리고 이러한 히스토리들을 저장할 수 있다. At this time, the coordinate recognizing unit 270 may recognize the process of the user drawing the picture on the smart paper by recognizing the coordinates displayed on the smart paper. For example, you can use sensors on your smartpen to recognize histories, including the process of sensing ambient colors, drawing time, and drawing patterns. And you can save these histories.

이렇게 저장된 정보는 스마트 단말로 송신될 수 있다. 다시 말해, 스마트 용지에 그림을 그리는 과정의 히스토리를 스마트 단말로 송신할 수 있다. 이렇게 스마트 단말로 송신된 정보는 예를 들어, 사용자의 미술심리치료 등에 이용될 수 있다.The stored information can be transmitted to the smart terminal. In other words, the history of the process of drawing on smart paper can be transmitted to the smart terminal. The information transmitted to the smart terminal can be used, for example, in art psychotherapy of the user.

이러한 스마트 펜은 스마트 용지뿐만 아니라, 주변 색상을 센싱하여 나타낸 색상으로 스마트 단말에 직접 그림을 그릴 수도 있다. 이때, 센싱된 색상을 암호화 하여 인식하고 나타냄으로써 더욱 정확한 색상표현이 가능하다. These smartpen can draw pictures not only on smart paper, but also on the smart terminal in the colors shown by sensing the surrounding colors. At this time, it is possible to express more accurate color by recognizing and displaying the sensed color.

제어부(280)는 스마트 펜을 구성하는 구성 수단들을 제어하는 수단이다.The control unit 280 is means for controlling the constituent means constituting the smart pen.

이 때, 제어부(280)는 센싱 버튼 입력 시 센싱부(210)와 알림부(230)를 제어하여 주변 색상의 센싱 및 센싱과 관련된 정보의 알림을 제어할 수 있다.At this time, the control unit 280 may control the sensing unit 210 and the notification unit 230 when the sensing button is input to control notification of information related to sensing and sensing of surrounding colors.

통신부(290)는 제어부(280)에 의한 제어에 의해 스마트 용지 또는 스마트 단말과 무선 통신을 수행한다.The communication unit 290 performs wireless communication with the smart paper or the smart terminal under the control of the control unit 280. [

비록, 도 2에서 스마트 펜이 센싱부에 의한 주변 색상 센싱으로 설명하였지만, 이에 한정하지 않으며 복수의 크레용들 중 하나를 스마트 펜에 결합하여 주변 색상 센싱 뿐만 아니라 결합된 크레용의 인식을 통해 크레용의 색상을 인식하는 구성 또한 포함할 수 있다.Although the smart pen is described as surrounding color sensing by the sensing unit in FIG. 2, the present invention is not limited thereto, and it is possible to combine one of a plurality of crayons with a smart pen to detect the color of the crayon May also be included.

또한, 스마트 펜은 필요에 따라 음성 인식 기능이 추가될 수도 있다.
In addition, the smart pen may be provided with a voice recognition function as needed.

도 3은 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 시스템에서 스마트 기기의 구성을 설명하기 위한 도면을 나타낸 것이다.FIG. 3 is a diagram illustrating a configuration of a smart device in a drawing system using a smart pen according to an embodiment of the present invention. Referring to FIG.

도 3을 참조하면, 스마트 단말(300)은 센싱부(310), 보정부(320), 알림부(330), 표시부(340), 음성 인식부(350), 학습부(360), 저장부(370), 제어부(380) 및 통신부(390)를 포함한다. 여기서, 센싱부(310)는 스마트 펜으로부터 주변 조도 값이 수신되는 경우 생략될 수 있다.3, the smart terminal 300 includes a sensing unit 310, a calibration unit 320, a notification unit 330, a display unit 340, a voice recognition unit 350, a learning unit 360, A control unit 370, a control unit 380, and a communication unit 390. Here, the sensing unit 310 may be omitted when the ambient illuminance value is received from the smart pen.

센싱부(310)는 조도 센서를 포함하고, 스마트 단말(300)의 주변 조도를 센싱하여 주변 조도 값을 출력한다.The sensing unit 310 includes an illuminance sensor, and senses the ambient illuminance of the smart terminal 300 to output an ambient illuminance value.

보정부(320)는 스마트 펜으로부터 수신된 출력 색상에 대한 정보를 보정한다.The correction unit 320 corrects information on the output color received from the smart pen.

이 때, 보정부(320)는 스마트 펜이 조도 센서를 포함하지 않는 스마트 펜인 경우에는 센싱부(310)에 의해 센싱된 주변 조도 값에 기초하여 출력 색상에 대한 정보를 보정할 수 있는데, 스마트 펜에 대한 식별 정보에 기초하여 조도 센서의 포함 여부를 알 수 있다.In this case, when the smart pen is a smart pen that does not include an illuminance sensor, the correction unit 320 may correct the information about the output color based on the ambient illuminance value sensed by the sensing unit 310, It is possible to know whether or not the illuminance sensor is included.

나아가, 보정부(320)는 스마트 펜으로부터 수신되는 색상 정보에 따라 학습된 최종 색상에 대한 학습 정보에 기초하여 스마트 펜으로부터 수신된 출력 색상을 제1 색상으로 보정할 수도 있다. 이 경우는, 아래에서 기술할 사용자 인터페이스를 이용한 최종 색상의 사용자 선택과 수신된 출력 색상 간의 학습에 의하여 수신되는 출력 색상 별 제1 색상을 학습할 수 있다.Further, the correcting unit 320 may correct the output color received from the smart pen to the first color based on the learning information about the learned final color in accordance with the color information received from the smart pen. In this case, it is possible to learn the first color per output color received by learning between the user selection of the final color using the user interface described below and the received output color.

알림부(330)는 스마트 펜에서 설명한 알림부에 대한 기능과 동일한 기능을 수행할 수 있으며, 스마트 펜과의 통신을 통해 센싱 관련 정보를 알릴 수 있다.The notification unit 330 may perform the same function as the function of the notification unit described in the smart pen, and may inform the sensing related information through communication with the smart pen.

물론, 알림부(330)는 스마트 단말에서 본 발명과 관련된 기능을 수행 또는 선택 등에 대한 정보 또한 사운드 기능으로 알릴 수도 있다.Of course, the notification unit 330 may also inform the smart terminal of information about performance, selection, and the like related to the present invention as a sound function.

표시부(340)는 스마트 펜으로부터 수신된 출력 색상 및 출력 색상과 관련된 적어도 하나의 관련 색상을 화면 상에 표시(또는 디스플레이)함으로써, 사용자 입력을 통해 최종 색상을 선택할 수 있도록 한다.The display unit 340 displays (or displays) at least one associated color associated with the output color and the output color received from the smartpen on the screen so that the final color can be selected through user input.

이 때, 표시부(340)는 출력 색상이 주변 조도 값에 의해 보정된 경우 주변 조도 값에 의해 보정된 색상 및 보정된 색상과 관련된 적어도 하나의 관련 색상을 화면 상에 표시할 수도 있으며, 출력 색상이 출력 색상 별로 학습된 학습 정보에 의해 제1 색상으로 보정된 경우에는 제1 색상 및 제1 색상과 관련된 적어도 하나의 관련 색상을 화면 상에 표시할 수도 있다.At this time, the display unit 340 may display on the screen at least one related color related to the color corrected by the surrounding illuminance value and the corrected color when the output color is corrected by the surrounding illuminance value, When the first color is corrected by the learned learning information for each output color, at least one related color related to the first color and the first color may be displayed on the screen.

일 예로, 표시부(340)는 도 5a에 도시된 바와 같이 스마트 펜으로부터 수신된 출력 색상(510) 및 출력 색상(510)과 관련된 관련 색상들(520, 530, 540)을 화면 상에 표시함으로써, 사용자 입력을 통해 최종 색상을 결정하도록 할 수 있다.For example, the display unit 340 displays on the screen related colors 510, 530 and 540 associated with the output color 510 and output color 510 received from the smartpen as shown in FIG. 5A, The final color can be determined through user input.

다른 일 예로, 표시부(340)는 도 5b에 도시된 바와 같이 스마트 펜으로부터 수신된 출력 색상(510)이 주변 조도 값 또는 학습 정보에 의해 보정된 경우 보정된 색상(540) 및 보정된 색상(540)과 관련된 관련 색상들(510, 520, 530)을 화면 상에 표시함으로써, 사용자 입력을 통해 최종 색상을 결정하도록 할 수 있다. 도 5b에서 보정된 색상(540) 및 보정된 색상(540)과 관련된 관련 색상들(510, 520, 530)을 도 5a에서 변경하여 도시하고 설명하였지만, 이에 한정되지 않으며 보정된 색상(540)의 관련 색상들이 다른 색상들로 결정될 수도 있다.As another example, the display unit 340 may display the calibrated color 540 and the calibrated color 540 when the output color 510 received from the smartpen is calibrated by the ambient illumination value or the learning information, Related colors 510, 520, and 530 associated with the selected color may be displayed on the screen to determine the final color through user input. 5A, the associated colors 510, 520, 530 associated with the corrected color 540 and the corrected color 540 are shown and described in FIG. 5A, but are not so limited, Related colors may be determined by other colors.

음성 인식부(350)는 사용자의 음성을 인식하는 구성 수단으로, 사용자에 의해 설정된 언어에 대하여 음성 인식을 수행한다.The speech recognition unit 350 is a means for recognizing the user's voice and performs speech recognition on the language set by the user.

예를 들어, 음성 인식부(350)는 사용자에 의해 설정된 언어로 입력된 색상에 대한 음성을 인식함으로써, 음성 인식된 색상 정보를 제어부 또는 표시부로 제공할 수 있다.For example, the voice recognition unit 350 can recognize the voice of the color input in the language set by the user, thereby providing the voice recognition color information to the control unit or the display unit.

학습부(360)는 스마트 펜으로부터 수신된 출력 색상들 각각에 대하여 표시부를 통해 표시된 색상들 중 사용자에 의해 최종 선택된 최종 색상에 대한 결과에 기초하여 출력 색상들 각각에 따른 최종 색상을 학습함으로써, 출력 색상별 최종 색상을 학습한다.The learning unit 360 learns the final color according to each of the output colors based on the result for the final color selected by the user among the colors displayed through the display unit for each of the output colors received from the smart pen, Learn the final color by color.

이 때, 학습부(360)는 출력 색상 뿐만 아니라 주변 조도 값에 추가적으로 반영함으로써, 출력 색상과 주변 조도 값에 따른 최종 색상을 학습할 수도 있다.At this time, the learning unit 360 may further learn the final color corresponding to the output color and the surrounding luminance value by additionally reflecting not only the output color but also the peripheral luminance value.

저장부(370)는 본 발명에 따른 정보를 저장하는 구성 수단으로, 출력 색상별 최종 색상에 대한 학습 데이터, 스마트 펜에 의해 생성된 그림 그리기 히스토리, 스마트 용지로부터 전송된 그림 데이터 등을 저장한다.The storage unit 370 stores the learning data for the final color for each output color, the picture-drawing history generated by the smart pen, the picture data transmitted from the smart paper, and the like.

제어부(380)는 표시부(340)에 표시된 색상(여기서, 색상은 스마트 펜으로부터 수신된 출력 색상, 주변 조도 값에 기초하여 보정된 색상 및 학습 정보에 의해 보정된 색상 중 어느 하나의 색상의 의미함)과 해당 색상과 관련된 적어도 하나의 관련 색상 중 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하고, 결정된 최종 색상으로 스마트 펜의 이동 궤적에 대응하는 그림을 표시부로 출력하도록 제어한다.The control unit 380 displays the color displayed on the display unit 340 (here, the color means any one of the output color received from the smart pen, the color corrected based on the surrounding luminance value, and the color corrected based on the learning information) ) And at least one related color associated with the corresponding color as a final color, and outputs a figure corresponding to the movement trajectory of the smart pen to the display unit.

통신부(390)는 제어부(380)에 의한 제어에 의해 스마트 용지 또는 스마트 펜과 무선 통신을 수행함으로써, 그림 그리기와 관련된 데이터를 수신한다.The communication unit 390 performs wireless communication with the smart paper or the smart pen under the control of the control unit 380, thereby receiving data related to drawing.

또한, 비록 도시하진 않았지만, 본 발명에서의 스마트 펜은 설정된 출력 색상에 대응하는 점자 출력을 제공할 수도 있다.
In addition, although not shown, the smartpen in the present invention may provide a braille output corresponding to a set output color.

도 4는 본 발명의 일 실시예에 따른 스마트 펜을 이용하여 주변 색상을 센싱하는 방법을 설명하기 위한 도면을 나타낸 것이다.4 is a view for explaining a method of sensing a surrounding color using a smart pen according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 스마트 펜(411)은 센싱부를 통해 주변 색상을 센싱하여 사용자가 원하는 색상을 나타낼 수 있다. 예를 들어, 사용자가 스마트 펜(411)을 이용하여 사과(420)를 센싱했을 경우, 스마트 펜(411)은 센싱부를 통해 사과(420)의 색상을 센싱할 수 있다.As shown in FIG. 4, the smart pen 411 senses the surrounding color through the sensing unit to display a desired color. For example, when the user senses the apple 420 using the smart pen 411, the smart pen 411 can sense the color of the apple 420 through the sensing unit.

이 때, 스마트 펜(411)이 사과(420)의 색상을 센싱함으로써 사과의 색상 예를 들어, 빨간색을 암호화하고, 이렇게 암호화된 색상을 스마트 용지 또는 스마트 단말에 나타낼 수 있다. At this time, the smart pen 411 may encrypt the color of the apples, for example, red, by sensing the color of the apples 420, and display the encrypted colors on the smart paper or the smart terminal.

그리고, 사과의 색상을 센싱한 스마트 펜(412)을 이용하여 사과의 색상과 동일한 색상(431)을 스마트 단말(430)에 나타낼 수 있다. 물론, 주변 조도 값, 학습 정보 등을 통해 센싱된 색상 정보를 보정하고 이를 통해 센싱하고자 하는 색상의 정확도를 향상시킬 수 있다는 것은 상술한 설명을 통해 상세하게 설명하였으며, 이러한 기능 또한 도 4에서 사과(420)의 색상으로 그리기 기능을 수행할 수 있다는 것은 자명하다. 이와 같이 주변 색상을 센싱하여 원하는 색상을 나타낼 수 있어 더욱 정확한 색상 표현과 사용에 편리함을 느낄 수 있다. 이러한 스마트 펜(411)은 스마트 용지뿐만 아니라 스마트 단말에도 그림을 그릴 수 있다.
Then, the smartpen 412, which senses the color of the apple, can be used to display the same color 431 on the smart terminal 430 as the color of the apple. Of course, it has been described in detail through the above description that the color information sensed through the surrounding illuminance value, the learning information, and the like can be corrected and the accuracy of the color to be sensed can be improved. 420) can perform the drawing function. By sensing the surrounding color as described above, it is possible to express the desired color, thereby providing more accurate color representation and convenience of use. The smart pen 411 can draw not only a smart paper but also a smart terminal.

도 6은 스마트 펜에서 색상을 인식하는 과정을 설명하기 위한 일 실시예의 동작 흐름도를 나타낸 것으로, 도 2에 도시된 스마트 펜에서의 동작 흐름도를 나타낸 것이다. 여기서, 도 6은 스마트 펜에서 주변 조도 값을 이용하여 센싱된 주변 색상을 보정하여 제공하는 동작에 대하여 설명한 것이다.FIG. 6 is a flowchart illustrating an operation of a smart pen for recognizing colors in the embodiment. FIG. 6 is a flowchart illustrating an operation of the smart pen shown in FIG. 2. Referring to FIG. Here, FIG. 6 illustrates the operation of correcting the sensed surrounding color using the ambient illuminance value in the smart pen and providing it.

도 6을 참조하면, 스마트 펜은 주변 색상을 센싱하고 센싱과 관련된 정보를 사운드(또는 음성)를 통해 알림을 제공한다(S610).Referring to FIG. 6, the smart pen senses the surrounding color and provides information related to sensing through sound (or voice) (S610).

여기서, 단계 S610은 스마트 펜의 센싱부와 알림부에 의해 수행될 수 있으며, 센싱 알림 기능은 사운드 기능을 이용하여 센싱 시작, 센싱 종료, 센싱된 색상 정보 등을 음성으로 사용자에게 알릴 수 있다.Here, the step S610 may be performed by the sensing unit and the notification unit of the smart pen, and the sensing notification function can inform the user of sensing start, sensing end, and sensed color information using a sound function.

단계 S610에 의해 센싱된 주변 색상을 보정하기 위하여, 조도 센서를 이용하여 스마트 펜의 주변 조도를 센싱하고, 센싱된 주변 조도 값에 기초하여 센싱된 주변 색상을 보정한다(S620).In order to correct the ambient color sensed at step S610, the ambient illuminance of the smart pen is sensed using an illuminance sensor, and the sensed surrounding color is corrected based on the sensed ambient illuminance value at step S620.

이 때, 단계 S620은 스마트 펜에서 주변 조도 값을 이용한 주변 색상 보정을 수행하지 않는 경우 주변 색상 보정에 대한 동작은 생략될 수 있다.At this time, if the peripheral color correction using the peripheral illuminance value is not performed in the smart pen, the operation for peripheral color correction may be omitted in step S620.

단계 S620에 의해 주변 색상이 보정되면 보정된 주변 색상을 출력 색상으로 설정하고, 설정된 출력 색상 정보를 사용자 단말기 예를 들어, 스마트 단말로 전송함으로써, 스마트 단말에서 출력 색상 또는 출력 색상과 관련된 관련 색상을 이용하여 그림 그리기 기능을 수행할 수 있다(S640).If the surrounding color is corrected in step S620, the corrected surrounding color is set as the output color, and the set output color information is transmitted to the user terminal, for example, the smart terminal, so that the related color associated with the output color or output color A drawing function can be performed using the drawing function (S640).

비록, 도 6에 기재되지 않았더라도, 상술한 도 2에서의 스마트 펜에 대한 기능 또한 도 6의 스마트 펜에서 색상을 인식하는 과정에 포함될 수도 있다.
Although not described in FIG. 6, the function for the smartpen in FIG. 2 described above may also be included in the process of recognizing colors in the smartpen of FIG.

도 7은 본 발명의 일 실시예에 따른 스마트 펜을 이용한 그림 그리기 방법에 대한 동작 흐름도를 나타낸 것으로, 도 3에 도시된 스마트 단말에서의 동작 흐름도를 나타낸 것이다.FIG. 7 is a flowchart illustrating an operation of a drawing method using a smart pen according to an embodiment of the present invention. FIG. 7 is a flowchart illustrating an operation of the smart terminal shown in FIG.

도 7을 참조하면, 본 발명에 따른 스마트 펜을 이용한 그림 그리기 방법은 스마트 기기에서 스마트 펜으로부터 전송된 색상 정보(도 6에서의 출력 색상 정보)를 수신하고, 수신된 출력 색상 및 출력 색상과 관련된 복수의 관련 색상들을 디스플레이한다(S710, S720).Referring to FIG. 7, a drawing method using a smart pen according to the present invention receives color information (output color information in FIG. 6) transmitted from a smart pen in a smart device, A plurality of related colors are displayed (S710, S720).

여기서, 단계 S720은 출력 색상 정보를 전송한 스마트 펜에 조도 센서가 구비되지 않은 경우 도 8에 도시된 바와 같이, 스마트 단말에 구비된 조도 센서를 이용하여 스마트 단말의 주변 조도를 센싱하고, 센싱된 주변 조도 값에 기초하여 출력 색상을 보정하며, 보정된 출력 색상 및 보정된 출력 색상과 관련된 관련 색상들을 화면 상에 디스플레이한다(S810, S820).Here, in step S720, when the illuminance sensor is not provided in the smart pen that transmitted the output color information, as shown in FIG. 8, the ambient illuminance of the smart terminal is sensed using the illuminance sensor provided in the smart terminal, The output color is corrected based on the ambient illuminance value, and the related colors related to the corrected output color and the corrected output color are displayed on the screen (S810, S820).

물론, 단계 S720은 출력 색상 정보를 전송한 스마트 펜에 조도 센서가 구비되고 스마트 펜으로부터 스마트 펜의 주변 조도 값이 수신되는 경우에는 수신된 주변 조도 값에 기초하여 출력 색상을 보정하고, 보정된 출력 색상 및 보정된 출력 색상과 관련된 관련 색상들을 화면 상에 디스플레이할 수도 있으며, 스마트 펜으로부터 수신된 출력 색상 정보가 스마트 펜에서 센싱된 주변 조도 값에 의해 이미 보정된 색상 정보인 경우에는 도 7의 단계 S720에서 설명한 바와 같이, 출력 색상 및 출력 색상과 관련된 관련 색상들을 디스플레이할 수 있다.Of course, in step S720, when the illuminance sensor is provided in the smart pen that transmitted the output color information and the ambient illuminance value of the smart pen is received from the smart pen, the output color is corrected based on the received ambient illuminance value, Color and calibrated output color may be displayed on the screen. If the output color information received from the smart pen is color information already corrected by the ambient illuminance value sensed by the smart pen, As described in S720, the output colors and related colors associated with the output colors can be displayed.

또한, 단계 S720은 출력 색상 별로 학습된 최종 색상에 대한 학습 정보를 이용하여 출력 색상을 보정할 수 있는데, 도 9에 도시된 바와 같이, 단계 S720은 수신된 출력 색상들 각각에 따른 최종 색상이 학습된 학습 정보에 기초하여 단계 S710에서 수신된 출력 색상을 제1 색상으로 보정하고, 제1 색상 및 제1 색상과 관련된 관련 색상들을 화면 상에 디스플레이한다(S910, S920).In step S720, the output color may be corrected using the learning information on the final color learned for each output color. As shown in FIG. 9, in step S720, the final color corresponding to each of the received output colors is learned The output color received in step S710 is corrected to a first color based on the learned information, and related colors related to the first color and the first color are displayed on the screen (S910, S920).

단계 S720에 의해 화면 상에 스마트 펜에 의해 센싱된 주변 색상을 명확하게 결정하기 위한 색상들이 디스플레이되면, 사용자 입력에 기초하여 최종 색상을 결정하고, 스마트 펜의 이동 궤적에 따라 결정된 최종 색상을 화면 상에 출력함으로써, 스마트 단말에서 그림 그리기 기능을 수행한다(S730, S740).When the colors for clearly determining the surrounding color sensed by the smart pen on the screen are displayed on the screen in step S720, the final color is determined based on the user input, and the final color determined according to the movement trajectory of the smart pen is displayed on the screen To perform a drawing function in the smart terminal (S730, S740).

여기서, 단계 S730에 의해 출력 색상에 대한 최종 색상이 결정되면 해당 출력 색상과 결정된 최종 색상을 이용하여 출력 색상에 대한 최종 색상의 학습 과정을 수행할 수 있으며, 이렇게 수행된 학습 과정을 통해 학습 정보를 업데이트할 수 있다.If the final color of the output color is determined in step S730, the final color of the output color may be learned using the output color and the determined final color. You can update it.

여기서, 단계 S740은 스마트 펜에 의해 색상과 패턴이 센싱되는 경우 색상과 패턴을 가지는 그림 그리기 기능을 수행할 수 있다.Here, step S740 may perform a drawing function having a color and a pattern when the color and the pattern are sensed by the smart pen.

또한, 단계 S740에 의해 그림을 그리는 과정의 히스토리는 스마트 펜에 저장될 수도 있으며, 스마트 펜에 저장된 히스토리는 스마트 단말로 송신될 수도 있다.In addition, the history of the drawing process in step S740 may be stored in the smart pen, and the history stored in the smart pen may be transmitted to the smart terminal.

이 때, 그림을 그리는 과정의 히스토리는 스마트 펜의 좌표 인식부를 통해 스마트 펜의 이동 궤적에 대응하는 스마트 용지에 표시된 좌표들을 인식함으로써 사용자가 스마트 용지에 그림을 그리는 과정을 인식할 수 있다. 예를 들어, 스마트 펜의 센서를 이용하여 주변 색상을 센싱하는 과정, 그림을 그리는 시간 및 그림을 그리는 패턴을 포함하는 히스토리를 인식하여 스마트 펜에 저장할 수 있다.At this time, the history of the drawing process can recognize the process of the user drawing the picture on the smart paper by recognizing the coordinates displayed on the smart paper corresponding to the movement trace of the smart pen through the coordinate recognition unit of the smart pen. For example, a smartpen sensor can be used to sense the surrounding color, to recognize the history including the drawing time and the drawing pattern, and store it in the smartpen.

또한, 본 발명의 실시예에 따른 방법은 스마트 용지에 그린 그림을 스마트 용지가 스마트 단말과 통신하여 송신하도록 제어할 수 있다. 예를 들어, 스마트 펜에 장착된 특정 버튼을 누를 경우, 스마트 용지에 그려진 그림을 스마트 단말로 송신할 수 있다. 그러면, 스마트 단말에도 스마트 용지에 사용자가 그린 그림과 동일한 그림을 나타낼 수 있다. 이렇게 스마트 단말로 송신된 정보는 예를 들어, 미술심리치료나 SNS 등을 위해 이용될 수 있다.In addition, the method according to the embodiment of the present invention can control the smart paper to communicate with the smart terminal and transmit the drawing drawn on the smart paper. For example, when a specific button mounted on the smart pen is pressed, the picture drawn on the smart paper can be transmitted to the smart terminal. Then, the smart terminal can display the same picture as the picture drawn by the user on the smart paper. The information transmitted to the smart terminal in this way can be used, for example, for art psychotherapy or SNS.

비록, 도 7에 기재되지 않았더라도, 상술한 도 2와 도 3의 스마트 펜과 스마트 단말에서 설명한 기능들을 모두 포함할 수 있으며, 이러한 기능들이 본 발명에 따른 방법에 모두 포함될 수 있다.
Although not shown in FIG. 7, the functions described in the smartpen and smart terminal of FIGS. 2 and 3 described above may all be included, and these functions may be all included in the method according to the present invention.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (13)

사용자가 스마트 펜을 파지할 수 있도록 하는 메인 바디;
주변 색상을 센싱하는 센싱부;
상기 주변 색상의 센싱과 관련된 정보를 상기 사용자에게 알리는 알림부;
상기 센싱된 주변 색상에 대응하는 색상 정보로 상기 스마트 펜의 출력 색상을 설정하는 설정부; 및
상기 설정된 출력 색상에 따라 스마트 용지 또는 스마트 단말에 그림이 그려지도록 상기 설정된 출력 색상에 대한 정보를 출력하는 출력부
를 포함하는 스마트 펜.
A main body for allowing the user to grasp the smart pen;
A sensing unit sensing a surrounding color;
A notification unit informing the user of information related to the sensing of the surrounding color;
A setting unit configured to set an output color of the smart pen as color information corresponding to the sensed surrounding color; And
And outputting information on the set output color so that a drawing is drawn on the smart paper or smart terminal according to the set output color,
A smart pen containing.
제1항에 있어서,
상기 센싱부의 동작을 제어하기 위한 센싱 버튼; 및
상기 센싱 버튼의 입력 시 상기 센싱부와 상기 알림부를 제어하여 상기 주변 색상의 센싱과 알림을 제어하는 제어부
를 더 포함하는 것을 특징으로 하는 스마트 펜.
The method according to claim 1,
A sensing button for controlling the operation of the sensing unit; And
And a control unit for controlling the sensing unit and the notification unit when sensing the sensing button,
The smart pen further comprising:
제1항에 있어서,
상기 센싱부에 포함된 조도 센서에 의해 센싱된 조도 값에 기초하여 상기 색상 정보를 보정하는 보정부
를 더 포함하고,
상기 설정부는
상기 보정된 색상 정보를 상기 스마트 펜의 출력 색상으로 설정하는 것을 특징으로 하는 스마트 펜.
The method according to claim 1,
And a correction unit for correcting the color information based on the illuminance value sensed by the illuminance sensor included in the sensing unit,
Further comprising:
The setting unit
And sets the corrected color information as an output color of the smart pen.
제1항에 있어서,
상기 센싱부는
센싱 대상이 패턴으로 설정되면 대상 패턴을 센싱하고,
상기 설정부는
상기 센싱된 대상 패턴에 대응하는 패턴 정보를 상기 스마트 펜의 출력 패턴으로 설정하며,
상기 출력부는
상기 설정된 출력 패턴에 따라 스마트 용지 또는 스마트 단말에 그림이 그려지도록 상기 설정된 출력 패턴에 대한 정보를 출력하는 것을 특징으로 하는 스마트 펜.
The method according to claim 1,
The sensing unit
When the sensing target is set as a pattern, the target pattern is sensed,
The setting unit
Sets pattern information corresponding to the sensed target pattern as an output pattern of the smart pen,
The output
And outputs information on the set output pattern so that a drawing is drawn on the smart paper or the smart terminal according to the set output pattern.
제1항에 있어서,
상기 스마트 펜의 이동 궤적에 대응하는 상기 스마트 용지에 표시된 좌표들을 인식하는 좌표 인식부
를 더 포함하는 것을 특징으로 하는 스마트 펜.
The method according to claim 1,
A coordinate recognizing unit for recognizing coordinates displayed on the smart paper corresponding to the movement trajectory of the smart pen,
The smart pen further comprising:
스마트 펜; 및
상기 스마트 펜의 이동 궤적에 대응하는 그림을 시각적으로 출력하는 스마트 기기
를 포함하고,
상기 스마트 펜은,
사용자가 상기 스마트 펜을 파지할 수 있도록 하는 메인 바디;
주변 색상을 센싱하는 센싱부;
상기 주변 색상의 센싱과 관련된 정보를 상기 사용자에게 알리는 알림부;
상기 센싱된 주변 색상에 대응하는 색상 정보로 상기 스마트 펜의 출력 색상을 설정하는 설정부; 및
상기 설정된 출력 색상에 따라 상기 스마트 기기에 그림이 그려지도록 상기 설정된 출력 색상에 대한 정보를 상기 스마트 기기로 출력하는 출력부
를 포함하는 스마트 펜을 이용한 그림 그리기 시스템.
Smartpen; And
A smart device for visually outputting a figure corresponding to the movement trajectory of the smart pen
Lt; / RTI >
In the smart pen,
A main body for allowing a user to grasp the smart pen;
A sensing unit sensing a surrounding color;
A notification unit informing the user of information related to the sensing of the surrounding color;
A setting unit configured to set an output color of the smart pen as color information corresponding to the sensed surrounding color; And
And outputting information on the set output color to the smart device so that a picture is drawn on the smart device according to the set output color,
A drawing system using a smart pen.
제6항에 있어서,
상기 스마트 기기는
상기 스마트 펜으로부터 수신된 상기 출력 색상 및 상기 출력 색상과 관련된 적어도 하나의 관련 색상을 표시하는 표시부; 및
상기 출력 색상과 상기 관련 색상 중 상기 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하고, 상기 결정된 최종 색상으로 상기 스마트 펜의 이동 궤적에 대응하는 그림을 상기 표시부로 출력하도록 제어하는 제어부
를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 그림 그리기 시스템.
The method according to claim 6,
The smart device
A display for displaying at least one associated color associated with the output color and the output color received from the smartpen; And
A control unit for determining a color selected by the input of the user among the output color and the related color as a final color and outputting a picture corresponding to the movement trajectory of the smart pen to the display unit,
Wherein the drawing device is a smart pen.
제7항에 있어서,
상기 스마트 기기는
상기 스마트 펜으로부터 수신된 색상들과 상기 사용자의 입력에 의해 결정되는 최종 색상들에 기초하여 상기 스마트 펜으로부터 수신된 색상들 각각에 대한 최종 색상을 학습하는 학습부
를 더 포함하고,
상기 표시부는
상기 스마트 펜으로부터 수신된 상기 출력 색상에 대해 학습된 제1 색상 및 상기 제1 색상과 관련된 적어도 하나의 관련 색상을 표시하는 것을 특징으로 하는 스마트 펜을 이용한 그림 그리기 시스템.
8. The method of claim 7,
The smart device
A learning unit for learning a final color for each of the colors received from the smartpen based on the colors received from the smartpen and the final colors determined by the user's input,
Further comprising:
The display unit
Wherein the smart pen displays a first color learned for the output color received from the smart pen and at least one associated color associated with the first color.
제6항에 있어서,
상기 스마트 기기는
상기 스마트 기기의 주변 조도를 센싱하는 센싱부;
상기 센싱된 주변 조도 값에 기초하여 상기 상기 스마트 펜으로부터 수신된 상기 출력 색상에 대한 정보를 보정하는 보정부;
상기 보정된 색상 및 상기 보정된 색상과 관련된 적어도 하나의 관련 색상을 표시하는 표시부; 및
상기 출력 색상과 상기 관련 색상 중 상기 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하고, 상기 결정된 최종 색상으로 상기 스마트 펜의 이동 궤적에 대응하는 그림을 상기 표시부로 출력하도록 제어하는 제어부
를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 그림 그리기 시스템.
The method according to claim 6,
The smart device
A sensing unit for sensing an ambient illuminance of the smart device;
A correction unit for correcting information on the output color received from the smartpen based on the sensed ambient light intensity value;
A display for displaying the corrected color and at least one associated color associated with the corrected color; And
A control unit for determining a color selected by the input of the user among the output color and the related color as a final color and outputting a picture corresponding to the movement trajectory of the smart pen to the display unit,
Wherein the drawing device is a smart pen.
제7항에 있어서,
상기 스마트 기기는
미리 설정된 언어로 상기 사용자로부터 입력된 색상에 대한 음성을 인식하는 음성 인식부
를 더 포함하고,
상기 표시부는
상기 음성 인식된 색상 및 상기 음성 인식된 색상과 관련된 적어도 하나의 관련 색상을 표시하는 것을 특징으로 하는 스마트 펜을 이용한 그림 그리기 시스템.
8. The method of claim 7,
The smart device
A voice recognition unit for recognizing a voice corresponding to a color inputted from the user in a predetermined language,
Further comprising:
The display unit
And displays at least one associated color associated with the speech recognized color and the recognized color.
스마트 펜에 의해 센싱된 주변 색상에 대응하는 인식 색상 정보를 상기 스마트 펜으로부터 수신하는 단계;
상기 수신된 인식 색상 정보에 대응하는 인식 색상 및 상기 인식 색상과 관련된 적어도 하나의 관련 색상을 표시하는 단계;
상기 인식 색상과 상기 관련 색상 중 사용자의 입력에 의해 선택된 색상을 최종 색상으로 결정하는 단계; 및
상기 결정된 최종 색상으로 상기 스마트 펜의 이동 궤적에 대응하는 그림을 출력하는 단계
를 포함하는 스마트 펜을 이용한 그림 그리기 방법.
Receiving recognition color information corresponding to a surrounding color sensed by the smart pen from the smart pen;
Displaying a recognition color corresponding to the received recognition color information and at least one related color associated with the recognition color;
Determining a color selected by the user among the recognized color and the related color as a final color; And
And outputting a figure corresponding to the movement trajectory of the smart pen with the determined final color
A drawing method using a smart pen.
제11항에 있어서,
상기 스마트 펜에서 인식되어 수신된 색상들과 상기 사용자의 입력에 의해 결정되는 최종 색상들에 기초하여 상기 색상들 각각에 대한 최종 색상을 학습하는 단계
를 더 포함하고,
상기 표시하는 단계는
상기 스마트 펜으로부터 수신된 상기 인식 색상에 대해 학습된 제1 색상 및 상기 제1 색상과 관련된 적어도 하나의 관련 색상을 표시하는 것을 특징으로 하는 스마트 펜을 이용한 그림 그리기 방법.
12. The method of claim 11,
Learning the final color for each of the colors based on the colors recognized and received by the smartpen and the final colors determined by the user's input
Further comprising:
The step of displaying
Wherein the smart pen displays a first color learned for the recognition color received from the smart pen and at least one associated color associated with the first color.
제11항에 있어서,
주변 조도를 센싱하는 단계; 및
상기 센싱된 주변 조도 값에 기초하여 상기 인식 색상을 보정하는 단계
를 더 포함하고,
상기 표시하는 단계는
상기 보정된 인식 색상 및 상기 보정된 인식 색상과 관련된 적어도 하나의 관련 색상을 표시하는 것을 특징으로 하는 스마트 펜을 이용한 그림 그리기 방법.12. The method of claim 11,
Sensing ambient illuminance; And
And correcting the recognition color based on the sensed ambient illuminance value
Further comprising:
The step of displaying
And displaying at least one associated color associated with the corrected recognition color and the corrected recognition color.
KR1020160050782A 2016-04-26 2016-04-26 Method and System for Painting using Smart Pen KR20170121915A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160050782A KR20170121915A (en) 2016-04-26 2016-04-26 Method and System for Painting using Smart Pen
PCT/KR2016/004378 WO2017188470A1 (en) 2016-04-26 2016-04-27 Method and system for drawing picture by using smart pen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160050782A KR20170121915A (en) 2016-04-26 2016-04-26 Method and System for Painting using Smart Pen

Publications (1)

Publication Number Publication Date
KR20170121915A true KR20170121915A (en) 2017-11-03

Family

ID=60159708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160050782A KR20170121915A (en) 2016-04-26 2016-04-26 Method and System for Painting using Smart Pen

Country Status (2)

Country Link
KR (1) KR20170121915A (en)
WO (1) WO2017188470A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694452A (en) * 2020-06-11 2020-09-22 北京万维智能技术有限公司 Dot matrix intelligence water-color paint brush drawing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111433041B (en) * 2017-12-13 2021-10-22 深圳市柔宇科技股份有限公司 Stylus, pen core, stylus component and writing color synchronization method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100339691B1 (en) * 2001-11-03 2002-06-07 한탁돈 Apparatus for recognizing code and method therefor
KR20140054586A (en) * 2012-10-29 2014-05-09 엘지전자 주식회사 Mobile terminal set
KR20140145480A (en) * 2013-06-13 2014-12-23 엘지전자 주식회사 Mobile terminal, electronic pen and controlling method thereof
KR20150110230A (en) * 2014-03-20 2015-10-02 권혁준 Life Color Stylus Pen
KR101593317B1 (en) * 2014-08-20 2016-02-11 예스튜디오 주식회사 Method and System for Painting using Smart Pen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694452A (en) * 2020-06-11 2020-09-22 北京万维智能技术有限公司 Dot matrix intelligence water-color paint brush drawing system

Also Published As

Publication number Publication date
WO2017188470A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
US9160993B1 (en) Using projection for visual recognition
KR101686741B1 (en) Display device
US20140078117A1 (en) Information processing apparatus, writing instrument, information processing method, and program
US20140307926A1 (en) Expression estimation device, control method, control program, and recording medium
KR20200076169A (en) Electronic device for recommending a play content and operating method thereof
EP3671549B1 (en) Electronic device for assisting a user during exercise
US9426606B2 (en) Electronic apparatus and method of pairing in electronic apparatus
US10488918B2 (en) Analysis of user interface interactions within a virtual reality environment
KR101593317B1 (en) Method and System for Painting using Smart Pen
KR20170121915A (en) Method and System for Painting using Smart Pen
KR101662740B1 (en) Apparatus and method for inputting korean based on a motion of users fingers
WO2018101035A1 (en) Information processing device and information processing method
KR102511720B1 (en) Apparatus and method for visually displaying voice of speaker at 360 video
US9600074B2 (en) Operational feedback with 3D commands
KR20200071287A (en) Mobile apparatus and server using painting service platform
KR20170054198A (en) System, method and program for educating sign language
US20170269697A1 (en) Under-wrist mounted gesturing
US10573027B2 (en) Device and method for digital painting
JP2014224874A (en) Learning support system, learning support method, program, and information storage medium
KR102414783B1 (en) Electronic apparatus and controlling method thereof
JP6939135B2 (en) Electronic devices, programs, servers, graph image generation methods and graph image generation systems
KR102399945B1 (en) A method of optical character recognition of electronic device for children learning
US9691293B2 (en) Customizing application usability with 3D input
KR101964608B1 (en) Method and apparatus for providing word and sentence learning service using video and motion sensing information
KR20140095178A (en) Device for providing media contents service for learning with the light pen

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application