WO2022075605A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2022075605A1
WO2022075605A1 PCT/KR2021/012019 KR2021012019W WO2022075605A1 WO 2022075605 A1 WO2022075605 A1 WO 2022075605A1 KR 2021012019 W KR2021012019 W KR 2021012019W WO 2022075605 A1 WO2022075605 A1 WO 2022075605A1
Authority
WO
WIPO (PCT)
Prior art keywords
handwriting
pen
trajectory
point
image
Prior art date
Application number
PCT/KR2021/012019
Other languages
English (en)
French (fr)
Inventor
야키신예베니
드지우블리우발레리
피수넨코안드리
초르나올레나
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022075605A1 publication Critical patent/WO2022075605A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the processor 120 may digitally convert and output the user's handwriting included in the pen handwriting image by adjusting the trajectory of the pen.
  • the coordinates of the selected first point 721 may be changed to a coordinate value of the writing point that satisfies a preset condition.
  • the writing point satisfying the preset condition may mean a point having the shortest distance from the first point among a plurality of points included in the writing 710 .
  • the processor 120 may output the adjusted trajectory (S370).
  • the processor 120 may obtain a trajectory that matches the handwriting.
  • FIG. 8 is a diagram for explaining a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the adjusted trajectory may be output (S850).
  • the adjusted trajectory may correspond to the handwriting included in the handwriting image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치의 제어 방법이 개시된다. 본 개시에 따른 전자 장치의 제어 방법은 사용자의 펜 필기 영상이 입력되면, 영상 내의 필기 이미지 및 펜의 궤적 정보를 획득하는 단계, 펜의 궤적이 기설정된 패턴에 대응하는지 확인하는 단계, 확인 결과에 기초하여, 펜의 궤적 중 필기 이미지에 포함된 필기에 대응하는 부분을 식별하는 단계, 필기 이미지를 기초로, 식별된 펜의 궤적이 필기와 일치하도록 펜의 궤적을 조정하는 단계, 조정된 궤적을 출력하는 단계를 포함한다.

Description

전자 장치 및 이의 제어 방법
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 구체적으로는 사용자의 필기 영상을 기초로 사용자의 필기를 인식하여 출력하는 전자 장치에 관한 것이다.
CROSS-REFERENCE TO RELATED APPLICATIONS
본 출원은 2020년 10월 8일에 출원된 대한민국 특허출원 제10-2020-0130174호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
휴대용 단말 장치에 필기 입력을 하는 스타일러스 펜이 등장함에 따라 스타일러스 펜을 이용하여 휴대용 단말 장치의 화면 상에서 필기를 수행하는 사용자가 점차 늘어나고 있다.
그러나, 일부 사용자들은 여전히 아날로그적인 방법으로 지면상에서 필기를 수행하는 것을 선호한다. 이와 같이 아날로그 방식을 선호하는 사용자들을 위하여 지면상의 필기를 인식하여 인식된 필기를 디지털로 변환하는 펜이 나타나고 있다.
그러나, 이와 같은 펜의 경우, 펜에 별도의 카메라나 센서가 부착되어 있어 무게가 무겁고 비용이 비싸다는 문제점이 있다. 또한, 휴대용 단말 장치에 별도의 어플리케이션을 설치해야 하는 단점도 존재하였다. 그리고, 사용자가 휴대용 단말 장치 이외에도 펜을 별도로 구비하여야 한다는 점에서 휴대성의 문제점도 존재하였다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 사용자의 필기 영상을 기초로 사용자의 필기 궤적을 확인하고, 확인된 사용자의 필기 궤적을 이용하여 사용자의 필기를 출력하는 전자 장치를 제공함에 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 사용자의 펜 필기 영상이 입력되면, 상기 영상 내의 필기 이미지 및 펜의 궤적 정보를 획득하는 단계, 상기 펜의 궤적이 기설정된 패턴에 대응하는지 확인하는 단계, 상기 확인 결과에 기초하여, 상기 펜의 궤적 중 상기 필기 이미지에 포함된 필기에 대응하는 부분을 식별하는 단계, 상기 필기 이미지를 기초로, 상기 식별된 펜의 궤적이 상기 필기와 일치하도록 상기 펜의 궤적을 조정하는 단계 및 상기 조정된 궤적을 출력하는 단계를 포함한다.
한편, 본 개시의 일 실시 예에 따른 전자 장치는, 디스플레이 및 사용자의 펜 필기 영상이 입력되면, 상기 영상 내의 필기 이미지 및 펜의 궤적 정보를 획득하고, 상기 펜의 궤적이 기설정된 패턴에 대응하는지 확인하고, 상기 확인 결과에 기초하여, 상기 펜의 궤적 중 상기 필기 이미지에 포함된 필기에 대응하는 부분을 식별하고, 상기 필기 이미지를 기초로, 식별된 펜의 궤적이 상기 필기와 일치하도록 상기 펜의 궤적을 조정하고, 상기 조정된 궤적을 출력하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도,
도 4a는 본 개시의 일 실시 예에 따라 펜의 궤적이 기설정된 패턴에 해당하는 경우 전자 장치의 동작을 설명하기 위한 도면,
도 4b는 본 개시의 일 실시 예에 따라 펜의 궤적이 기설정된 패턴에 해당하는 경우 전자 장치의 동작을 설명하기 위한 도면,
도 4c는 본 개시의 일 실시 예에 따라 펜의 궤적이 기설정된 패턴에 해당하는 경우 전자 장치의 동작을 설명하기 위한 도면,
도 4d는 본 개시의 일 실시 예에 따라 펜의 궤적이 기설정된 패턴에 해당하는 경우 전자 장치의 동작을 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따라 카메라 움직임 보상을 수행하는 전자 장치를 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따라 펜의 궤적 중 필기에 대응하는 부분을 식별하는 전자 장치를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따라 펜의 궤적을 조정하는 전자 장치를 설명하기 위한 도면 및
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 개시에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
한편, 본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
전자 장치(100)는 펜을 사용하여 필기를 수행하는 사용자의 펜 필기 영상을 입력 받을 수 있다. 이때, 펜의 종류는 일반적인 형태의 필기구로, 연필, 샤프, 볼펜, 사인펜, 분필 등 다양한 필기구가 될 수 있다.
일 예로, 전자 장치(100)는 전자 장치(100)에 부착된 카메라를 통하여 사용자의 펜 필기 영상을 촬영하여 영상을 획득할 수 있다. 이 경우, 전자 장치(100)는 카메라가 일 표면(1)을 촬영하도록 홀더(holder)에 고정된 상태일 수 있다. 또는, 사용자가 전자 장치(100)를 소지한 상태(가령, 손으로 전자 장치(100)를 잡거나 전자 장치(100)를 머리에 쓰거나, 전자 장치(100)를 목에 건 상태)에서 지면(1)을 촬영할 수도 있다.
다른 예로, 전자 장치(100)는 외부 장치(미도시)로부터 사용자의 펜 필기 영상을 수신할 수도 있다. 이 경우, 외부 장치(미도시)는 외부 장치에 부착된 카메라를 통하여 사용자의 펜 필기 영상을 촬영하고, 촬영된 영상을 전자 장치(100)에 전송할 수 있다.
전자 장치(100)는 펜 필기 영상에서 필기에 해당하는 부분의 이미지를 획득할 수 있다. 구체적으로, 전자 장치(100)는 펜 필기 영상에 대한 영상 처리를 수행하여 표면(1)상의 필기에 대한 이미지를 획득할 수 있다.
또한, 전자 장치(100)는 펜 필기 영상을 통하여 표면(1) 상에서 움직이는 펜의 궤적을 인식할 수 있다. 본 개시에서 펜의 궤적은 표면(1)상에서의 펜이 이동한 경로로, 표면(1)상에서의 펜의 기설정된 부분(가령, 펜 촉)이 이동한 흔적 또는 자국을 나타낸다. 펜의 궤적은 표면(1)상의 펜의 기설정된 부분의 이동 흔적을 나타낸다는 점에서, 사용자가 펜을 그립한 후 펜을 놓기 이전까지 펜의 궤적은 하나의 선으로 연결될 수 있다.
전자 장치(100)는 필기 이미지를 기초로, 펜의 궤적에서 필기에 해당하는 궤적을 확인하고 확인된 궤적을 조정하여 출력할 수 있다. 도 1에 도시된 바와 같이, 전자 장치(100)는 표면(1)상의 사용자의 필기를 디지털로 변환하여 표시할 수 있다.
한편, 본 개시에서 필기가 수행되는 표면(1)은 종이일 수 있으나, 반드시 이에 한하는 것은 아니며, 칠판, 게시판, 유리, 벽면과 같이 펜을 사용하여 필기가 수행될 수 있는 모든 곳이 될 수 있다.
또한, 본 개시에서 필기가 수행되는 표면(1)은 텍스트, 숫자, 기호 및 도형을 포함하는 컨텐츠를 포함할 수도 있다. 즉, 본 개시의 펜 필기 영상은 텍스트, 숫자, 기호 및 도형과 같은 다양한 객체를 포함하는 컨텐츠 상에서 필기가 수행되는 영상을 포함할 수 있다.
도 1에서 전자 장치(100)는 스마트폰으로 도시되었으나, 본 개시의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), TV, 워크스테이션(workstation), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 카메라(camera), 또는 웨어러블 장치(wearable device), AR 글래스(augmented reality glasses) 중 적어도 하나를 포함할 수 있다.
이하에서는 도면을 통하여 본 개시의 전자 장치(100)의 동작에 대하여 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2에 도시된 바와 같이, 전자 장치(100)는 디스플레이(110) 및 프로세서(120)를 포함한다.
디스플레이(110)는 전자 장치(100)를 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 본 개시에서, 디스플레이(110)는 사용자의 펜 필기 영상을 표시할 수 있다. 또는 디스플레이(110)는 사용자의 펜 필기 영상에서 획득한 펜의 궤적을 출력할 수 있다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel), Wall, Micro LED 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
프로세서(120)는 메모리(미도시)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 예를 들어, 프로세서(120)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(120)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(120)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU (Central Processing Unit) 또는 어플리케이션 프로세서 (application processor (AP))로 구현될 수 있다.
본 개시에서, 프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP)), 마이크로프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARP 프로세서(Address Resolution Protocol processor) 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 사용자의 펜 필기 영상이 입력되면, 펜 필기 영상을 통하여 펜의 궤적을 확인할 수 있다.
구체적으로, 프로세서(120)는 펜촉과 같이 펜의 기설정된 부분(또는 지점)을 인식하고, 기설정된 부분의 이동 경로를 통하여 펜의 궤적을 식별할 수 있다. 이때, 프로세서(120)는 영상 내에서 이동되는 펜의 기설정된 부분의 좌표를 확인하고, 확인된 좌표를 기초로 펜의 궤적을 식별할 수 있다.
펜의 궤적이 기설정된 패턴과 일치하면, 프로세서(120)는 기설정된 패턴에 따른 동작을 수행할 수 있다. 이에 대하여는 도 4a 내지 도 4e에서 구체적으로 설명하기로 한다.
프로세서(120)는 펜의 궤적이 기설정된 패턴에 일치하지 않는 경우, 움직임 보상을 수행할 수 있다. 구체적으로, 프로세서(120)는 영상에 포함된 필기를 기초로, 카메라의 움직임 또는 필기가 수행되는 표면(1)의 움직임을 확인하고, 확인된 움직임을 기초로 움직임 보상을 수행할 수 있다. 이에 대하여는 도 5에서 구체적으로 설명하기로 한다.
프로세서(120)는 펜의 궤적을 조정하여 펜 필기 영상에 포함된 사용자의 필기를 디지털로 변환하여 출력할 수 있다.
구체적으로, 프로세서(120)는 펜 필기 영상을 영상 처리하여 필기를 포함하는 필기 이미지를 획득할 수 있다.
그리고, 프로세서(120)는 펜의 궤적 중 필기에 대응하는 궤적 부분을 식별할 수 있다. 이에 대하여는 도 6에서 구체적으로 설명하기로 한다.
프로세서(120)는 필기 이미지를 기초로 펜의 궤적을 조정할 수 있다. 구체적으로, 프로세서(120)는 펜의 궤적이 필기 이미지에 포함된 필기와 일치하도록 펜의 궤적을 조정할 수 있다. 이에 따라, 프로세서(120)는 필기에 대응하는 펜의 궤적을 획득할 수 있으며, 획득된 펜의 궤적을 출력할 수 있다. 이에 대하여는 도 7에서 구체적으로 설명하기로 한다.
한편, 도 2의 전자 장치(100)에 도시된 구성 요소들은 전자 장치(100)의 성능 및/또는 종류에 대응하여 적어도 하나의 구성 요소의 추가, 변경되거나 삭제될 수 있다. 또한, 구성 요소들의 위치는 전자 장치(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
가령, 전자 장치(100)는 카메라(미도시)를 포함할 수 있다. 카메라(미도시)는 필기를 수행하는 사용자를 촬영할 수 있다. 구체적으로, 카메라(미도시)는 필기를 수행하는 사용자의 손, 펜, 필기가 수행되는 표면(1) 및 필기를 촬영할 수 있다.
카메라(미도시)는 정지 영상 및 동영상을 촬영할 수 있고, 하나 이상의 이미지 센서(가령, 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(image signal processor), 플래시(가령, LED, Xenon lamp 등)를 포함할 수 있다.
카메라(미도시)는 전자 장치(100)의 전면 또는 후면 상에 위치할 수 있다. 그러나 반드시 이에 한하는 것은 아니며, 카메라(미도시)는 전자 장치(100)의 종류에 따라 다양한 위치에 구비될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 구체적으로 설명하기 위한 흐름도이다.
프로세서(120)는 필기를 수행하는 사용자의 펜 필기 영상을 수신할 수 있다(S310).
도 1에서 상술한 바와 같이, 프로세서(120)는 펜을 사용하여 필기를 수행하는 필기 영역을 촬영하도록 카메라(미도시)를 제어하여 사용자의 펜 필기 영상을 수신하거나, 필기 영역을 촬영한 외부 장치(미도시)로부터 사용자의 펜 필기 영상을 수신할 수 있다.
이때, 펜 필기 영상은 펜촉, 펜대와 같은 펜의 부분, 펜을 잡고 있는 사용자의 손, 필기가 수행되는 표면(1) 및 필기를 수행한 결과를 포함할 수 있다.
프로세서(120)는 펜 필기 영상에서 펜을 식별할 수 있다. 구체적으로, 프로세서(120)는 객체(손, 관절) 인식 프로그램 또는 사람의 손을 인식하도록 학습된 인공지능 모델을 이용하여 펜 필기 영상에서 펜을 잡고 있는 사용자의 손을 확인할 수 있다. 그리고, 프로세서(120)는 확인 결과를 기초로 손에 인접한 펜을 식별할 수 있다.
프로세서(120)는 펜의 기설정된 부분을 확인할 수 있다. 여기에서 기설정된 부분은 펜촉, 볼펜심 및 샤프심 부분과 같이 펜이 표면(1)과 닿는 부분을 포함할 수 있다. 프로세서(120)는 Hough transform 알고리즘과 같이 특징 추출 알고리즘을 이용하여 펜 필기 영상에서 펜의 기설정된 부분을 식별할 수 있다.
프로세서(120)는 확인된 펜의 기설정된 부분을 이용하여 펜의 궤적 정보를 획득할 수 있다(S320).
구체적으로, 프로세서(120)의 펜 필기 영상에 포함된 복수의 이미지 프레임에서 펜의 기설정된 부분을 식별하고, 각 프레임에서의 펜의 기설정된 부분의 위치를 좌표로 나타내어 펜의 궤적을 확인할 수 있다.
가령, 프로세서(120)는 펜 필기 영상의 제1 프레임에서 식별된 펜의 기설정된 부분의 위치를 (x1, y1)으로, 제2 프레임에서 식별된 펜의 기설정된 부분의 위치를 (x2, y2)로,… k번째 프레임에서 식별된 펜의 기설정된 부분의 위치를 (xk, yk)로 나타내면서, 복수의 프레임에서의 펜의 기설정된 부분의 좌표 정보를 수집할 수 있다.
이때, 각각의 프레임에서 수집된 펜의 기설정된 부분의 좌표 정보는 메모리(미도시)에 저장될 수 있으며, 프로세서(120)는 메모리(미도시)에 저장된 좌표 정보를 기초로, 펜의 궤적을 확인할 수 있다.
프로세서(120)는 펜의 궤적이 기설정된 패턴에 해당하는지 확인할 수 있다(S330). 이때, 기설정된 패턴은 시스템상에서 또는 사용자의 설정에 의하여 특정 동작에 매칭되도록 기정의된 패턴으로, 기설정된 패턴 정보는 메모리(미도시)에 저장되어 있을 수 있다.
프로세서(120)는 펜의 궤적이 기설정된 패턴과 일치하면(S330-Y), 기설정된 패턴에 대응하는 동작을 수행할 수 있다(S340).
구체적으로, 프로세서(120)는 펜 필기 영상에서의 펜의 궤적을 확인하면서 펜의 궤적이 기설정된 패턴에 해당하는지 확인하고, 확인된 기설정된 패턴에 대응하는 동작을 검색할 수 있다. 검색 결과 기설정된 패턴에 대응하는 동작이 존재하면, 프로세서(120)는 기설정된 패턴에 대응하는 동작을 수행할 수 있다.
이때, 펜 필기 영상이 컨텐츠 상에서 필기가 수행되는 영상인 경우, 프로세서(120)는 펜의 궤적이 기설정된 패턴과 일치하면 기설정된 패턴에 따라 컨텐츠를 변경하거나 컨텐츠에 대응하는 어플리케이션을 실행할 수 있다.
가령, 도 4a 내지 도 4c에 도시된 바와 같이, 프로세서(120)는 텍스트 '2020. 10. 16 Note'를 포함하는 컨텐츠 상에서 필기가 수행되는 영상을 수신할 수 있다.
도 4a에 도시된 바와 같이, 사용자가 컨텐츠에 포함된 텍스트 'Note' 상에서 왼쪽에서 오른쪽으로 직선을 복수 회 긋는 경우, 프로세서(120)는 복수의 텍스트 상에서 왼쪽에서 오른쪽으로 복수 회 이동하는 펜의 궤적을 식별하고, 식별된 펜의 궤적이 기설정된 패턴에 해당하는지 확인할 수 있다.
이때, 텍스트 상에서 왼쪽에서 오른쪽으로 복수 회 이동하는 펜의 궤적이 텍스트의 삭제 동작과 매칭되는 기설정된 패턴에 해당하는 것으로 확인되면, 프로세서(120)는 디스플레이(110)에 표시된 'Note'를 삭제하도록 디스플레이(110)를 제어할 수 있다.
구체적으로, 프로세서(120)는 입력된 영상에 대한 영상 처리를 수행하여 텍스트 '2020. 10. 16 Note'를 표시하고, 기설정된 패턴에 해당하는 동작에 따라 텍스트 'Note'를 삭제하도록 디스플레이(110)를 제어할 수 있다.
다른 일 예로, 도 4b에 도시된 바와 같이, 사용자가 컨텐츠에 포함된 하나의 텍스트 'N'의 아래에서 왼쪽에서 오른쪽으로 지그재그로 선을 긋는 경우, 프로세서(120)는 하나의 텍스트 아래에서 지그재그로 이동하는 펜의 궤적을 식별하고, 식별된 펜의 궤적이 기설정된 패턴에 해당하는지 확인할 수 있다.
이 경우, 하나의 텍스트 아래에서 왼쪽에서 오른쪽으로 지그재그로 이동하는 펜의 궤적이 기설정된 패턴에 해당하고, 하나의 텍스트의 굵기를 굵게 하는 동작과 매칭되면, 프로세서(120)는 텍스트 'N'의 굵기를 굵게 표시하도록 디스플레이(110)를 제어할 수 있다.
또 다른 일 예로, 도 4c에 도시된 바와 같이, 사용자가 컨텐츠에 포함된 텍스트 'e'의 우측에서 아래에서 위로 지그재그로 선을 긋는 경우, 프로세서(120)는 하나의 텍스트의 우측에서 지그재그로 이동하는 펜의 궤적을 식별하고, 식별된 펜의 궤적이 기설정된 패턴에 해당하는지 확인할 수 있다.
이 경우, 하나의 텍스트 우측에서 지그재그로 이동하는 펜의 궤적이 기설정된 패턴에 해당하고, 하나의 텍스트를 포함하는 단어의 굵기를 굵게 하는 동작과 매칭되면, 프로세서(120)는 텍스트 'e'를 포함하는 단어 'Note'의 굵기를 굵게 표시하도록 디스플레이(110)를 제어할 수 있다.
한편, 도 4a 내지 도 4c의 기설정된 패턴에 따른 컨텐츠의 변경은 반드시 이에 한하는 것은 아니며, 패턴의 종류 및 컨텐츠의 변경 형태는 실시 예에 따라 다양할 수 있다.
일 실시 예에 따라, 프로세서(120)는 펜의 궤적이 기설정된 패턴에 해당하는 경우, 컨텐츠와 관련된 어플리케이션을 실행할 수 있다.
구체적으로, 프로세서(120)는 영상 처리 또는 영상 인식을 통하여 컨텐츠의 내용을 확인할 수 있다. 가령, 프로세서(120)는 수신된 펜 필기 영상에 포함된 컨텐츠에 대한 영상을 분석하여 컨텐츠가 전화번호, 날짜 및 시간과 같은 정보에 대한 텍스트를 포함하고 있음을 확인할 수 있다.
그리고, 펜의 궤적이 전화번호, 날짜 및 시간과 같은 정보에 대한 텍스트 상에서 이뤄지고, 펜의 궤적이 기설정된 패턴에 해당하는 경우, 프로세서(120)는 펜의 텍스트와 관련된 어플리케이션을 실행할 수 있다.
가령, 도 4d에 도시된 바와 같이, 프로세서(120)는 텍스트 'Tel. 02.987.6543.' 상에서 원을 그리는 사용자의 필기 영상을 수신할 수 있다. 이때, 프로세서(120)는 영상 분석을 통하여 영상에 포함된 텍스트 'Tel. 02.987.6543.'은 전화번호에 해당함을 인식할 수 있다.
그리고, 프로세서(120)는 원을 복수 회 그리는 펜의 궤적이 기설정된 패턴에 대응하는지 판단할 수 있다. 판단 결과 펜의 궤적이 통화 연결 기능에 대응하는 기설정된 패턴에 해당하면, 프로세서(120)는 전화 어플리케이션을 실행하여 컨텐츠에 포함된 전화 번호 '02.987.6543'로 통화 연결을 수행할 수 있다.
한편, 이는 일 실시 예일 뿐이며, 컨텐츠에 포함된 텍스트에 따라서 다양한 어플리케이션이 실행될 수 있다. 가령, 컨텐츠에 포함된 텍스트가 '날짜, 시간 및 장소' 정보를 포함하는 경우, 프로세서(120)는 펜의 궤적이 기설정된 패턴에 대응하면 '캘린더' 어플리케이션을 실행하고, 컨텐츠에 포함된 날짜, 시간 및 장소 정보를 입력할 수 있다.
다시 도 3으로 돌아가서, 펜의 궤적이 기설정된 패턴에 해당하지 않는 경우(S330-N), 프로세서(120)는 펜의 궤적 중 필기에 대응하는 부분을 식별할 수 있다(S350). 구체적으로, 프로세서(120)는 수신된 펜 필기 영상에서 필기 결과에 대응하는 필기 이미지를 획득하고, 필기 이미지를 기초로 펜의 궤적 중 필기 결과에 대응하는 부분을 식별할 수 있다.
한편, 사용자의 필기를 촬영하는 중에 카메라가 이동하거나, 필기가 수행되는 표면(1)이 이동하는 경우가 발생될 수 있다. 이 경우, 도 5에 도시된 바와 같이 펜 필기 영상의 각 프레임에 포함된 텍스트의 위치 또는 펜의 기설정된 부분의 위치가 상이할 수 있다.
프로세서(120)는 카메라 또는 표면(1)의 움직임을 보상(motion compensation)하고, 보상 결과를 기초로 펜의 궤적을 판단할 수 있다.
구체적으로, 프로세서(120)는 펜 필기 영상 내의 제1 프레임에 해당하는 필기 이미지에 포함된 필기의 기설정된 지점의 위치를 확인할 수 있다. 이때, 기설정된 지점은 필기의 시작점, 필기 결과의 다른 부분과 구별될 만한 특징점을 포함할 수 있다.
그리고, 프로세서(120)는 제1 프레임에서의 기설정된 지점의 위치를 좌표로 나타낼 수 있다. 가령, 프로세서(120)는 필기의 시작점인 지점(501) 및 2 개의 'l'이 표시된 지점(502)을 확인하고, 확인된 기설정된 지점 각각의 좌표를 (x1, y1), (x2, y2)로 나타낼 수 있다.
*그리고, 프로세서(120)는 펜 필기 영상 내의 제2 프레임에 해당하는 필기 이미지에 포함된 필기에서 기설정된 지점에 대응하는 지점의 위치를 확인하고, 확인된 위치를 좌표로 나타낼 수 있다. 가령, 프로세서(120)는 제2 프레임에서 필기의 시작점인 지점(501) 2 개의 'l'이 표시된 지점(502)을 확인하고, 각각의 좌표를 (x3, y3), (x4, y4)로 나타낼 수 있다.
프로세서(120)는 제1 프레임 및 제2 프레임에서 획득한 좌표 정보를 기초로 기설정된 지점의 위치가 변화되었는지 판단할 수 있다. 이때, 프레임의 변화에 따른 좌표 정보의 변화는 벡터의 형태로 표시될 수 있다.
프로세서(120)는 제1 프레임 및 제2 프레임에서 획득한 좌표 정보가 상이하여 기설정된 지점의 위치가 변화된 것으로 확인되면, 기설정된 지점의 위치 변화에 대응하는 변환 행렬을 계산할 수 있다.
그리고, 프로세서(120)는 변환 행렬을 이용하여 펜의 궤적 정보를 변환할 수 있다. 구체적으로, 프로세서(120)는 변환 행렬을 제1 프레임에서의 펜의 궤적 정보 및 제2 프레임에서의 펜의 궤적 정보에 적용하여, 펜의 궤적 정보를 변환할 수 있다.
한편, 프로세서(120)는 움직임 보상을 반영하여, 펜의 필기 영상에 포함된 필기 이미지를 획득할 수 있다.
구체적으로, 프로세서(120)는 펜 필기 영상에 포함된 필기 이미지를 움직임 보상하여 획득한 필기 이미지에 대하여 영상 처리하여 필기 이미지에 포함된 필기를 식별할 수 있다.
프로세서(120)는 필기 이미지를 이진화를 하고, 이진화된 필기 이미지에서 배경 및 노이즈를 식별할 수 있다. 구체적으로, 프로세서(120)는 이진화된 이미지에서 라인이나 셀(cell) 패턴이 인식되면 인식된 패턴을 배경으로 인식할 수 있다.
그리고, 프로세서(120)는 식별된 배경 및 노이즈를 제거하여 필기 이미지에 포함된 필기를 식별할 수 있다.
프로세서(120)는 식별된 필기를 기초로 펜의 궤적 중 필기에 대응하는 부분을 식별할 수 있다.
이와 관련하여, 도 6을 참조하면, 프로세서(120)는 이진화된 필기 이미지(601) 및 움직임 보상이 반영된 펜의 궤적 정보(602)를 결합하여 펜의 궤적 중 필기에 대응하는 부분(603)을 식별할 수 있다. 이때, 움직임 보상이 반영된 펜의 궤적 정보(602)는 메모리(미도시)에 저장되어 있을 수 있다.
프로세서(120)는 이진화된 필기 이미지(601) 상에 펜의 궤적 정보(좌표 정보)를 나타낼 수 있다. 그리고, 프로세서(120)는 필기와 펜의 궤적을 비교할 수 있다.
비교 결과를 기초로, 펜의 궤적 중 필기와의 거리가 기설정된 임계값 이내인 부분을 식별할 수 있다. 이때, 프로세서(120)는 펜의 궤적 중 필기와의 거리가 기설정된 임계값을 초과하는 부분을 식별하고, 식별된 궤적 부분을 삭제하여 펜의 궤적 정보 중 필기에 대응하는 부분(603)을 식별할 수 있다.
또는, 일 예에 따라, 프로세서(120)는 이진화된 필기 이미지(610)에서의 필기의 좌표 정보를 획득할 수 있다.
프로세서(120)는 필기의 좌표 정보 및 궤적의 좌표 정보를 기초로, 필기와 궤적 간의 거리를 확인할 수 있다. 그리고, 프로세서(120)는 궤적의 좌표 정보 중 필기와의 거리가 기설정된 임계값을 초과하는 부분을 식별하여, 식별된 궤적 부분을 삭제할 수 있다.
프로세서(120)는 필기 이미지를 기초로, 식별된 펜의 궤적을 조정할 수 있다(S360). 구체적으로, 프로세서(120)는 식별된 펜의 궤적이 필기 이미지에 포함된 필기와 일치하도록 펜의 궤적을 조정할 수 있다.
이와 관련하여, 도 7을 참조하면, 필기 이미지에 포함된 필기(710)와 식별된 펜의 궤적(720)이 도시되어 있다. 필기(710)는 필기 이미지에 대한 영상 처리를 수행하여 얻은 결과이고, 펜의 궤적은 프로세서(120)가 펜 필기 영상에서 펜의 기설정된 부분의 위치를 식별하여 얻은 결과라는 점에서, 필기(710)와 궤적(720)이 완벽하게 일치하지 않을 수 있다.
프로세서(120)는 식별된 펜의 궤적에 포함된 복수의 포인트 중 필기의 좌표와 매칭되지 않는 적어도 하나의 포인트를 식별할 수 있다.
이를 위하여, 프로세서(120)는 필기의 좌표 정보 및 궤적의 좌표 정보를 획득할 수 있으며, 획득한 좌표 정보들을 기초로 필기의 좌표 정보와 일치하지 않은 펜의 궤적의 좌표 정보를 확인할 수 있다. 그리고, 필기의 좌표 정보와 일치하는 않은 펜의 궤적의 좌표 정보 중 적어도 하나를 선택할 수 있다.
가령, 프로세서(120)의 필기 궤적(720)의 좌표 정보 중 필기(710)의 좌표 정보와 일치하지 않은 좌표 정보들 중에서, 궤적(720)의 특징점(721, 722, 723, 724,725, 726, 727 및 728)에 대응하는 좌표 정보를 선택할 수 있다. 여기에서, 궤적(720)의 특징점은 펜의 궤적(720) 중 꼭지점을 형성하는 부분으로 설정하였으나, 반드시 이에 한하는 것은 아니다.
그리고, 프로세서(120)는 필기의 좌표 정보를 기초로 적어도 하나의 포인트의 좌표 정보를 변경할 수 있다.
구체적으로, 프로세서(120)는 필기(710)의 좌표 정보와 일치하지 않은 궤적에 포함된 적어도 하나의 특징점(721, 722, 723, 724,725, 726, 727 및 728) 중 제1 포인트(721)를 선택할 수 있다.
그리고, 선택된 제1 포인트(721)의 좌표를 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 변경할 수 있다. 여기에서, 기설정된 조건을 만족하는 필기 지점은 필기(710)에 포함된 복수의 지점 중 제1 포인트와의 거리가 가장 짧은 지점을 의미할 수 있다.
구체적으로, 프로세서(120)는 필기(710)에 포함된 복수의 지점 중 제1 포인트(721)와의 거리가 가장 짧은 지점을 식별하고, 식별된 필기 지점의 좌표를 확인할 수 있다.
가령, 도 7의 step 0에서, 프로세서(120)는 필기에 포함된 복수의 지점 중 제1 포인트(721)와 거리가 가장 짧은 필기 지점을 선택할 수 있으며, 선택된 필기 지점의 좌표를 확인할 수 있다. 그리고, 프로세서(120)는 제1 포인트(721)의 좌표를 선택된 필기 지점의 좌표로 변경할 수 있다. 그 결과, 도 7의 step 1에서와 같이 제1 포인트(721)는 필기 상에 놓이게 된다.
그리고, 프로세서(120)는 적어도 하나의 특징점(721, 722, 723, 724, 725, 726, 727 및 728) 중 제1 포인트(721)와 인접한 제2 포인트(722)를 선택할 수 있다.
프로세서(120)는 제1 포인트(721)에서와 마찬가지로, 제2 포인트(722)의 좌표를 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 변경할 수 있다. 이에 따라, 제2 포인트(722)는 도 7의 step 2에서와 같이 필기 상의 지점에 놓이게 된다.
프로세서(120)는 상술한 과정을 반복하면서 궤적에 포함된 나머지 특징점(723, 724, 725, 726, 727 및 728)에 대하여, 나머지 특징점(723, 724, 725, 726, 727 및 728)의 좌표를 기설정된 조건을 만족하는 필기 지점 상의 좌표 값으로 순차적으로 변경할 수 있다.
한편, 도 7에서는 설명의 편의상 궤적에서 특징점을 선택하고 선택된 특징점을 필기(710)상의 지점으로 변경하는 것으로 설명하였으나, 실시 예에 따라 프로세서(120)는 궤적(720)에 포함된 좌표 중 필기(710)와 일치하지 않는 좌표에 대하여 상술한 조정 과정을 수행할 수 있다.
이에 따라, 프로세서(120)는 필기(710)와 동일한 형태를 가지는 궤적을 획득할 수 있게 된다.
다시 도 3으로 돌아가서, 프로세서(120)는 조정된 궤적을 출력할 수 있다(S370). 이때, 조정된 궤적은 필기 이미지 상의 필기에 위치한다는 점에서, 프로세서(120)는 필기와 일치하는 궤적을 획득할 수 있게 된다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
전자 장치에 사용자의 펜 필기 영상이 입력되면, 영상 내의 필기 이미지 및 펜의 궤적 정보를 획득할 수 있다(S810).
펜의 궤적이 기설정된 패턴에 대응하는지 확인할 수 있다(S820).
펜의 궤적이 기설정된 패턴과 일치하면 기설정된 패턴에 대응하는 동작을 수행할 수 있다.
가령, 펜 필기 영상이 컨텐츠 상에서 필기가 수행되는 영상을 포함하고, 펜의 궤적이 기설정된 패턴과 일치하면, 기설정된 패턴에 따라 컨텐츠를 변경하거나 컨텐츠에 대응하는 어플리케이션을 실행할 수 있다.
한편, 펜의 궤적이 기설정된 패턴에 대응하는지 확인한 결과에 기초하여, 펜의 궤적 중 필기 이미지에 포함된 필기에 대응하는 부분을 식별할 수 있다(S830).
한편, 사용자의 필기를 촬영하는 중에 카메라가 이동하거나, 필기가 수행되는 표면(1)이 이동하는 경우가 발생될 수 있다. 이 경우, 펜 필기 영상의 각 프레임에 포함된 텍스트의 위치 또는 펜의 기설정된 부분의 위치가 상이할 수 있다.
이때, 카메라 또는 표면(1)의 움직임을 보상하고, 보상 결과를 기초로 펜의 궤적을 판단할 수 있다.
구체적으로, 영상 내의 제1 프레임에 해당하는 필기 이미지에 포함된 필기의 기설정된 지점의 위치를 확인할 수 있다. 그리고, 영상 내의 제2 프레임에 해당하는 필기 이미지에 포함된 필기에서 기설정된 지점에 대응하는 지점의 위치를 확인할 수 있다.
제1 프레임 및 제2 프레임에서 기설정된 지점의 위치가 변화된 경우, 위치 변화에 대응하는 변환 행렬을 계산할 수 있다. 그리고, 변환 행렬을 이용하여 궤적 정보를 변환할 수 있다. 이에 따라, 펜의 궤적에 대하여도 움직임 보상을 수행할 수 있다.
한편, 펜의 궤적이 기설정된 패턴과 상이하면, 필기 이미지를 영상 처리하여 필기 이미지에 포함된 필기를 식별할 수 있다. 구체적으로, 필기 이미지를 이진화 하고, 이진화된 필기 이미지에 포함된 배경 및 노이즈를 식별하여 식별된 배경 및 노이즈를 제거할 수 있다.
그리고, 식별된 필기와 궤적을 비교하고, 비교 결과를 기초로 펜의 궤적 중 필기와의 거리가 기설정된 임계값 이내인 부분을 식별할 수 있다.
이때, 필기 이미지에 포함된 필기의 좌표 정보 및 궤적의 좌표 정보를 획득할 수 있다. 그리고, 획득된 필기의 좌표 정보 및 궤적의 좌표 정보를 기초로 펜의 궤적 중 필기와의 거리가 기설정된 임계값 이내인 부분을 식별할 수 있다.
필기 이미지를 기초로, 식별된 펜의 궤적이 필기와 일치하도록 펜의 궤적을 조정할 수 있다(S840).
구체적으로, 식별된 펜의 궤적에 포함된 복수의 포인트 중 필기의 좌표와 매칭되지 않는 적어도 하나의 포인트를 식별할 수 있다.
그리고, 필기의 좌표 정보를 기초로, 식별된 적어도 하나의 포인트의 좌표 정보를 변경할 수 있다.
구체적으로, 필기와 매칭되지 않는 적어도 하나의 포인트 각각에 대하여, 필기에 포함된 복수의 지점 중 각각의 포인트와의 거리가 기설정된 조건을 만족하는 지점을 식별할 수 있다. 이때, 필기의 좌표 정보를 기초로 각각의 포인트와의 거리가 기설정된 조건을 만족하는 지점을 식별할 수 있다.
그리고, 각각의 포인트의 좌표를 식별된 지점의 좌표 값으로 변경하여 궤적으로 변경할 수 있다.
한편, 궤적을 조정하는 단계는 궤적에 포함된 각각의 포인트에 대하여 순차적으로 이뤄질 수 있다.
구체적으로, 펜의 궤적에 포함된 적어도 하나의 포인트 중 제1 포인트를 선택하고, 선택된 제1 포인트의 좌표를 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 변경할 수 있다.
그리고, 적어도 하나의 포인트 중 제1 포인트와 인접한 제2 포인트를 선택하여 선택된 제2 포인트의 좌표를 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 변경할 수 있다.
그리고, 조정된 궤적을 출력할 수 있다(S850). 이때, 조정된 궤적은 필기 이미지에 포함된 필기에 대응될 수 있다.
이상에서 전자 장치(100) 또는 서버(200) 중 적어도 하나를 통해 수행되는 것으로 기재된 다양한 동작들은, 전자 장치의 제어 방법 또는 전자 장치를 포함하는 시스템의 제어 방법 내지 동작 방법의 형태로 하나 이상의 전자 장치를 통해 수행될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(Programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processor), 제어기(controller), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessor), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 개시에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면 본 개시에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 개시에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 사용자 장치 또는 관리자 장치에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 사용자 장치 및/또는 관리자 장치의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

Claims (15)

  1. 전자 장치의 제어 방법에 있어서,
    사용자의 펜 필기 영상이 입력되면, 상기 영상 내의 필기 이미지 및 펜의 궤적 정보를 획득하는 단계;
    상기 펜의 궤적이 기설정된 패턴에 대응하는지 확인하는 단계;
    상기 확인 결과에 기초하여, 상기 펜의 궤적 중 상기 필기 이미지에 포함된 필기에 대응하는 부분을 식별하는 단계;
    상기 필기 이미지를 기초로, 상기 식별된 펜의 궤적이 상기 필기와 일치하도록 상기 펜의 궤적을 조정하는 단계; 및
    상기 조정된 궤적을 출력하는 단계;를 포함하는, 제어 방법.
  2. 제1항에 있어서,
    상기 식별하는 단계는,
    상기 펜의 궤적이 상기 기설정된 패턴과 상이하면, 상기 필기 이미지를 영상 처리하여 상기 필기 이미지에 포함된 필기를 식별하는 단계;
    상기 식별된 필기와 상기 궤적을 비교하는 단계; 및
    상기 비교 결과를 기초로, 상기 펜의 궤적 중 상기 필기와의 거리가 기설정된 임계값 이내인 부분을 식별하는 단계;를 포함하는 제어 방법.
  3. 제2항에 있어서,
    상기 필기를 식별하는 단계는,
    상기 필기 이미지를 이진화(binarization)하는 단계;
    상기 이진화된 필기 이미지에 포함된 배경 및 노이즈를 식별하는 단계; 및
    상기 식별된 배경 및 노이즈를 제거하여 상기 필기를 식별하는 단계;를 포함하는, 제어 방법.
  4. 제1항에 있어서,
    상기 필기 이미지에 포함된 필기의 좌표 정보 및 상기 궤적의 좌표 정보를 획득하는 단계;를 더 포함하고,
    상기 펜의 궤적을 조정하는 단계는,
    상기 식별된 펜의 궤적에 포함된 복수의 포인트 중 상기 필기의 좌표와 매칭되지 않는 적어도 하나의 포인트를 식별하는 단계; 및
    상기 필기의 좌표 정보를 기초로, 상기 식별된 적어도 하나의 포인트의 좌표 정보를 변경하는 단계;를 포함하는, 제어 방법.
  5. 제4항에 있어서
    상기 펜의 궤적을 조정하는 단계는,
    상기 적어도 하나의 포인트 각각에 대하여, 상기 필기의 좌표 정보를 기초로 상기 필기에 포함된 복수의 지점 중 상기 각각의 포인트와의 거리가 기설정된 조건을 만족하는 지점을 식별하는 단계;
    상기 각각의 포인트의 좌표를 상기 식별된 지점의 좌표 값으로 변경하여 상기 궤적을 변경하는 단계;를 포함하는 제어 방법.
  6. 제5항에 있어서,
    상기 펜의 궤적을 조정하는 단계는,
    상기 적어도 하나의 포인트 중 제1 포인트를 선택하는 단계;
    상기 선택된 제1 포인트의 좌표를 상기 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 변경하는 단계;
    상기 적어도 하나의 포인트 중 상기 제1 포인트에 인접한 제2 포인트를 선택하는 단계; 및
    상기 선택된 제2 포인트의 좌표를 상기 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 순차적으로 변경하는 단계;를 포함하는, 제어 방법.
  7. 제1항에 있어서,
    상기 펜의 궤적이 상기 기설정된 패턴과 일치하면, 상기 기설정된 패턴에 대응하는 동작을 수행하는 단계;를 더 포함하는, 제어 방법.
  8. 제7항에 있어서,
    상기 펜 필기 영상은, 컨텐츠 상에서 필기가 수행되는 영상을 포함하고,
    상기 수행하는 단계는,
    상기 펜의 궤적이 상기 기설정된 패턴과 일치하면, 상기 기설정된 패턴에 따라 상기 컨텐츠를 변경하는 단계;를 포함하는, 제어 방법.
  9. 제1항에 있어서,
    상기 영상 내의 제1 프레임에 해당하는 필기 이미지에 포함된 필기의 기설정된 지점의 위치를 확인하는 단계;
    상기 영상 내의 제2 프레임에 해당하는 필기 이미지에 포함된 필기에서 상기 기설정된 지점에 대응하는 지점의 위치를 확인하는 단계;
    상기 제1 프레임 및 상기 제2 프레임에서 상기 기설정된 지점의 위치가 변화된 경우, 상기 위치 변화에 대응하는 변환 행렬을 계산하는 단계; 및
    상기 변환 행렬을 이용하여, 상기 궤적 정보를 변환하는 단계;를 더 포함하는, 제어 방법.
  10. 전자 장치에 있어서,
    디스플레이; 및
    사용자의 펜 필기 영상이 입력되면, 상기 영상 내의 필기 이미지 및 펜의 궤적 정보를 획득하고,
    상기 펜의 궤적이 기설정된 패턴에 대응하는지 확인하고,
    상기 확인 결과에 기초하여, 상기 펜의 궤적 중 상기 필기 이미지에 포함된 필기에 대응하는 부분을 식별하고,
    상기 필기 이미지를 기초로, 식별된 펜의 궤적이 상기 필기와 일치하도록 상기 펜의 궤적을 조정하고,
    상기 조정된 궤적을 출력하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는, 전자 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 펜의 궤적이 상기 기설정된 패턴과 상이하면, 상기 필기 이미지를 영상 처리하여 상기 필기 이미지에 포함된 필기를 식별하고,
    상기 식별된 필기와 상기 궤적을 비교하고,
    상기 비교 결과를 기초로, 상기 펜의 궤적 중 상기 필기와의 거리가 기설정된 임계값 이내인 부분을 식별하는, 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 필기 이미지를 이진화하고, 상기 이진화된 필기 이미지에 포함된 배경 및 노이즈를 식별하고, 상기 식별된 배경 및 노이즈를 제거하여 상기 필기를 식별하는, 전자 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 필기 이미지에 포함된 필기의 좌표 정보 및 상기 궤적의 좌표 정보를 획득하고,
    상기 식별된 펜의 궤적에 포함된 복수의 포인트 중 상기 필기의 좌표와 매칭되지 않는 적어도 하나의 포인트를 식별하고,
    상기 필기의 좌표 정보를 기초로, 상기 식별된 적어도 하나의 포인트의 좌표 정보를 변경하는, 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 포인트 각각에 대하여, 상기 필기의 좌표 정보를 기초로 상기 필기에 포함된 복수의 지점 중 상기 각각의 포인트와의 거리가 기설정된 조건을 만족하는 지점을 식별하고,
    상기 각각의 포인트의 좌표를 상기 식별된 지점의 좌표 값으로 변경하여 상기 궤적을 변경하는, 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 포인트 중 제1 포인트를 선택하고,
    상기 선택된 제1 포인트의 좌표를 상기 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 변경하고,
    상기 적어도 하나의 포인트 중 상기 제1 포인트에 인접한 제2 포인트를 선택하고,
    상기 선택된 제2 포인트의 좌표를 상기 기설정된 조건을 만족하는 필기 지점의 좌표 값으로 순차적으로 변경하는, 전자 장치.
PCT/KR2021/012019 2020-10-08 2021-09-06 전자 장치 및 이의 제어 방법 WO2022075605A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0130174 2020-10-08
KR1020200130174A KR20220046906A (ko) 2020-10-08 2020-10-08 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2022075605A1 true WO2022075605A1 (ko) 2022-04-14

Family

ID=81126642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012019 WO2022075605A1 (ko) 2020-10-08 2021-09-06 전자 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20220046906A (ko)
WO (1) WO2022075605A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565188A (zh) * 2022-04-30 2023-01-03 珠海凯芯微电子科技有限公司 一种点写笔及应用点写笔的书写轨迹记录方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR20120035771A (ko) * 2010-10-06 2012-04-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20120040970A (ko) * 2010-10-20 2012-04-30 삼성전자주식회사 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
KR20160099497A (ko) * 2015-02-12 2016-08-22 삼성전자주식회사 핸드라이팅 인식 방법 및 장치
KR20180043761A (ko) * 2018-01-30 2018-04-30 주식회사 디폼아이앤티 휴대 단말에 적용되는 필기 인식 장치 및 이를 포함하는 필기 인식 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR20120035771A (ko) * 2010-10-06 2012-04-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20120040970A (ko) * 2010-10-20 2012-04-30 삼성전자주식회사 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
KR20160099497A (ko) * 2015-02-12 2016-08-22 삼성전자주식회사 핸드라이팅 인식 방법 및 장치
KR20180043761A (ko) * 2018-01-30 2018-04-30 주식회사 디폼아이앤티 휴대 단말에 적용되는 필기 인식 장치 및 이를 포함하는 필기 인식 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565188A (zh) * 2022-04-30 2023-01-03 珠海凯芯微电子科技有限公司 一种点写笔及应用点写笔的书写轨迹记录方法及系统
CN115565188B (zh) * 2022-04-30 2024-03-12 珠海凯芯微电子科技有限公司 一种点写笔及应用点写笔的书写轨迹记录方法及系统

Also Published As

Publication number Publication date
KR20220046906A (ko) 2022-04-15

Similar Documents

Publication Publication Date Title
WO2018012945A1 (en) Method and device for obtaining image, and recording medium thereof
WO2014115944A1 (en) Portable device and control method thereof
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
EP3642802A1 (en) Apparatus for editing image using depth map and method thereof
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2019066273A1 (ko) 전자칠판 및 그 제어방법
EP3420721A1 (en) Electronic device and operating method thereof
WO2013133524A1 (en) Touch input gesture based command
WO2012108552A1 (en) Display device and control method thereof
WO2020141727A1 (ko) 헬스 케어 로봇 및 그 제어 방법.
WO2015012495A1 (en) User terminal device and the control method thereof
WO2021101051A1 (en) Electronic device for converting handwriting input to text and method of operating the same
WO2022075605A1 (ko) 전자 장치 및 이의 제어 방법
WO2015064923A1 (en) Electronic apparatus and method of recognizing a user gesture
WO2019017585A1 (en) ELECTRONIC DEVICE FOR CONTROLLING THE DEVELOPMENT OF A LENS AND METHOD OF CONTROLLING THE SAME
WO2016035940A1 (en) Display device and method of controlling therefor
WO2019194356A1 (ko) 전자 장치 및 그 제어 방법
WO2019160325A1 (en) Electronic device and control method thereof
WO2021137507A1 (en) Display apparatus and controlling method thereof
WO2021157804A1 (ko) 증강 현실 구현 방법 및 이를 수행하는 장치
WO2012034469A1 (zh) 基于手势的人机交互方法及系统、计算机存储介质
WO2022080739A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2021167286A1 (en) Display apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877857

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877857

Country of ref document: EP

Kind code of ref document: A1