KR20160005899A - 디지털 이미지 처리 장치, 시스템 및 제어 방법 - Google Patents

디지털 이미지 처리 장치, 시스템 및 제어 방법 Download PDF

Info

Publication number
KR20160005899A
KR20160005899A KR1020140084957A KR20140084957A KR20160005899A KR 20160005899 A KR20160005899 A KR 20160005899A KR 1020140084957 A KR1020140084957 A KR 1020140084957A KR 20140084957 A KR20140084957 A KR 20140084957A KR 20160005899 A KR20160005899 A KR 20160005899A
Authority
KR
South Korea
Prior art keywords
information
marker
digital image
hand
image processing
Prior art date
Application number
KR1020140084957A
Other languages
English (en)
Inventor
박시화
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140084957A priority Critical patent/KR20160005899A/ko
Priority to US14/464,256 priority patent/US9582712B2/en
Priority to ES14896997T priority patent/ES2738727T3/es
Priority to CN201480080350.1A priority patent/CN106663185B/zh
Priority to EP14896997.5A priority patent/EP3167405B1/en
Priority to PCT/KR2014/009462 priority patent/WO2016006764A1/en
Publication of KR20160005899A publication Critical patent/KR20160005899A/ko
Priority to US15/408,142 priority patent/US9940512B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

디지털 이미지 처리 장치, 시스템 및 제어 방법이 개시된다. 디지털 이미지 처리 장치는 핸드-드로운(hand-drawn) 정보를 감지하는 이미지 센서부, 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 디스플레이하는 디스플레이부, 적어도 하나의 완성 정보 중 선택된 완성 정보를 서버로 전송하는 통신부 및 제어부를 포함하며, 제어부는 감지된 정보를 포함하는 적어도 하나의 완성 정보를 검색하여 디스플레이하도록 디스플레이부를 제어하고, 검색된 적어도 하나의 완성 정보 중 하나가 선택되면 선택된 완성 정보와 함께 마커(marker)를 디스플레이하도록 디스플레이부를 제어하며, 디스플레이된 마커를 따라 그려진 핸드-드로운 마커가 감지되면, 마커를 선택된 완성 정보와 링크시키고, 마커와 함께 선택된 완성 정보를 전송하도록 통신부를 제어하며, 마커는 서버 전송 속성을 포함한다.

Description

디지털 이미지 처리 장치, 시스템 및 제어 방법{DIGITAL IMAGE PROCESSING APPARATUS, SYSTEM AND CONTROLLING METHOD THEREOF}
본 명세서는 디지털 이미지 처리 장치, 시스템 및 제어 방법에 관한 것이다.
디지털 디바이스의 보급률이 증가함에 따라 사용자들은 터치 센서를 포함하는 디지털 디바이스에 스타일러스 또는 손가락을 이용하여 그림을 그리거나 글씨를 쓰게 되었다. 디지털 디바이스는 터치 센서에 의해 센싱된 정보를 디지털 이미지로 저장하며, 저장된 디지털 이미지는 기존의 핸드-드로잉으로 작성된 핸드-드로운 스케치에 비해 휴대성이 높고 수정이 편리한 장점이 있었다.
하지만 디지털 디바이스의 보급에도 불구하고 사용자들은 여전히 펜이나 연필 등을 이용하여 노트나 종이에 글자를 쓰는 핸드-드로운 정보를 이용하고 있으며, 이는 디지털 디바이스 상에서는 제공하지 못하는 필기감을 제공할 수 있다.
한편 사용자는 디지털 디바이스에 저장된 정보를 타인과 공유할 필요가 있다. 그러나, 사용자가 정보의 일부분만을 기억하는 경우, 기억하는 일부 정보를 이용하여 저장된 정보를 검색하는 것은 많은 시간이 필요하며 불편한 점이 있다.
따라서, 핸드-드로잉된 일부 정보를 이용하여 디지털 디바이스에 저장된 정보를 쉽게 검색하고 공유하는 방법이 필요하다.
본 명세서는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 명세서의 목적은 핸드-드로운된 일부 정보를 감지하여 장치 내에 저장된 완성 정보를 검색하여 검색된 완성 정보를 공유하는 디지털 이미지 처리 장치, 시스템 및 제어 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 일 실시 예에 따르면, 디지털 이미지 처리 장치는 핸드-드로운(hand-drawn) 정보를 감지하는 이미지 센서부, 상기 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 디스플레이하는 디스플레이부, 상기 적어도 하나의 완성 정보 중 선택된 완성 정보를 서버로 전송하는 통신부 및 제어부를 포함하며, 상기 제어부는 상기 감지된 정보를 포함하는 적어도 하나의 완성 정보를 검색하여 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 검색된 적어도 하나의 완성 정보 중 하나가 선택되면 상기 선택된 완성 정보를 디스플레이하도록 상기 디스플레이부를 제어하며, 핸드-드로운 마커를 감지하여 상기 감지된 마커가 공유 속성 마커이면, 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키고, 상기 공유 속성 마커와 함께 상기 선택된 완성 정보를 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는 상기 공유 속성 마커를 상기 선택된 완성 정보와 함께 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 디스플레이된 공유 속성 마커를 따라 그려진 핸드-드로운 마커를 감지하면 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시킬 수 있다.
한편, 상기 선택된 완성 정보는 계좌 번호, 전화 번호, 카드 번호, 비밀 번호, 주소, 이메일 주소 및 메모 중 적어도 하나를 포함할 수 있다.
또한, 상기 선택된 완성 정보는 상기 공유 속성 마커와 함께 링크되어 상기 서버로 전송됨으로써 공유 속성을 포함할 수 있다.
한편, 디지털 이미지 처리 장치는 정보를 저장하는 저장부를 더 포함하고, 상기 제어부는 상기 감지된 정보를 기초로 상기 저장된 정보를 검색하고, 상기 저장된 정보 중에서 상기 감지된 정보를 포함하는 적어도 하나의 완성 정보를 디스플레이하도록 제어할 수 있다.
한편, 상기 공유 속성 마커는 사용자에 의해 설정된 마커일 수 있다.
그리고, 상기 공유 속성 마커는 랜덤하게 생성될 수 있다.
한편, 상기 제어부는 상기 선택된 완성 정보와 함께 전송된 상기 공유 속성 마커를 디스플레이하기 위한 공유 속성 마커 그룹에서 제외할 수 있다.
그리고, 상기 제어부는, 상기 제외된 공유 속성 마커를 디스플레이하기 위한 공유 속성 마커 그룹에 기 설정된 시간 이후 포함시킬 수 있다.
또한, 상기 통신부는 상기 전송된 완성 정보가 상기 서버에서 삭제된 경우, 상기 서버로부터 상기 완성 정보의 삭제 여부를 수신하고, 상기 제어부는 상기 제외된 공유 속성 마커를 디스플레이하기 위한 공유 속성 마커 그룹에 포함시킬 수 있다.
한편, 상기 마커는 기호, 도형, 문자 및 숫자 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제어부는 상기 선택된 완성 정보 중 상기 감지된 정보 영역과 자동으로 완성된 나머지 영역을 구분할 수 있다.
또한, 상기 제어부는 상기 이미지 센서부를 통해 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커가 함께 감지되면, 상기 서버로부터 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커를 포함하는 완성 정보를 수신하여 디스플레이하도록 제어할 수 있다.
그리고, 상기 제어부는 상기 선택된 완성 정보와 관련된 부가 정보도 함께 전송할 수 있다.
그리고, 상기 제어부는 상기 핸드-드로운 마커에 기 설정된 편집 표시가 포함되는 경우 편집 모드를 실행시키고, 상기 선택된 완성 정보와 관련된 편집이 완료되면 상기 선택된 완성 정보를 상기 서버로 전송하거나 상기 선택된 완성 정보와 함께 상기 부가 정보를 상기 서버로 전송하도록 제어할 수 있다.
한편, 상기 선택된 완성 정보와 관련된 편집은 가상 키보드 입력 및 음성 입력 중 적어도 하나를 포함하는 방식으로 수행될 수 있다.
그리고, 상기 제어부는 상기 핸드-드로운 마커에 기 설정된 삭제 표시가 포함되는 경우 상기 서버로 상기 선택된 완성 정보의 삭제 명령을 전송하도록 제어할 수 있다.
또한, 상기 제어부는 상기 선택된 완성 정보의 삭제 여부 확인 메시지를 출력하도록 제어할 수 있다.
상술한 목적을 달성하기 위한 일 실시 예에 따르면, 디지털 이미지 송수신 시스템은 핸드-드로운(hand-drawn) 정보를 감지하고, 상기 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 디스플레이하며, 상기 적어도 하나의 완성 정보 중 하나가 선택되면 상기 선택된 완성 정보를 디스플레이하고, 핸드-드로운 마커를 감지하여 상기 감지된 마커가 공유 속성 마커이면, 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키고, 상기 공유 속성 마커와 함께 상기 선택된 완성 정보를 전송하는 디지털 이미지 송신 장치, 상기 링크된 공유 속성 마커와 선택된 완성 정보를 수신하여 저장하고, 상기 디지털 이미지 수신 장치로부터 상기 핸드-드로운 마커와 함께 상기 핸드-드로운 정보를 수신하면, 상기 수신된 마커 및 정보를 포함하는 완성 정보를 전송하는 서버 및 이미지 센서부를 통해 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커가 함께 감지되면 상기 서버로 정보를 요청하고, 상기 서버로부터 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커를 포함하는 완성 정보를 수신하여 디스플레이하는 디지털 이미지 수신 장치를 포함할 수 있다.
상술한 목적을 달성하기 위한 일 실시 예에 따르면, 디지털 이미지 처리 장치의 제어 방법은 핸드-드로운(hand-drawn) 정보를 감지하고 상기 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 검색하여 디스플레이하는 단계, 상기 검색된 적어도 하나의 완성 정보 중 하나가 선택되면 상기 선택된 완성 정보를 디스플레이하는 단계 및 핸드-드로운 마커를 감지하여 상기 감지된 마커가 공유 속성 마커이면, 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키고, 상기 공유 속성 마커와 함께 상기 선택된 완성 정보를 전송하는 단계를 포함할 수 있다.
상술한 다양한 실시 예에 따르면, 디지털 이미지 처리 장치, 시스템 및 제어 방법은 핸드-드로운된 일부 정보를 감지하여 장치 내에 저장된 감지된 일부 정보를 포함하는 완성 정보를 검색할 수 있다.
그리고, 디지털 이미지 처리 장치, 시스템 및 제어 방법은 검색된 완성 정보를 공유할 수 있다.
또한, 디지털 이미지 처리 장치, 시스템 및 제어 방법은 핸드-드로운된 일부 정보 및 공유 속성을 포함하는 핸드-드로운된 마커를 감지하면 매칭되는 완성 정보를 표시할 수 있다.
도 1은 디지털 이미지 처리 장치를 사용하는 일 실시 예를 설명하는 도면.
도 2는 일 실시 예에 따른 디지털 이미지 처리 장치의 블록도.
도 3은 다른 실시 예에 따른 디지털 이미지 처리 장치의 블록도.
도 4는 핸드-드로운된 일부 정보를 감지하여 완성 정보를 공유하는 일 실시 예를 설명하는 도면.
도 5는 완성 정보와 관련된 부가 정보를 함께 전송하는 일 실시 예를 설명하는 도면.
도 6은 공유된 완성 정보를 수신하고 디스플레이하는 일 실시 예를 설명하는 도면.
도 7은 핸드-드로운된 영역과 자동으로 완성된 나머지 영역을 구분하는 일 실시 예를 설명하는 도면.
도 8은 일 실시 예에 따른 사용자가 마커를 설정하는 방법을 설명하는 도면.
도 9는 사용된 마커를 구별하는 일 실시 예를 설명하는 도면.
도 10은 일 실시 예에 따른 편집 속성을 포함하는 마커를 설명하는 도면.
도 11은 일 실시 예에 따른 삭제 속성을 포함하는 마커를 설명하는 도면.
도 12는 일 실시 예에 따른 디지털 이미지 처리 시스템의 타이밍도.
도 13은 일 실시 예에 따른 디지털 이미지 처리 장치 제어 방법의 흐름도.
이하 상술한 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
본 발명에서, 핸드-드로운(hand-drawn) 정보 또는 핸드-드로운(hand-drawn) 글자는 사용자의 핸드 드로잉에 의해 남겨진 액체 또는 고체 물질로 표현되는 피지컬 텍스트로써 예를 들면 종이 위에 연필로 그려진 숫자, 화이트 보드 위에 마커로 씌여진 글자, 벽에 스프레이 페인트로 그려진 문자 등을 포함할 수 있다. 또한 위에서 언급한 종이, 화이트 보드, 벽 등 핸드-드로운 글자가 쓰여질 수 있는 물체를 피지컬 오브젝트(physical object)라고 표현할 수 있다. 본 발명의 디지털 이미지 처리 장치는 카메라가 포함된 헤드 마운트 디스플레이(Head Mounted Display: HMD) 및 이미지 센서가 포함된 프로젝터를 포함할 수 있다.
도 1은 디지털 이미지 처리 장치를 사용하는 일 실시 예를 설명하는 도면이다.
디지털 이미지 처리 장치(100)는 사용자의 핸드-드로잉으로 쓰여진 핸드-드로운 글자를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 이미지 센서를 이용하여 노트, 종이 또는 화이트 보드 등의 피지컬 오브젝트(1) 상에 남겨진 액체 또는 고체 물질로 표현되는 핸드-드로운 글자를 센싱할 수 있다. 한편, 디지털 이미지 처리 장치(100)는 센싱 전에 다양한 정보를 저장하고 있을 수 있다. 예를 들어, 다양한 정보는 전화 번호, 계좌 번호, 카드 번호, 비밀 번호, 주소, 이메일 주소, 메모, 일기 및 일정 등을 포함할 수 있다. 디지털 이미지 처리 장치(100)는 개인용으로 사용될 수 있다. 따라서, 디지털 이미지 처리 장치(100)에 저장된 다양한 정보는 개인 정보라고 할 수 있으므로 개인 속성 또는 독점 속성을 포함할 수 있다. 개인속성은 각 정보마다 하나의 필드 값으로 할당되어 설정될 수 있다. 또는, 디지털 이미지 처리 장치(100)에 저장된 다양한 정보는 특별한 속성 값을 포함하지 않을 수 있으며, 특별한 속성 값이 없는 경우 개인 속성으로 판단될 수 있다.
디지털 이미지 처리 장치(100)는 감지된 핸드-드로운 글자를 텍스트 속성으로 인식할 수 있다. 예를 들어, 디지털 이미지 처리 장치(100)는 종이 위에 쓰여진 3456이라는 글자를 감지하고 각각 3, 4, 5, 6 이라는 텍스트로 인식할 수 있다. 핸드-드로운 글자는 정보를 의미할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 정보를 이용하여 저장된 다양한 정보와 매칭시킬 수 있다. 핸드-드로운 정보는 저장된 전체 정보 중 일부분에 해당하는 정보일 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 정보를 포함하는 저장된 정보를 검색할 수 있다. 즉, 디지털 이미지 처리 장치(100)는 핸드-드로운 정보를 부분 정보로 하는 완성 정보를 검색할 수 있다.
디지털 이미지 처리 장치(100)는 검색된 완성 정보를 디스플레이할 수 있다. 디지털 이미지 처리 장치(100)는 검색된 완성 정보가 복수 개인 경우, 모든 완성 정보를 디스플레이할 수 있다. 디지털 이미지 처리 장치(100)는 검색된 완성 정보가 없는 경우, 아무 정보도 디스플레이하지 않을 수 있다.
디지털 이미지 처리 장치(100)는 사용자로부터 하나의 완성 정보를 선택하는 명령을 입력받을 수 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보만을 표시할 수 있고, 선택된 완성 정보 옆에 마커를 디스플레이할 수 있다. 마커는 선택된 완성 정보를 공유시키기 위한 명령에 대응될 수 있다. 마커는 공유 속성을 포함할 수 있다. 따라서, 마커는 공유 속성 마커라고 칭할 수 있다. 마커는 사용자에 의해 설정될 수 있고, 디지털 이미지 처리 장치(100)가 랜덤하게 생성할 수 있다.
일 실시 예로서, 디지털 이미지 처리 장치(100)는 하나 또는 복수 개의 공유 속성 마커 정보를 가지고 있을 수 있다. 그리고, 디지털 이미지 처리 장치(100)는 마커는 디스플레이하지 않고 선택된 완성 정보만을 디스플레이할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 감지된 핸드-드로운 마커가 공유 속성 마커인지 여부를 판단할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커가 공유 속성 마커이면 공유 속성 마커를 선택된 완성 정보와 링크시킬 수 있다. 상술한 바와 같이, 핸드-드로운 마커는 공유 속성 마커이다. 따라서, 디지털 이미지 처리 장치(100)는 감지된 핸드-드로운 마커를 선택된 완성 정보와 링크시킬 수 있다. 즉, 공유 속성 마커를 선택된 완성 정보와 링크시키는 것은 감지된 핸드-드로운 마커를 선택된 완성 정보와 링크시키는 것과 동일한 의미이다.
다른 실시 예로서, 디지털 이미지 처리 장치(100)는 투명 디스플레이부를 포함할 수 있다. 디지털 이미지 처리 장치(100)는 디스플레이부에 마커를 표시할 수 있다. 마커는 사용자에게 디스플레이부를 통해 핸드-드로운 정보를 기록한 피지컬 오브젝트(1) 위에 표시된 것처럼 인식될 수 있다. 즉, 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(1)를 배경으로 마커를 시각화할 수 있다. 경우에 따라, 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(1)에 마커를 투영시킬 수 있다. 사용자는 피지컬 오브젝트(1) 위에 핸드-드로잉에 의해 마커를 그릴 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 감지된 마커와 선택된 완성 정보를 링크시켜 서버로 전송할 수 있다. 즉, 마커는 서버 전송 속성을 포함할 수 있다. 상술한 바와 같이, 감지된 마커를 선택된 완성 정보와 링크시키는 것은 공유 속성 마커를 선택된 완성 정보와 링크시키는 것과 동일한 의미이다.
디지털 이미지 처리 장치(100)는 프로젝터 또는 헤드 마운트 디스플레이(Head Mount Display: HMD)를 포함할 수 있다. 아래에서는 디지털 이미지 처리 장치(100)의 구성 및 동작 방법에 대해 상세하게 설명한다.
도 2는 일 실시 예에 따른 디지털 이미지 처리 장치의 블록도이다.
도 2를 참조하면, 디지털 이미지 처리 장치(100)는 이미지 센서부(110), 디스플레이부(120), 제어부(130), 통신부(140)를 포함할 수 있다.
이미지 센서부(110)는 핸드-드로운 정보를 감지할 수 있다. 이미지 센서부(110)는 모션 센서 또는 비디오 센서 등으로 사용될 수도 있다. 디지털 이미지 처리 장치(110)는 이미지 센서부(110)를 이용하여 핸드-드로운 정보를 감지하고 디지털 이미지로 변환할 수 있다. 이미지 센서부(110)는 핸드-드로운 부분 정보를 감지하여 디지털 이미지로 변환할 수 있고, 핸드-드로운 마커를 감지하여 디지털 이미지로 변환할 수 있다. 예를 들어, 이미지 센서부(110)는 카메라의 형태로 구현될 수 있다.
디스플레이부(120)는 감지된 정보를 부분 정보를 포함하는 완성 정보를 디스플레이할 수 있다. 디스플레이부(120)는 투명 디스플레이부로 구현될 수 있다. 또한, 디스플레이부(120)는 피지컬 오브젝트에 디지털 이미지를 투영할 수 있다. 디스플레이부(120)는 HMD의 디스플레이부 또는 빔 프로젝터를 포함할 수 있다. 디스플레이부(120)는 마커를 디스플레이할 수 있다. 마커는 하나의 완성 정보가 선택되면 선택된 완성 정보 옆에 디스플레이될 수 있다. 디스플레이부(120)는 마커를 디스플레이하거나 마커를 피지컬 오브젝트에 디지털 이미지로 투영할 수도 있다.
제어부(130)는 기 저장된 정보 중에서 감지된 정보를 포함하는 정보를 검색할 수 있다. 핸드-드로운 정보는 전체 정보 중 일부분이므로 부분 정보라고 부르고, 기 저장된 정보는 전체 정보이므로 완성 정보라고 부를 수 있다. 완성 정보는 디지털 이미지 처리 장치(100)에 저장된 정보이고, 디지털 이미지 처리 장치(100)는 개인용으로 사용될 수 있다. 따라서, 완성 정보는 개인 정보일 수 있다.
제어부(130)는 감지된 정보를 포함하는 적어도 하나의 완성 정보를 검색하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 상술한 바와 같이, 완성 정보는 디스플레이부(120)에 디스플레이되거나 피지컬 오브젝트에 투영되어 디스플레이될 수 있다.
디지털 이미지 처리 장치(100)는 사용자로부터 하나의 완성 정보 선택 명령을 입력받는다. 제어부(130)는 검색된 완성 정보 중 하나가 선택되면 선택된 완성 정보와 함께 마커를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 제어부(130)는 디스플레이된 마커를 따라 그려진 핸드-드로운 마커가 감지되면, 마커를 선택된 완성 정보와 링크시키고, 마커와 함께 선택된 완성 정보를 전송하도록 통신부(140)를 제어할 수 있다. 따라서, 마커는 서버 전송 속성을 포함할 수 있다. 마커는 기호, 도형, 문자 및 숫자를 포함할 수 있다. 마커는 기호, 도형, 문자 및 숫자 중 하나로 구성될 수 있고, 복수 개가 조합되어 구성될 수도 있다.
통신부(140)는 선택된 완성 정보를 서버로 전송할 수 있다. 통신부(140)는 유선 또는 무선으로 외부 네트워크에 접속하여 디지털 데이터를 송/수신할 수 있다. 통신부(140)는 유선 또는 무선으로 외부 네트워크에 접속하여 디지털 데이터를 송/수신할 수 있다. 디지털 이미지 처리 장치(100)가 핸드-드로운 부분 정보와 핸드-드로운 마커를 감지하면, 통신부(140)는 서버로부터 매칭되는 완성 정보를 수신할 수 있다.
완성 정보는 개인 정보일 수 있지만 마커와 함께 링크되어 서버로 전송됨으로써 타인과 공유될 수 있다. 따라서, 전송된 완성 정보는 공유 속성을 포함할 수 있다.
도 3은 다른 실시 예에 따른 디지털 이미지 처리 장치의 블록도이다.
도 3을 참조하면, 디지털 이미지 처리 장치는 이미지 센서부(110), 디스플레이부(120), 제어부(130), 통신부(140), 센서부(150), 저장부(160), 오디오부(170), 파워부(187)를 포함할 수 있다.
이미지 센서부(110), 디스플레이부(120), 제어부(130) 및 통신부(140)는 도 2에서 설명한 바와 동일하다.
센서부(150)는 디지털 이미지 처리 장치에 장착된 복수의 센서를 사용하여 사용자의 입력 또는 디지털 이미지 처리 장치가 인식하는 환경을 제어부(130)로 전달할 수 있다. 센서부(150)는 복수의 센서를 포함할 수 있다. 복수의 센서는 중력 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS 센서, 터치 센서 등의 센서를 포함할 수 있다.
저장부(160)는 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 저장부(160)는 사용자의 개인 정보를 저장할 수 있다. 예를 들어, 개인 정보는 전화 번호, 계좌 번호, 카드 번호, 비밀 번호, 주소, 이메일 주소, 메모, 일기 및 일정 등을 포함할 수 있다. 그리고, 저장부(160)는 사용자가 설정한 마커 또는 기 설정된 마커를 저장할 수 있다. 또는, 저장부(160)는 랜덤으로 마커를 생성할 수 있는 프로그램이나 마커 생성 함수 등을 저장할 수도 있다.
디지털 이미지 처리 장치는 이미지 센서부(110)를 통해 감지된 핸드-드로운 정보를 기초로 저장부(160)에 저장된 정보를 검색할 수 있다. 디지털 이미지 처리 장치는 저장된 정보 중 감지된 핸드-드로운 정보와 매칭되는 정보를 디스플레이부(120)에 디스플레이할 수 있다.
예를 들어, 저장부(180)는 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), CD, DVD, 블루레이 디스크, 플로피 디스크(FDD), 자기 디스크, 램(RAM), 롬(ROM), 메모리 카드, 플래쉬 메모리, USB 메모리 등을 포함할 수 있다.
오디오부(170)는 스피커 등의 오디오 출력 수단 및 마이크 등의 오디오 입력 수단을 포함할 수 있고, 디지털 이미지 처리 장치로부터 오디오 출력 및 디지털 이미지 처리 장치로의 오디오 입력을 수행할 수 있다. 오디오부(170)는 오디오 센서로 사용될 수도 있다.
오디오부(170)는 오디오 입력 수단을 통해 입력된 음성을 분석하고 처리하여 사용자의 명령을 인식할 수 있다. 인식된 명령은 제어부(130)로 전달되어 디지털 이미지 처리 장치를 제어할 수 있다. 일 실시 예로서, 디지털 이미지 처리 장치는 메모 작성 모드에서 오디오부(170)를 통해 입력된 사용자의 음성을 처리하여 텍스트 형태의 메모로 저장할 수 있다.
파워부(180)는 디지털 이미지 처리 장치 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, 디지털 이미지 처리 장치에 파워를 공급할 수 있다.
지금까지 디지털 이미지 처리 장치의 구성부에 대해 설명하였다. 아래에서는 디지털 이미지 처리 장치의 구체적인 동작 방법에 대해 설명한다.
도 4는 핸드-드로운된 일부 정보를 감지하여 완성 정보를 공유하는 일 실시 예를 설명하는 도면이다.
도 4(1)을 참조하면 디지털 이미지 처리 장치(100)와 핸드-드로운 정보(11)가 쓰여진 피지컬 오브젝트(1)가 도시되어 있다. 디지털 이미지 처리 장치(100)는 이미지 센서부(110)를 이용하여 피지컬 오브젝트(1) 상에 쓰여진 핸드-드로운 정보(11)를 감지할 수 있다. 도 4(1)에 도시된 바와 같이, 디지털 이미지 처리 장치(100)는 핸드-드로운 정보를 감지하고 감지된 정보를 이용하여 저장된 정보를 검색할 수 있다. 디지털 이미지 처리 장치(100)는 저장된 모든 정보 중에서 감지된 정보와 일치하는 정보를 검색할 수 있다. 감지된 정보와 일치하는 정보는 전체가 일치하는 정보일 수 있고, 전체 정보 중 일부가 일치하는 정보일 수 있다. 설명의 편의를 위해, 감지된 핸드-드로운 정보를 부분 정보라고 하고, 검색된 정보를 완성 정보라고 한다.
디지털 이미지 처리 장치(100)는 완성 정보를 디스플레이할 수 있다. 완성 정보가 복수 개 존재하고, 하나의 화면에 모든 완성 정보를 표시할 수 없는 경우, 디지털 이미지 처리 장치(100)는 표시할 수 있는 개수만큼 완성 정보를 표시할 수 있다. 그리고, 디지털 이미지 처리 장치(100)는 상하 스크롤 표시를 이용하여 완성 정보가 더 존재함을 표시할 수 있다. 도 4(1)에 도시된 디지털 이미지 처리 장치(100)에는 상하 스크롤 표시가 존재한다. 따라서, 표시된 완성 정보 상하로 추가적인 완성 정보가 존재함을 의미한다. 디지털 이미지 처리 장치(100)는 사용자의 선택에 의해 하나의 완성 정보(21)를 선택할 수 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보(21)를 하이라이트, 다른 글씨체, 입체감 부여 등의 방법으로 처리하여 선택되었다는 것을 시각적으로 표시할 수 있다.
도 4(2)를 참조하면, 선택된 완성 정보(21)가 표시된 디지털 이미지 처리 장치(100)가 도시되어 있다. 디지털 이미지 처리 장치(100)는 하나의 완성 정보(21)가 선택되면 선택된 완성 정보 옆에 마커(22)를 표시할 수 있다. 디지털 이미지 처리 장치(100)는 디스플레이부에 마커(22)를 표시할 수도 있고, 피지컬 오브젝트(1) 상에 마커(22)를 투영시켜 표시할 수도 있다. 디지털 이미지 처리 장치(100)는 투명 디스플레이부를 포함할 수도 있다. 따라서, 디지털 이미지 처리 장치(100)는 디스플레이부에 마커(22)를 표시하는 경우라도 사용자에게 피지컬 오브젝트(1) 상에 마커가 투영된 것처럼 인식시킬 수 있다.
마커(22)는 랜덤하게 생성될 수 있고, 사용자에 의해 설정될 수 있다. 그리고, 디지털 이미지 처리 장치(100)는 마커를 인식하여 선택된 완성 정보를 서버(200)로 전송하기 때문에 마커(22)는 서버 전송 속성을 포함할 수 있다. 마커(22)는 기호, 도형, 문자 및 숫자를 포함하여 구현될 수 있다.
도 4(3)을 참조하면 선택된 완성 정보(21), 마커(22)가 표시된 디지털 이미지 처리 장치(100)와 핸드-드로운 부분 정보(11), 핸드-드로운 마커(12)가 표시된 피지컬 오브젝트(1)가 도시되어 있다.
디지털 이미지 처리 장치(100)는 마커(22)를 디스플레이부에 표시하거나 피지컬 오브젝트(1) 상에 투영시킬 수 있다. 사용자는 표시된 마커(22)를 기초로 동일한 형태의 마커(12)를 핸드-드로잉할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(12)를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(12)가 표시된 마커(22)와 동일한지 판단할 수 있다. 핸드-드로운 마커(12)와 표시된 마커(22)가 동일한지 여부의 판단은 이미지 처리 프로세스를 통해 수행될 수 있다.
일 실시 예로서, 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(12)의 주요 부분의 특징점을 추출하고, 표시된 마커(22)의 주요 부분의 특징점을 추출할 수 있다. 디지털 이미지 처리 장치(100)는 추출된 특징점을 연결할 수 있다. 디지털 이미지 처리 장치(100)는 특징점, 특징점을 연결한 연결선, 연결선 사이의 구간 등을 비교함으로써 핸드-드로운 마커(12)가 표시된 마커(22)와 동일한지 여부를 판단할 수 있다.
도 4(4)를 참조하면 서버(200)로 정보를 전송하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(12)를 감지하여 표시된 마커(22)와 동일한지 여부를 판단할 수 있다. 디지털 이미지 처리 장치(100)는 두 개의 마커가 동일한 것으로 판단하면, 핸드-드로운 마커(12)를 선택된 완성 정보(21)와 링크시킬 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(12) 자체를 선택된 완성 정보(21)와 링크시키는 것이 아니라 보정된 마커를 링크시킬 수 있다. 즉, 디지털 이미지 처리 장치(100)는 표시된 마커(22)를 선택된 완성 정보(21)와 링크시킬 수 있다. 상술한 바와 같이, 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(12)와 표시된 마커(22)가 동일한 마커임을 확인하였다. 따라서, 디지털 이미지 처리 장치(100)는 두 개 마커 중 어느 마커를 선택된 완성 정보(21)와 링크시켜도 동일하다. 즉, 디지털 이미지 처리 장치(100)는 실제 마커 자체를 링크시키는 것이 아니라 마커의 정보를 링크시킬 수 있다.
디지털 이미지 처리 장치(100)는 선택된 완성 정보(21)와 링크된 마커(22)를 서버(200)로 전송할 수 있다. 서버(200)는 디지털 이미지 처리 장치(100)로부터 선택된 완성 정보(21)와 링크된 마커(22)를 수신하여 저장할 수 있다. 디지털 이미지 처리 장치(100)는 전송이 완료된 경우, 전송 완료 메시지(31)를 표시할 수 있다.
상술한 바와 같이, 디지털 이미지 처리 장치(100)는 하나 이상의 공유 속성 마커를 가지고 있지만 디스플레이하지 않을 수 있다. 디지털 이미지 처리 장치(100)는 사용자의 핸드-드로운 마커를 감지하여 가지고 있는 공유 속성 마커인지 여부를 판단할 수 있다. 감지된 마커가 공유 속성 마커이면, 디지털 이미지 처리 장치(100)는 공유 속성 마커를 선택된 완성 정보와 링크시켜 서버로 전송할 수 있다. 즉, 디지털 이미지 처리 장치(100)는 감지된 마커를 선택된 완성 정보와 링크시켜 서버로 전송할 수 있다.
도 4에서는 디지털 이미지 처리 장치(100)가 계좌 번호 또는 전화 번호와 같이 완성 정보만을 서버(200)로 전송하는 실시 예를 설명하였다. 아래에서는 디지털 이미지 처리 장치(100)가 완성 정보와 관련된 부가 정보를 함께 전송하는 실시 예를 설명한다.
도 5는 완성 정보와 관련된 부가 정보를 함께 전송하는 일 실시 예를 설명하는 도면이다.
도 5(1)을 참조하면, 피지컬 오브젝트(1)와 디지털 이미지 처리 장치(100)가 도시되어 있다. 도 4에서 설명한 바와 같이, 사용자가 피지컬 오브젝트(1)에 핸드-드로잉으로 정보를 쓰면, 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(1) 상의 핸드-드로운 정보(14)를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 감지된 핸드-드로운 정보(14)를 기초로 저장된 정보를 검색할 수 있다. 디지털 이미지 처리 장치(100)는 검색된 정보를 표시하고, 사용자의 선택에 따라 하나의 검색된 정보(또는 완성 정보)를 선택할 수 있다.
일 실시 예로서, 'kim'이라는 핸드-드로운 이름(14)이 피지컬 오브젝트(1)에 쓰여질 수 있고, 디지털 이미지 처리 장치(100)는 'kim'이 포함된 복수의 정보를 검색할 수 있다. 디지털 이미지 처리 장치(100)는 사용자의 선택에 따라 'kim aaa'라는 이름(24)을 선택할 수 있다. 디지털 이미지 처리 장치(100)의 저장부(160)는 이름과 함께 관련 정보를 저장할 수 있다. 예를 들어, 저장부(160)는 'kim aaa'라는 이름과 전화번호, 이메일, 실제 주소 정보를 관련된 부가 정보로 저장할 수 있다.
디지털 이미지 처리 장치(100)는 선택된 완성 정보 옆에 마커(25)를 표시하고, 피지컬 오브젝트(1)의 핸드-드로운 마커(15)를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(15)와 표시된 마커(25)가 동일한지 여부를 판단할 수 있다.
도 5(2)를 참조하면, 서버(200)로 정보를 전송하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 디지털 이미지 처리 장치(100)는 두 개의 마커가 동일한 것으로 판단하면, 마커(25)를 선택된 완성 정보(24)와 링크시킬 수 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보(24)와 링크된 마커(25)를 서버(200)로 전송할 수 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보(24)와 관련된 부가 정보도 함께 전송할 수 있다. 서버(200)는 디지털 이미지 처리 장치(100)로부터 선택된 완성 정보(24), 링크된 마커(22) 및 부가 정보를 수신하여 저장할 수 있다. 일 실시 예로서, 디지털 이미지 처리 장치(100)는 'kim aaa'라는 선택된 완성 정보 및 폰 번호, 이메일, 주소 등을 포함하는 부가 정보를 마커와 링크시켜 서버(200)로 전송할 수 있다. 또는, 디지털 이미지 처리 장치(100)는 마커를 선택된 완성 정보와 링크시키고, 선택된 완성 정보를 관련된 부가 정보와 링크시켜 서버(200)로 전송할 수도 있다. 부가 정보는 전화 번호, ID, SNS 주소, 사진 등을 포함할 수도 있다. 디지털 이미지 처리 장치(100)는 전송이 완료된 경우, 전송 완료 메시지(33)를 표시할 수 있다.
디지털 이미지 처리 장치(100)는 수신 장치로 사용될 수도 있다.
도 6은 공유된 완성 정보를 수신하고 디스플레이하는 일 실시 예를 설명하는 도면이다.
도 6(1)을 참조하면, 핸드-드로운 정보를 포함하는 피지컬 오브젝트(1)와 디지털 이미지 처리 장치(100)가 도시되어 있다. 피지컬 오브젝트(1)는 핸드-드로운 부분 정보(11) 및 핸드-드로운 마커(12)를 포함할 수 있다. 도 2에서 설명한 바와 같이, 디지털 이미지 처리 장치(100)가 선택된 완성 정보와 마커를 서버(200)로 정송하더라도 피지컬 오브젝트(1)에 쓰여진 핸드-드로운 글자는 그대로 남아 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 글자가 쓰여진 피지컬 오브젝트(1)를 이용하여 서버(200)에 저장된 정보를 수신할 수 있다.
디지털 이미지 처리 장치(100)는 피지컬 오브젝트(1)에 쓰여진 핸드-드로운 부분 정보(11) 및 핸드-드로운 마커(12)를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 부분 정보(11) 및 핸드-드로운 마커(12)가 함께 감지되면, 서버(200)로 부분 정보(11) 및 마커(12) 정보를 전송할 수 있다.
도 6(2)를 참조하면, 서버(200)로부터 매칭 정보를 수신하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 매칭 정보는 전송된 정보와 마커를 포함하는 완성 정보를 의미한다. 예를 들어, 전송된 정보는 1234, 전송된 마커는 알파(alpha, α)이고, 서버(200)에 저장된 제1 정보는 1234-5678-9012 + 알파(alpha, α)이면, 저장된 제1 정보가 전송된 정보와 마커에 매칭되는 정보이다.
서버(200)는 부분 정보(11) 및 마커(12)를 수신하고 저장된 정보를 검색할 수 있다. 서버(200)는 부분 정보(11)를 포함하는 완성 정보를 검색하고, 검색된 완성 정보를 찾으면 링크된 마커가 매칭되는지 판단할 수 있다. 서버(200)는 링크된 마커가 매칭되고 부분 정보(11)를 포함하는 완성 정보가 검색되면 검색된 완성 정보를 디지털 이미지 처리 장치(100)로 전송할 수 있다. 디지털 이미지 처리 장치(100)는 완성 정보(41)를 수신하여 출력할 수 있다. 디지털 이미지 처리 장치(100)는 마커는 생략하고 완성 정보(41)만을 출력할 수 있다.
한편, 디지털 이미지 처리 장치(100)는 선택된 완성 정보를 서버로 전송할 때 핸드-드로운 영역과 자동 선택 영역을 구분하여 인식할 수 있다.
도 7은 핸드-드로운된 영역과 자동으로 완성된 나머지 영역을 구분하는 일 실시 예를 설명하는 도면이다.
도 7(1)을 참조하면 선택된 완성 정보를 서버(200)로 전송하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 디지털 이미지 처리 장치(100)가 피지컬 오브젝트 상에 쓰여진 핸드-드로운 정보 및 마커를 감지하여 서버(200)로 전송하는 과정은 상술하였으므로 구체적인 설명은 생략한다.
디지털 이미지 처리 장치(100)가 하나의 완성 정보를 선택하고 마커를 표시하면 선택된 완성 정보 및 마커는 두 부분 또는 세 부분으로 구분할 수 있다. 두 부분으로 구분하는 경우, 선택된 완성 정보 및 마커는 핸드-드로운 영역(21a, 21c) 및 자동 완성 영역(21b)로 구분할 수 있다. 세 부분으로 구분하는 경우, 선택된 완성 정보 및 마커는 핸드-드로운 정보 영역(21a), 자동 완성 정보 영역(21b) 및 핸드-드로운 마커 영역(21c)로 구분할 수 있다. 핸드-드로운 정보 영역(21a)는 감지된 정보 영역이라고 칭할 수 있다. 자동 완성 정보 영역(21b)는 자동으로 완성된 영역이라고 칭할 수 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보 및 마커와 함께 두 부분 또는 세 부분으로 구분한 영역 정보를 함께 서버(200)로 전송할 수 있다. 서버(200)는 디지털 이미지 처리 장치(100)로부터 수신한 완성 정보 및 마커와 함께 두 부분 또는 세 부분으로 구분한 영역 정보를 저장할 수 있다.
도 7(2)는 영역 정보를 이용하여 서버(200)를 검색하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 디지털 이미지 처리 장치(100)의 저장된 정보를 서버(200)로 전송할 때, 사용자는 피지컬 오브젝트 상에 일부 정보를 핸드-드로잉할 수 있다. 디지털 이미지 처리 장치(100)는 일부 정보를 포함하는 완성 정보를 표시하고, 하나의 완성 정보를 선택하면 선택된 완성 정보 옆에 마커를 표시할 수 있다. 디지털 이미지 처리 장치(100)는 마커를 디스플레이부에 표시하거나 피지컬 오브젝트 상에 투영할 수 있다.
디지털 이미지 처리 장치(100)는 핸드-드로운 마커를 감지할 수 있다. 사용자가 마커를 핸드-드로잉할 때, 사용자는 디지털 이미지 처리 장치(100)에 표시된 완성 정보 및 표시된 마커를 보면서 피지컬 오브젝트 상에 마커를 핸드-드로잉할 수 있다. 표시된 마커는 완성 정보 옆에 디스플레이되므로 핸드-드로운 마커는 도 7(1)에서 도시된 바와 같이, 핸드-드로운 부분 정보(11)과 일정 간격을 두고 그려질 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 부분 정보(11)와 핸드-드로운 마커(12) 사이의 일정 간격을 자동 완성 정보 영역(21b)으로 감지하고 각 영역 정보를 서버(200)로 전송할 수 있다.
만일, 사용자가 다른 피지컬 오브젝트(2) 상에 도 7(1)에서 도시된 것과 동일하지만 간격이 없는 핸드-드로운 정보와 마커(13)를 그릴 수 있다. 디지털 이미지 처리 장치(100)는 새로 그려진 핸드-드로운 정보와 마커(13)를 감지할 수 있다. 그러나, 서버(200)는 핸드-드로운 정보와 마커 이외에 두 부분 또는 세 부분으로 구분된 영역 정보를 함께 저장하고 있다. 따라서, 서버(200)는 핸드-드로운 정보와 마커(13)가 일치한다고 하더라도 영역 정보가 일치하지 않으면 매칭되는 완성 정보로 판단하지 않을 수 있다. 서버(200)는 매칭되는 완성 정보가 없으면 정보가 없다는 메시지를 디지털 이미지 처리 장치(100)로 전송할 수 있다. 디지털 이미지 처리 장치(100)는 매칭 정보가 없다는 메시지(43)를 표시할 수 있다.
만일, 디지털 이미지 처리 장치(100)가 원래의 피지컬 오브젝트(1)에 그려진 핸드-드로운 정보(11) 및 마커(12)를 감지할 수 있다. 원래의 피지컬 오브젝트(1)에 그려진 핸드-드로운 정보(11) 및 마커(12)는 일정 영역의 공간이 존재한다. 따라서, 디지털 이미지 처리 장치(100)는 일정 영역의 공간을 자동 완성 정보 영역(21b)으로 감지할 수 있다. 디지털 이미지 처리 장치(100)는 핸드 드로운 정보, 마커 및 영역 정보를 서버(200)로 전송하고, 서버(200)는 핸드 드로운 정보, 마커 및 영역 정보가 매칭되는 완성 정보를 검색할 수 있다. 디지털 이미지 처리 장치(100)는 검색된 완성 정보를 서버(200)로부터 수신하여 디스플레이할 수 있다.
한편, 마커는 사용자에 의해 설정될 수 있다.
도 8은 일 실시 예에 따른 사용자가 마커를 설정하는 방법을 설명하는 도면이다.
도 8(1)을 참조하면, 디지털 이미지 처리 장치(100)는 마커 설정 모드(51)를 실행할 수 있다. 디지털 이미지 처리 장치(100)는 마커 설정 모드(51)를 포함하고 있고, 사용자의 선택에 의해 마커 설정 모드(51)를 실행할 수 있다. 일 실시 예로서, 디지털 이미지 처리 장치(51)는 마커 설정 모드 진입을 알리는 메시지를 표시할 수 있고, 마커 설정 모드 상태를 표시하는 알림(notification)을 표시할 수도 있다. 또는, 디지털 이미지 처리 장치(51)는 피지컬 오브젝트(3) 상에 설정하려는 마커를 그리라는 메시지을 출력할 수도 있다.
도 8(2)를 참조하면, 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(3) 상에 그려진 마커(16)를 감지할 수 있다. 디지털 이미지 처리 장치(100)는 이미지 처리 프로세스를 이용하여 사용자에 의해 그려진 마커(16)를 인식할 수 있다. 예를 들어, 디지털 이미지 처리 장치(100)는 그려진 마커(16)를 이미지, 텍스트 등의 방식으로 인식할 수 있다. 또는, 디지털 이미지 처리 장치(100)는 복수의 방식을 조합하여 인식할 수도 있다. 디지털 이미지 처리 장치(100)는 인식된 마커(53)를 사용자에게 확인시키기 위해 디스플레이부에 표시할 수도 있다.
도 8(3)을 참조하면, 디지털 이미지 처리 장치(100)는 인식된 마커(16)를 서버 전송 속성을 포함하는 마커로 설정할 수 있다. 디지털 이미지 처리 장치(100)는 사용자로부터 설정 명령을 입력받아 인식된 마커(16)를 공유를 위한 마커로 설정할 수 있다. 상술한 바와 같이, 디지털 이미지 처리 장치(100)에 포함된 개인 정보는 마커와 결합하여 서버로 전송되고 타 사용자에게 공유될 수 있다. 따라서, 마커는 서버 전송 속성을 포함할 수 있고, 공유 속성을 포함할 수 있다. 디지털 이미지 처리 장치(100)는 설정 완료 메시지(55)를 출력할 수 있다.
한편, 서버로 전송되는 정보를 구별하기 위해 마커는 각 정보마다 개별적으로 사용될 수 있다.
도 9는 사용된 마커를 구별하는 일 실시 예를 설명하는 도면이다.
도 9(1)을 참조하면, 하나의 정보를 전송하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 상술한 바와 같이, 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(4) 상에 그려진 핸드-드로운 부분 정보를 감지하면, 부분 정보를 포함하는 완성 정보를 출력할 수 있다. 디지털 이미지 처리 장치(100)는 하나의 완성 정보를 선택하고 마커를 표시할 수 있다. 디지털 이미지 처리 장치(100)는 표시된 마커와 동일한 핸드-드로운 마커가 감지되면 선택된 완성 정보를 서버로 전송할 수 있다.
일 실시 예로서, 마커는 저장부(160)에 저장될 수 있다. 디지털 이미지 처리 장치(100)는 저장된 마커 중 하나의 마커를 표시할 수 있다. 또는 디지털 이미지 처리 장치(100)는 마커 생성 알고리즘을 포함하고 있을 수 있다. 디지털 이미지 처리 장치(100)는 알고리즘을 이용하여 마커를 생성할 수 있다. 마커는 랜덤하게 생성될 수 있다.
일 실시 예로서, 디지털 이미지 처리 장치(100)는 첫번째 정보를 서버로 전송하기 위해 알파(alpha, α)라는 마커(61)를 표시할 수 있다. 알파(α)라는 마커(61)는 기 저장된 마커일 수 있고, 마커 생성 알고리즘을 이용하여 생성된 첫번째 마커일 수도 있다.
디지털 이미지 처리 장치(100)는 피지털 오브젝트 상에 표시된 마커(61)와 동일한 마커(17)가 그려지면 선택된 완성 정보와 표시된 마커(61)를 링크시켜 서버로 전송할 수 있다. 상술한 바와 같이, 표시된 마커(16)와 핸드-드로운 마커(17)는 동일한 마커이다. 디지털 이미지 처리 장치(100)는 전송된 정보를 구별하기 위해 사용된 마커를 체크할 수 있다. 즉, 디지털 이미지 처리 장치(100)는 선택된 완성 정보와 함께 전송된 마커를 디스플레이를 하기 위한 마커에서 제외할 수 있다.
도 9(2)를 참조하면, 다른 정보를 전송하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 디지털 이미지 처리 장치(100)는 다른 정보를 전송할 수 있다. 디지털 이미지 처리 장치(100)는 서버로 전송하기 위해 마커를 표시할 수 있다. 마커는 저장부(160)에 저장된 마커들 중 임의의 마커를 선택하여 표시할 수 있다. 그러나 기 사용된 알파(α)라는 마커(61)는 선택될 수 없다. 또는, 디지털 이미지 처리 장치(100)는 임의의 마커를 생성하더라도 기 사용된 알파(α)라는 마커(61)는 제외하고 생성할 수 있다. 일 실시 예로, 디지털 이미지 처리 장치(100)는 카이(chi, χ)라는 마커(63)를 선택하여 표시할 수 있다.
디지털 이미지 처리 장치(100)는 다른 피지컬 오브젝트(5) 상에 쓰여진 핸드-드로운 부분 정보와 핸드-드로운 마커(18)을 감지할 수 있다. 디지털 이미지 처리 장치(100)는 핸드-드로운 마커(18)와 표시된 카이(χ)라는 마커(63)가 동일한 것으로 판단하면 선택된 완성 정보와 표시된 마커(63)을 링크시켜 서버로 전송할 수 있다. 디지털 이미지 처리 장치(100)는 전송된 마커, 즉, 카이(χ)라는 마커(63)를 디스플레이를 하기 위한 마커에서 제외할 수 있다.
마커는 기본적으로 서버 전송 속성을 포함할 수 있다. 또한, 마커는 다른 속성을 더 포함할 수 있다.
도 10은 일 실시 예에 따른 편집 속성을 포함하는 마커를 설명하는 도면이다.
도 10(1)을 참조하면, 편집 속성을 포함하는 마커가 도시되어 있다. 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(6)에 그려진 부분 정보를 감지하여 완성 정보를 출력하고, 하나의 완성 정보(27)가 선택되면 마커(29a)를 표시할 수 있다. 마커(29a)는 기본적인 형태에 추가 속성을 식별하는 옵션을 포함할 수 있다. 일 실시 예로서, 마커(29a)는 편집 속성을 식별하는 'E'라는 옵션과 삭제 속성을 식별하는 'D'라는 옵션을 포함할 수 있다. 도 10(1)에 도시된 바와 같이, 추가 속성 옵션은 마커(29a)와 함께 표시될 수 있다. 또는, 마커(29a)는 추가 속성 옵션을 포함하고 있지만, 디지털 이미지 처리 장치(100)는 추가 속성 옵션을 표시하지 않을 수 있다. 예를 들어, 디지털 이미지 처리 장치(100)는 베타(beta, β)라는 마커(29a)만을 표시하고 추가 속성 옵션을 표시하지 않지만, 사용자가 핸드-드로잉을 이용하여 베타(β)라는 마커(29a)와 'E'라고 그리면 디지털 이미지 처리 장치(100)는 편집 속성을 포함하는 마커로 감지할 수 있다.
도 10(2)을 참조하면, 편집 모드를 실행하는 디지털 이미지 처리 장치(100)가 도시되어 있다. 일 실시 예로서, 디지털 이미지 표시 장치(100)는 피지컬 오브젝트에 마커(19a)와 함께 'E'라는 편집 표시를 감지하면 편집 모드를 실행시킬 수 있다.
디지털 이미지 표시 장치(100)는 다양한 방법으로 사용자로부터 텍스트를 입력받을 수 있다. 일 실시 예로서, 디지털 이미지 표시 장치(100)는 선택된 완성 정보(27) 아래에 편집 창(61)을 표시하고 입력 창(63)을 표시할 수 있다. 디지털 이미지 처리 장치(100)는 표시된 입력 창(63)에 위치하는 사용자의 시선을 감지하여 텍스트를 입력받고 편집 창(61)에 표시할 수 있다. 다른 실시 예로서, 디지털 이미지 표시 장치(100)는 가상 키보드(9)를 외부 공간에 표시할 수 있다. 디지털 이미지 표시 장치(100)는 가상 키보드(9) 상에 위치하는 사용자의 손 등을 감지하여 텍스트를 입력받고 편집 창(61)에 표시할 수 있다. 또 다른 실시 예로서, 디지털 이미지 표시 장치(100)는 오디오부를 통해 사용자 음성을 입력받고, 음성 처리 과정을 거쳐 텍스트를 편집 창(61)에 표시할 수 있다.
편집이 완료되면, 디지털 이미지 표시 장치(100)는 선택된 완료 정보만을 서버로 전송할 수 있다. 디지털 이미지 표시 장치(100)는 선택된 완료 정보와 관련하여 실행한 편집 내용을 저장부에 저장할 수 있다. 또는, 디지털 이미지 표시 장치(100)는 실행한 편집 내용을 부가 정보로써 선택된 완료 정보와 함께 서버로 전송할 수 있다. 디지털 이미지 표시 장치(100)는 실행한 편집 내용을 저장부에도 저장할 수 있다.
도 11은 일 실시 예에 따른 삭제 속성을 포함하는 마커를 설명하는 도면이다.
도 11(1)을 참조하면, 삭제 속성을 포함하는 마커가 도시되어 있다. 디지털 이미지 처리 장치(100)는 피지컬 오브젝트(7)에 그려진 부분 정보를 감지하여 완성 정보를 출력하여 사용자의 선택에 따라 선택할 수 있다. 마커는 디지털 이미지 처리 장치(100)에서 생성되거나 미리 사용자에 의해 설정될 수 있다. 도 9에서 설명한 바와 같이 디지털 이미지 처리 장치(100)는 기 사용된 마커(65a), 즉, 알파(α)라는 마커를 제외하고 다른 마커를 생성하거나 표시할 수 있다. 그러나, 디지털 이미지 처리 장치(100)는 표시된 마커가 아니라 사용자가 임의로 기 사용된 마커(65a)를 핸드-드로잉하는 경우에도 기 사용된 핸드-드로운 마커(19b)를 감지하여 서버(200)로 선택된 완성 정보(28)를 전송할 수 있다. 디지털 이미지 처리 장치(100)가 기 사용된 마커(65a)를 제외하는 이유는 정보의 중복 가능성을 배제시키기 위한 것이지만 사용자가 사용하는 것을 막을 필요는 없기 때문이다. 또한, 도 11의 실시 예에서와 같이 기 사용된 마커(65a)가 사용될 필요가 있는 경우가 있다. 이미지 처리 장치(100)는 기 사용된 마커(65a)를 배제시키는 것일 뿐 기 사용된 마커(65a) 자체를 삭제하는 것은 아니다.
디지털 이미지 처리 장치(100)는 피지컬 오브젝트(7)에 그려진 마커(19b)와 삭제 속성을 식별하는 옵션(예, 'D')을 감지할 수 있다. 삭제 속성을 식별하는 옵션은 삭제 표시라고 말할 수도 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보(28)와 감지된 마커를 서버(200)로 전송하면서 선택된 완성 정보의 삭제 명령을 전송할 수 있다.
도 11(2)를 참조하면 선택된 완성 정보가 삭제된 서버(200)가 도시되어 있다. 서버(200)는 디지털 이미지 처리 장치(100)로부터 선택된 완성 정보(28), 링크된 마커(29b), 삭제 표시에 의한 삭제 명령을 수신할 수 있다. 서버(200)는 선택된 완성 정보(28)와 링크된 마커(29b)와 매칭되는 저장된 정보를 검색한다. 서버(200)는 저장된 매칭 정보를 검색하면, 검색된 정보를 삭제할 수 있다. 서버(200)는 저장된 정보를 삭제하면 디지털 이미지 처리 장치(100)로 삭제 완료 메시지를 전송할 수 있다.
디지털 이미지 처리 장치(100)는 서버(200)로부터 삭제 완료 메시지를 수신하면, 선택된 완성 정보의 삭제 여부 확인 메시지(35)를 출력할 수 있다. 디지털 이미지 처리 장치(100)는 선택된 완성 정보의 삭제에 따라 알파(α)라는 마커도 미사용 상태로 된다. 따라서, 디지털 이미지 처리 장치(100)는 알파(α)라는 마커를 다시 디스플레이하기 위한 마커(65b)에 포함시킬 수 있다. 이후에, 디지털 이미지 처리 장치(100)는 전송을 위해 알파(α)라는 마커도 표시할 수 있다.
디지털 이미지 처리 장치가 서버로 정보를 전송하고, 디지털 이미지 처리 장치가 다시 서버로부터 정보를 수신하는 과정을 설명한다.
도 12는 일 실시 예에 따른 디지털 이미지 처리 시스템의 타이밍도이다.
도 12에 따르면, 디지털 이미지 송신 장치(100a)는 핸드-드로운 정보를 감지할 수 있다(S1210). 핸드-드로운 정보는 일부분에 해당하는 부분 정보일 수 있다.
디지털 이미지 송신 장치(100a)는 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 디스플레이할 수 있다(S1215). 완성 정보는 하나일 수 있다. 또는, 완성 정보는 없을 수도 있다. 경우에 따라, 감지된 정보가 저장된 정보와 완전히 일치하는 정보일 수도 있다. 디지털 이미지 송신 장치(100a)는 사용자의 선택에 따라 하나의 완성 정보를 선택할 수 있다.
디지털 이미지 송신 장치(100a)는 완성 정보가 선택되면 선택된 완성 정보를 디스플레이할 수 있다(S1220). 디지털 이미지 송신 장치(100a)는 사용자에 의해 피지컬 오브젝트 상에 그려진 핸드-드로운 마커를 감지할 수 있다(S1225). 마커는 디지털 이미지 송신 장치(100a)가 랜덤하게 생성될 수 있다. 마커는 사용자에 의해 기 설정될 수도 있다.
디지털 이미지 송신 장치(100a)는 감지된 마커가 공유 속성 마커인 것으로 판단하면, 선택된 완성 정보와 함께 감지된 공유 속성 마커를 서버(200)로 전송할 수 있다(S1230). 서버(200)는 전송된 완성 정보와 전송된 마커를 저장할 수 있다(S1235).
디지털 이미지 수신 장치(100b)는 핸드-드로운 정보 및 핸드-드로운 마커를 함께 감지할 수 있다(S1240). 핸드-드로운 정보 및 핸드-드로운 마커는 디지털 이미지 송신 장치(100a)가 서버로 데이터를 전송하기 위해 피지컬 오브젝트에 그려진 것일 수 있다. 디지털 이미지 수신 장치(100b)는 감지된 핸드-드로운 정보 및 감지된 핸드-드로운 마커를 서버로 전송하고 매칭되는 정보를 요청할 수 있다(S1245).
서버(200)는 수신된 핸드-드로운 정보 및 핸드-드로운 마커를 기초로 저장된 정보를 검색할 수 있다(S1250). 서버(200)는 수신된 정보 및 마커를 포함하는 완성 정보를 검색하면 검색된 완성 정보를 디지털 이미지 수신 장치(100b)로 전송할 수 있다(S1255).
디지털 이미지 수신 장치(100b)는 수신된 완성 정보를 디스플레이할 수 있다(S1260).
아래에서는 디지털 이미지 처리 장치 제어 방법의 흐름도에 대해 설명한다.
도 13은 일 실시 예에 따른 디지털 이미지 처리 장치 제어 방법의 흐름도이다.
도 13에 따르면, 디지털 이미지 처리 장치는 핸드-드로운(hand-drawn) 정보를 감지하고 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 검색하여 디스플레이할 수 있다(S1310). 감지된 정보는 검색된 정보의 일부분에 해당하는 정보일 수 있고, 검색된 정보 자체일 수도 있다. 완성 정보는 개인 정보일 수 있다. 예를 들어, 개인 정보는 계좌 번호, 전화 번호, 카드 번호, 비밀 번호, 주소, 이메일 주소 또는 메모 등일 수 있다.
디지털 이미지 처리 장치는 검색된 적어도 하나의 완성 정보 중 하나를 선택하고, 선택된 완성 정보를 디스플레이할 수 있다(S1320). 디지털 이미지 처리 장치는 사용자의 선택에 따라 하나의 완성 정보를 선택할 수 있다. 일 실시 예로서, 디지털 이미지 처리 장치는 기 저장된 마커 중 하나를 디스플레이할 수 있고, 마커 생성 알고리즘을 이용하여 마커를 생성하여 디스플레이할 수 있다. 마커는 랜덤하게 생성될 수 있다. 또는, 마커는 사용자에 의해 생성되고 설정될 수도 있다. 마커는 기호, 도형, 문자 또는 숫자 등을 포함할 수 있다.
디지털 이미지 처리 장치는 핸드-드로운 마커를 감지하여 감지된 마커가 공유 속성 마커이면, 공유 속성 마커를 선택된 완성 정보와 함께 전송할 수 있다(S1330). 마커는 서버 전송 속성을 포함할 수 있다.
본 명세서에 따른 본 명세서에 따른 디지털 이미지 처리 장치, 시스템 및 제어 방법은 상술한 실시 예들의 구성과 방법으로 한정되어 적용되는 것이 아니라, 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있다.
한편, 본 명세서의 디지털 이미지 처리 장치의 제어 방법은 디지털 이미지 처리 장치에서 구비된 프로세서가 읽을 수 있는 기록 매체에 소프트웨어로서 구현되는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100, 100a, 100b: 디지털 이미지 처리 장치 200: 서버
110: 이미지 센서부 120: 디스플레이부
130: 제어부 140: 통신부
150: 센서부 160: 저장부
170: 오디오부 180: 파워부

Claims (20)

  1. 핸드-드로운(hand-drawn) 정보를 감지하는 이미지 센서부;
    상기 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 디스플레이하는 디스플레이부;
    상기 적어도 하나의 완성 정보 중 선택된 완성 정보를 서버로 전송하는 통신부; 및
    제어부;를 포함하며,
    상기 제어부는,
    상기 감지된 정보를 포함하는 적어도 하나의 완성 정보를 검색하여 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 검색된 적어도 하나의 완성 정보 중 하나가 선택되면 상기 선택된 완성 정보를 디스플레이하도록 상기 디스플레이부를 제어하며,
    핸드-드로운 마커를 감지하여 상기 감지된 마커가 공유 속성 마커이면, 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키고, 상기 공유 속성 마커와 함께 상기 선택된 완성 정보를 전송하도록 상기 통신부를 제어하는, 디지털 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 공유 속성 마커를 상기 선택된 완성 정보와 함께 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 디스플레이된 공유 속성 마커를 따라 그려진 핸드-드로운 마커를 감지하면 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키는 것을 특징으로 하는 디지털 이미지 처리 장치.
  3. 제1항에 있어서,
    상기 선택된 완성 정보는,
    계좌 번호, 전화 번호, 카드 번호, 비밀 번호, 주소, 이메일 주소 및 메모 중 적어도 하나를 포함하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  4. 제1항에 있어서,
    상기 선택된 완성 정보는,
    상기 공유 속성 마커와 함께 링크되어 상기 서버로 전송됨으로써 공유 속성을 포함하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  5. 제1항에 있어서,
    정보를 저장하는 저장부;를 더 포함하고,
    상기 제어부는,
    상기 감지된 정보를 기초로 상기 저장된 정보를 검색하고, 상기 저장된 정보 중에서 상기 감지된 정보를 포함하는 적어도 하나의 완성 정보를 디스플레이하도록 제어하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  6. 제1항에 있어서,
    상기 공유 속성 마커는 사용자에 의해 설정된 마커인 것을 특징으로 하는 디지털 이미지 처리 장치.
  7. 제2항에 있어서,
    상기 공유 속성 마커는 랜덤하게 생성되는 것을 특징으로 하는 디지털 이미지 처리 장치.
  8. 제2항에 있어서,
    상기 제어부는,
    상기 선택된 완성 정보와 함께 전송된 상기 공유 속성 마커를 디스플레이하기 위한 공유 속성 마커 그룹에서 제외하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 제외된 공유 속성 마커를 디스플레이하기 위한 공유 속성 마커 그룹에 기 설정된 시간 이후 포함시키는 것을 특징으로 하는 디지털 이미지 처리 장치.
  10. 제8항에 있어서,
    상기 통신부는,
    상기 전송된 완성 정보가 상기 서버에서 삭제된 경우, 상기 서버로부터 상기 완성 정보의 삭제 여부를 수신하고,
    상기 제어부는,
    상기 제외된 공유 속성 마커를 디스플레이하기 위한 공유 속성 마커 그룹에 포함시키는 것을 특징으로 하는 디지털 이미지 처리 장치.
  11. 제1항에 있어서,
    상기 마커는,
    기호, 도형, 문자 및 숫자 중 적어도 하나를 포함하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  12. 제1항에 있어서,
    상기 제어부는,
    상기 선택된 완성 정보 중 상기 감지된 정보 영역과 자동으로 완성된 나머지 영역을 구분하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  13. 제1항에 있어서,
    상기 제어부는,
    상기 이미지 센서부를 통해 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커가 함께 감지되면, 상기 서버로부터 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커를 포함하는 완성 정보를 수신하여 디스플레이하도록 제어하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  14. 제1항에 있어서,
    상기 제어부는,
    상기 선택된 완성 정보와 관련된 부가 정보도 함께 전송하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 핸드-드로운 마커에 기 설정된 편집 표시가 포함되는 경우 편집 모드를 실행시키고, 상기 선택된 완성 정보와 관련된 편집이 완료되면 상기 선택된 완성 정보를 상기 서버로 전송하거나 상기 선택된 완성 정보와 함께 상기 부가 정보를 상기 서버로 전송하도록 제어하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  16. 제15항에 있어서,
    상기 선택된 완성 정보와 관련된 편집은,
    가상 키보드 입력 및 음성 입력 중 적어도 하나를 포함하는 방식으로 수행되는 것을 특징으로 하는 디지털 이미지 처리 장치.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 핸드-드로운 마커에 기 설정된 삭제 표시가 포함되는 경우 상기 서버로 상기 선택된 완성 정보의 삭제 명령을 전송하도록 제어하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  18. 제17항에 있어서,
    상기 제어부는,
    상기 선택된 완성 정보의 삭제 여부 확인 메시지를 출력하도록 제어하는 것을 특징으로 하는 디지털 이미지 처리 장치.
  19. 디지털 이미지 송신 장치, 디지털 이미지 수신 장치 및 서버를 포함하는 디지털 이미지 송수신 시스템에 있어서,
    핸드-드로운(hand-drawn) 정보를 감지하고, 상기 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 디스플레이하며, 상기 적어도 하나의 완성 정보 중 하나가 선택되면 상기 선택된 완성 정보를 디스플레이하고, 핸드-드로운 마커를 감지하여 상기 감지된 마커가 공유 속성 마커이면, 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키고, 상기 공유 속성 마커와 함께 상기 선택된 완성 정보를 전송하는 디지털 이미지 송신 장치;
    상기 링크된 공유 속성 마커와 선택된 완성 정보를 수신하여 저장하고, 상기 디지털 이미지 수신 장치로부터 상기 핸드-드로운 마커와 함께 상기 핸드-드로운 정보를 수신하면, 상기 수신된 마커 및 정보를 포함하는 완성 정보를 전송하는 서버; 및
    이미지 센서부를 통해 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커가 함께 감지되면 상기 서버로 정보를 요청하고, 상기 서버로부터 상기 핸드-드로운 정보 및 상기 핸드-드로운 마커를 포함하는 완성 정보를 수신하여 디스플레이하는 디지털 이미지 수신 장치;를 포함하는 디지털 이미지 처리 시스템.
  20. 디지털 이미지 처리 장치의 제어 방법에 있어서,
    핸드-드로운(hand-drawn) 정보를 감지하고 상기 감지된 정보를 부분 정보로 하는 적어도 하나의 완성 정보를 검색하여 디스플레이하는 단계;
    상기 검색된 적어도 하나의 완성 정보 중 하나가 선택되면 상기 선택된 완성 정보를 디스플레이하는 단계; 및
    핸드-드로운 마커를 감지하여 상기 감지된 마커가 공유 속성 마커이면, 상기 공유 속성 마커를 상기 선택된 완성 정보와 링크시키고, 상기 공유 속성 마커와 함께 상기 선택된 완성 정보를 전송하는 단계;를 포함하는, 디지털 이미지 처리 장치의 제어 방법.
KR1020140084957A 2014-07-08 2014-07-08 디지털 이미지 처리 장치, 시스템 및 제어 방법 KR20160005899A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140084957A KR20160005899A (ko) 2014-07-08 2014-07-08 디지털 이미지 처리 장치, 시스템 및 제어 방법
US14/464,256 US9582712B2 (en) 2014-07-08 2014-08-20 Digital image processing apparatus and system and control method thereof
ES14896997T ES2738727T3 (es) 2014-07-08 2014-10-08 Aparato y sistema de procesamiento de imágenes digital y método de control de los mismos
CN201480080350.1A CN106663185B (zh) 2014-07-08 2014-10-08 数字图像处理设备和系统及其控制方法
EP14896997.5A EP3167405B1 (en) 2014-07-08 2014-10-08 Digital image processing apparatus and system and control method thereof
PCT/KR2014/009462 WO2016006764A1 (en) 2014-07-08 2014-10-08 Digital image processing apparatus and system and control method thereof
US15/408,142 US9940512B2 (en) 2014-07-08 2017-01-17 Digital image processing apparatus and system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140084957A KR20160005899A (ko) 2014-07-08 2014-07-08 디지털 이미지 처리 장치, 시스템 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20160005899A true KR20160005899A (ko) 2016-01-18

Family

ID=55067808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140084957A KR20160005899A (ko) 2014-07-08 2014-07-08 디지털 이미지 처리 장치, 시스템 및 제어 방법

Country Status (5)

Country Link
US (2) US9582712B2 (ko)
EP (1) EP3167405B1 (ko)
KR (1) KR20160005899A (ko)
CN (1) CN106663185B (ko)
ES (1) ES2738727T3 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160005899A (ko) * 2014-07-08 2016-01-18 엘지전자 주식회사 디지털 이미지 처리 장치, 시스템 및 제어 방법
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US11501504B2 (en) 2018-12-20 2022-11-15 Samsung Electronics Co., Ltd. Method and apparatus for augmented reality

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5875017A (en) * 1996-05-31 1999-02-23 Hoya Corporation Ocular optical system simulation apparatus
JPH10240491A (ja) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd 情報処理装置
JP2004094653A (ja) * 2002-08-30 2004-03-25 Nara Institute Of Science & Technology 情報入力システム
US8102383B2 (en) 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US7996589B2 (en) 2005-04-22 2011-08-09 Microsoft Corporation Auto-suggest lists and handwritten input
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US7914148B2 (en) * 2005-11-15 2011-03-29 Carl Zeiss Vision Australia Holdings Limited Ophthalmic lens simulation system and method
CN100461181C (zh) * 2007-07-18 2009-02-11 江苏华科导航科技有限公司 导航装置的手写输入的工作方法
US8358320B2 (en) 2007-11-02 2013-01-22 National University Of Singapore Interactive transcription system and method
EP2336893A4 (en) * 2008-09-10 2013-07-17 Nec Corp CONTENT DISTRIBUTION SYSTEM
CA2763668A1 (en) * 2009-05-27 2010-12-02 Google Inc. Computer application data in search results
US8433759B2 (en) 2010-05-24 2013-04-30 Sony Computer Entertainment America Llc Direction-conscious information sharing
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US20120249544A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
US20120297294A1 (en) 2011-05-17 2012-11-22 Microsoft Corporation Network search for writing assistance
US9087058B2 (en) * 2011-08-03 2015-07-21 Google Inc. Method and apparatus for enabling a searchable history of real-world user experiences
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
KR101977072B1 (ko) 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
WO2013191315A1 (ko) * 2012-06-21 2013-12-27 엘지전자 주식회사 디지털 이미지 처리 장치 및 방법
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR20140052294A (ko) * 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US9026429B2 (en) 2012-12-05 2015-05-05 Facebook, Inc. Systems and methods for character string auto-suggestion based on degree of difficulty
KR102098815B1 (ko) * 2013-05-20 2020-04-08 삼성전자주식회사 어플리케이션의 운영을 위한 전자 장치
KR102108066B1 (ko) * 2013-09-02 2020-05-08 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
KR20160005899A (ko) * 2014-07-08 2016-01-18 엘지전자 주식회사 디지털 이미지 처리 장치, 시스템 및 제어 방법
JP6524661B2 (ja) * 2014-12-19 2019-06-05 富士通株式会社 入力支援方法、入力支援プログラムおよび入力支援装置

Also Published As

Publication number Publication date
CN106663185A (zh) 2017-05-10
EP3167405A1 (en) 2017-05-17
US9940512B2 (en) 2018-04-10
US20170124389A1 (en) 2017-05-04
EP3167405B1 (en) 2019-07-03
US20160012284A1 (en) 2016-01-14
EP3167405A4 (en) 2018-02-28
US9582712B2 (en) 2017-02-28
CN106663185B (zh) 2020-06-16
ES2738727T3 (es) 2020-01-24

Similar Documents

Publication Publication Date Title
JP6391234B2 (ja) 情報検索方法、そのような機能を有するデバイス及び記録媒体
JP5248696B1 (ja) 電子機器、手書き文書作成方法、及び手書き文書作成プログラム
JP5349645B1 (ja) 電子機器および手書き文書処理方法
US9940512B2 (en) Digital image processing apparatus and system and control method thereof
EP2420923A2 (en) Method and displaying information and mobile terminal using the same
US20180225263A1 (en) Inline insertion viewport
US11023655B2 (en) Accessibility detection of content properties through tactile interactions
US9207808B2 (en) Image processing apparatus, image processing method and storage medium
US20120210201A1 (en) Operation method for memo function and portable terminal supporting the same
KR20130100586A (ko) 녹음 기능이 연동된 메모 기능 운용 방법 및 장치
JP5395927B2 (ja) 電子機器および手書き文書検索方法
US10331340B2 (en) Device and method for receiving character input through the same
JP6056648B2 (ja) 情報処理装置及び情報処理プログラム
WO2014058584A2 (en) Media insertion interface
US20160275095A1 (en) Electronic device, method and storage medium
WO2018040547A1 (zh) 一种创建群组的方法及装置
US9928414B2 (en) Information processing system for displaying handwriting action trajectory based on meta information
US9183276B2 (en) Electronic device and method for searching handwritten document
JP6237135B2 (ja) 情報処理装置及び情報処理プログラム
KR101969583B1 (ko) 컨텐츠 관리 방법과 장치 및 기록 매체
JP6342194B2 (ja) 電子機器、方法及びプログラム
US20170322723A1 (en) Method and apparatus for executing function on a plurality of items on list
TW201348993A (zh) 資訊處理裝置及資訊處理方法
JP2008040562A (ja) 電子描画装置及び方法、並びにプログラム及び記憶媒体
JP7069631B2 (ja) 情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application