KR102075847B1 - 디지털 메모 생성 및 저장 장치 및 방법 - Google Patents

디지털 메모 생성 및 저장 장치 및 방법 Download PDF

Info

Publication number
KR102075847B1
KR102075847B1 KR1020180140317A KR20180140317A KR102075847B1 KR 102075847 B1 KR102075847 B1 KR 102075847B1 KR 1020180140317 A KR1020180140317 A KR 1020180140317A KR 20180140317 A KR20180140317 A KR 20180140317A KR 102075847 B1 KR102075847 B1 KR 102075847B1
Authority
KR
South Korea
Prior art keywords
memo
image
digital
camera
upper plane
Prior art date
Application number
KR1020180140317A
Other languages
English (en)
Inventor
박용식
허문혁
Original Assignee
망고슬래브 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 망고슬래브 주식회사 filed Critical 망고슬래브 주식회사
Priority to KR1020180140317A priority Critical patent/KR102075847B1/ko
Priority to PCT/KR2018/014012 priority patent/WO2020101072A1/ko
Application granted granted Critical
Publication of KR102075847B1 publication Critical patent/KR102075847B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 디지털 메모를 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는, 종이나 접착식 메모지에 작성한 메모, 일명 아날로그 메모를 디지털화하여 저장함으로써 메모의 편리성과 필기감을 유지하면서 사용자가 생성한 메모를 손쉽게 관리하고 용이하게 활용할 수 있도록 메모 용지를 수용할 수 있는 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하고 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 디지털 메모 생성 장치 및 방법에 관한 것이다.

Description

디지털 메모 생성 및 저장 장치 및 방법{APPARATUS AND METHOD FOR GENERATING AND STORING DIGITAL MEMO}
본 개시는 디지털 메모를 생성 및 저장하는 장치 및 방법에 관한 것으로, 보다 상세하게는, 카메라를 이용하여 메모의 이미지를 생성 및 저장하는 장치 및 방법에 관한 것이다.
일반적으로 메모는, 일상 생활 중 또는 업무 중에 기억해야 하는 어떤 내용을 잊지 않기 위해서 기록하거나 새로운 아이디어를 요약 및 정리하는 짧은 글 또는 그림을 의미하며, 대부분 글을 읽거나, 다른 사람에게 어떤 사항을 전달해야 하거나, 검토 및 논의 중인 중요사항을 기억해야 할 때 작성한다. 특히, 새로운 아이디어를 도출하거나 복잡한 문제를 해결하기 위한 해답을 구하는 과정에서 중요한 사항이나 확인해야 하는 사항을 메모하게 되면, 업무나 학업의 효율을 높일 수 있다.
이러한 이유로, 일상생활, 업무 또는 학습의 과정에서 많은 사람들이 메모를 하는 습관을 가지고 있으며, 작은 크기의 종이 또는 접착식 메모지에 연필이나 펜 등과 같은 필기구를 이용하여 메모를 한다. 그러나, 직접 종이나 접착식 메모지에 쓰는 메모는, 주변의 벽이나 화이트보드 등에 붙여 두면 추후 눈으로 확인하여 재검토하는 것이 가능하지만, 메모의 보관에 많은 공간이 필요하고 추후 분실될 염려도 있다. 또한, 메모에 기재된 내용을 여러 사람과 공유하기 위해서는 다른 메모지에 복기를 해야 하거나 복사해야 하는 번거로움이 있다.
한편, 스마트폰과 같은 휴대용 컴퓨팅 장치의 확신으로 인해, 이러한 휴대용 컴퓨팅 장치에 터치펜이나 키보드를 이용하여 디지털 메모를 저장하는 경우도 증가하고 있다. 이러한 디지털 메모는 메모지에 메모를 하는 일명 아날로그 메모보다는 저장 및 보관이 상대적으로 용이하기는 하나, 사용자가 원하는 메모를 검색하기가 용이하지 않다.
또한, 디지털 메모를 생성할 수 있는 전용 제품들이 출시되고 있다. 그러나, 이러한 디지털 메모 제품들은, 전용 펜과 전용 노트패드와 같은 별도의 입력장치를 필요로 하여 비교적 가격이 고가이고 일반 메모지에 기재하는 것에 비해 필기감이 떨어지기 때문에, 간편하고 효율적으로 메모를 생성 및 저장하기 원하는 사용자의 니즈를 충족하지 못한다. 이에 따라, 디지털 메모 생성 및 저장 기술이 발전하였음에도 불구하고, 많은 사용자들은 여전히 편리성과 필기감이 뛰어나고 기존의 메모 습관에도 익숙한 방식으로 메모지에 수기하는 것을 선호하고 있다.
1. 대한민국 등록특허 제10-1233099호 '문자열 인식을 통한 사진메모 저장방법 및 이를 적용한 촬영장치'
본 명세서에서 개시되는 실시예들은, 종이나 접착식 메모지에 작성한 메모, 일명 아날로그 메모를 디지털화하여 저장함으로써 메모의 편리성과 필기감을 유지하면서 사용자가 생성한 메모를 손쉽게 관리하고 용이하게 활용할 수 있는 디지털 메모 생성 장치 및 방법을 제공하고자 한다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 메모 용지를 수용할 수 있는 용지 홀더; 상기 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와 이미지 센서를 포함하는 카메라; 및 상기 카메라에 의해 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 프로세서를 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 카메라의 상기 광학계는, 상기 광학계의 광학축이 상기 용지 홀더의 상기 상위 평면에 대하여 90도 미만의 각도를 갖도록 배열될 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 카메라의 상기 광학계는, 상기 용지 홀더의 상기 상위 평면에 대해 하나 이상의 초점을 갖도록 구성된 렌즈를 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 카메라의 상기 이미지 센서는, 상기 용지 홀더의 상기 상위 평면과 평행하게 배열된 촬상면을 가지며, 상기 카메라의 상기 광학계는, 상기 용지 홀더의 상기 상위 평면으로부터 입사되는 광을 반사하여 상기 이미지 센서의 상기 촬상면에 조사되도록 배열된 미러를 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 프로세서는, 상기 하나 이상의 이미지의 픽셀 별로 평균값을 계산하여 상기 하나 이상의 이미지를 합성할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 합성된 이미지에 대해 원근투영변환(perspective projection transformation)을 적용하여 상기 합성된 이미지의 왜곡 보상을 실행할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 디지털 메모 이미지를 외부 장치로 전송하는 통신부를 더 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 장치는, 상기 디지털 메모 이미지를 생성하도록 상기 카메라와 상기 프로세서를 구동하는 사용자 입력을 수신하는 입력부를 더 포함할 수 있다.
본 개시의 다른 실시예에 따른 디지털 메모 생성 장치는, 메모 용지를 수용할 수 있는 용지 홀더; 및 상기 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와 이미지 센서를 포함하는 카메라를 포함하며, 상기 카메라는, 상기 용지 홀더의 상기 상위 평면을 촬영한 하나 이상의 이미지를 프로세서로 전송하여, 상기 프로세서가 상기 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하도록 구성될 수 있다.
본 개시의 다른 실시예에 따른 디지털 메모 생성 장치는, 상기 카메라의 상기 광학계는, 상기 광학계의 광학축이 상기 용지 홀더의 상기 상위 평면에 대하여 90도 미만의 각도를 갖도록 배열될 수 있다.
본 개시의 다른 실시예에 따른 디지털 메모 생성 장치는, 상기 카메라의 상기 광학계는, 상기 용지 홀더의 상기 상위 평면에 대해 하나 이상의 초점을 갖도록 구성된 렌즈를 포함할 수 있다.
본 개시의 다른 실시예에 따른 디지털 메모 생성 장치는, 상기 카메라의 상기 이미지 센서는, 상기 용지 홀더의 상기 상위 평면과 평행하게 배열된 촬상면을 가지며, 상기 카메라의 상기 광학계는, 상기 홀더의 상기 상위 평면으로부터 입사되는 광을 반사하여 상기 이미지 센서의 상기 촬상면에 조사되도록 배열된 미러를 포함할 수 있다.
본 개시의 다른 실시예에 따른 디지털 메모 생성 장치는, 상기 이미지를 상기 프로세서로 전송하는 통신부를 더 포함할 수 있다.
본 개시의 다른 실시예에 따른 디지털 메모 생성 장치는, 상기 이미지를 촬영하도록 상기 카메라를 구동하는 사용자 입력을 수신하는 입력부를 더 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 방법은, 메모 용지를 수용하는 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 카메라에 의해, 상기 용지 홀더의 상기 상위 평면의 하나 이상의 이미지를 촬영하는 단계; 프로세서에 의해, 상기 카메라에 의해 촬영된 상기 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 방법은, 상기 카메라는, 상기 용지 홀더의 상기 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와, 상기 용지 홀더의 상기 상위 평면과 평행하게 배열된 촬상면을 갖는 이미지 센서를 포함하며, 상기 방법은, 상기 카메라의 상기 광학계에 의해, 상기 용지 홀더의 상기 상위 평면으로부터 입사되는 광을 반사하여 상기 이미지 센서에 조사하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 방법은, 상기 디지털 메모 이미지를 생성하는 단계는, 상기 프로세서에 의해, 상기 하나 이상의 이미지의 픽셀 별로 평균값을 계산하여 상기 하나 이상의 이미지를 합성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 방법은, 상기 디지털 메모 이미지를 생성하는 단계는, 상기 프로세서에 의해, 상기 합성된 이미지에 대해 원근투영변환(perspective projection transformation)을 적용하여 상기 합성된 이미지의 왜곡 보상을 실행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성 방법은, 통신부에 의해, 상기 합성된 이미지를 외부 장치로 전송하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 따른 디지털 메모 생성을 위한 명령어들이 저장된 비-일시적 컴퓨터 판독가능 저장 매체는, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 메모 용지를 수용하는 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 카메라에 의해, 상기 용지 홀더의 상위 평면의 하나 이상의 이미지를 촬영하는 동작; 및 상기 카메라에 의해 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 동작을 실행하도록 할 수 있다.
본 개시의 다양한 실시예들에 따르면, 사용자가 수기로 기재한 메모를 카메라로 촬영하여 디지털 메모를 생성 및 저장함으로써, 메모의 관리와 활용가능성을 높일 수 있다. 또한, 이와 같이 생성된 디지털 메모는, 메모용 프린터로 전송되어 간편하게 출력되거나, 다른 컴퓨터나 메모 클라우드 서비스 시스템에 전송되어, 디지털 메모를 편리하게 관리 및 재활용할 수 있다.
본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 디지털 메모 생성 장치를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 디지털 메모 생성 장치의 카메라와 용지 홀더의 구성을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 디지털 메모 생성 장치의 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 디지털 메모 생성 장치의 카메라의 상세 구성을 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 디지털 메모 생성 장치와 네트워크로 연결되는 다른 장치들을 포함하는 디지털 메모 저장 시스템을 나타내는 도면이다.
도 6은, 본 개시의 다른 실시예에 따른 디지털 메모 생성 장치와 네트워크로 연결되는 다른 장치들을 포함하는 디지털 메모 저장 시스템을 나타내는 도면이다.
도 7은 본 개시의 다른 실시예에 따른 디지털 메모 생성 장치의 카메라와 용지 홀더의 구성을 나타내는 도면이다.
도 8은 본 개시의 또 다른 실시예에 따른 디지털 메모 생성 장치의 카메라와 용지 홀더의 구성을 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 디지털 메모 생성 방법을 나타내는 흐름도이다.
도 10는 본 개시의 일 실시예에 따른 디지털 메모 생성 방법에 의해 복수의 메모 이미지를 합성하는 절차를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 초점 영역 검출 방법을 설명하는 도면이다.
도 12는 본 개시의 일 실시예에 따른 주파수 성분의 크기에 따라 복수의 메모 이미지를 합성하는 방법을 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 복수의 이미지에서 초점이 맞는 영역들을 크로핑하여 합성하는 방법을 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 디지털 메모 생성 방법에 의해 메모 이미지의 왜곡을 보상하는 절차를 나타내는 도면이다.
도 15는 본 개시의 다른 실시예에 따른 디지털 메모 생성 및 저장 방법을 나타내는 흐름도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 디지털 메모 생성 장치를 나타내는 도면이고, 도 2는 본 개시의 일 실시예에 따른 디지털 메모 생성 장치의 카메라와 용지 홀더의 구성을 나타내는 도면이며, 도 3은 본 개시의 일 실시예에 따른 디지털 메모 생성 장치의 구성을 나타내는 블록도이다. 도 4는 본 개시의 일 실시예에 따른 디지털 메모 생성 장치의 카메라의 상세 구성을 나타내는 도면이며, 도 5 및 도 6은 본 개시의 일 실시예에 따른 디지털 메모 생성 장치와 네트워크로 연결되는 다른 장치들을 포함하는 디지털 메모 저장 시스템을 나타내는 도면이다.
도 1 및 도 2에 도시된 바와 같이 디지털 메모 생성 장치(100)는, 한 장 이상의 일반 메모지 또는 접착식 메모지 등과 같은 메모 용지(190)가 적층되어 수용될 수 있는 구조를 가지는 메모 패드(110)를 포함한다. 메모 패드(110)는 플라스틱 수지, 목재, 금속재 등과 같이 다양한 소재로 제작될 수 있으며, 다양한 형태로 형성될 수 있다.
메모 패드(110)의 일 예로, 도 1에 도시된 바와 같이 메모 패드 하부(114)에 오목부와 개구부를 가지는 용지 홀더(116)가 형성될 수 있으며, 상기 오목부는 메모 패드 하부(114)의 상면이 하방으로 함입된 것으로 한 장 이상의 메모 용지(190)가 적층되어 수용될 수 있고, 상기 개구부는 상기 오목부를 형성하는 측벽 중 적어도 하나가 일부 또는 전부 개방된 것으로 상기 개구부를 통해 상기 오목부에 적층되어 수용된 메모 용지(190)를 한 장 또는 여러 장씩 손쉽게 파지하여 빼낼 수 있다.
본 개시에서, 상기 개구부의 상면(즉, 메모 용지(190)가 삽입되는 측면)을 "상위 평면" 또는 "상측면"이라고 지칭할 수 있다. 여기서, 메모 패드(110)의 "상위 평면" 또는 "상측면"은 메모 패드(110)에 적층되어 수용된 메모 용지(190)의 최상위 면과 실질적으로 평행하게 배열될 수 있다.
메모 패드 상부(112)는 메모 패드 하부(114)와 일체로 형성되거나, 분리 형성되어 결합될 수 있으며, 용지 홀더(116)의 상위 평면으로부터 소정의 높이를 가지도록 형성될 수 있다. 또한, 메모 패드 상부(112)는 용지 홀더(116)의 상위 평면에 대하여 소정의 각도를 이루도록 형성될 수 있다. 메모 패드 상부(112)의 적어도 일부는, 용지 홀더(116)에 메모 용지(190)를 삽입시키거나, 메모 용지(190)에 메모를 하는 과정에서 메모 패드 상부(112)에 의한 간섭을 피하기 위하여, 용지 홀더(116)에 대하여 둔각(b)을 이루도록 형성될 수 있다.
메모 패드(110)는, 도 1 내지 도 3에 도시된 바와 같이 메모 용지(190)를 촬영하기 위한 카메라(120)를 구비할 수 있다. 카메라(120)는 용지 홀더(160)의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와 이미지 센서를 포함할 수 있다.
카메라(120)의 상기 광학계는 상기 이미지 센서의 촬상면이 용지 홀더(160)에 수용된 메모 용지(190)의 최상위 면 또는 용지 홀더(160)의 상위 평면에 대해 경사지게 배열될 수 있다. 일 실시예에서, 카메라(120)의 상기 광학계의 광학축이 용지 홀더(160)의 상위 평면에 대하여 90도 미만의 각도(a)를 갖도록 배열될 수 있다. 따라서, 카메라(120)는 용지 홀더(116)에 대하여 90도 미만의 각도(b)를 이루도록 형성된 메모 패드 상부(112)의 적어도 일부에 구비될 수 있다.
또한, 카메라(120)의 상기 광학계는 이미지 센서(122)가 하나 이상의 초점을 갖고 용지 홀더(160)에 수용된 메모 용지(190)의 최상위 면 또는 용지 홀더(160)의 상위 평면을 촬영할 수 있도록 구성되는 렌즈(124)를 포함할 수 있다. 렌즈(124)는 일 예로, 도 4에 도시된 바와 같이 이미지 센서(122)가 제1초점(126) 및 제2초점(128)을 갖도록 위치할 수 있다. 이 경우, 렌즈(124)는, 이미지 센서(122)의 제1초점(126)이 제2초점(128)으로 이동하도록 구동 또는 제어될 수 있다. 일 예에서, 카메라(120)의 렌즈(124)는 AF 엑츄에이터(Auto Focus Actuator)에 의해 이동될 수 있다.
따라서, 디지털 메모 생성 장치(100)는 사용자가 용지 홀더(116)에 수용된 메모 용지(190)에 연필, 펜 등과 같은 필기구(192)를 이용하여 메모를 하면, 카메라(120)를 통해 적어도 하나 이상의 초점으로 메모 용지(190)를 촬영하여 하나 이상의 이미지를 생성한다. 본 개시에서, "이미지" 또는 "메모 이미지"는 메모 패드(110) 또는 용지 홀더(116)에 일체형 또는 조립형으로 결합된 카메라(120)를 통해 용지 홀더(116)에 수용된 메모 용지(190)를 촬영한 이미지를 지칭할 수 있다.
메모 패드(110)는, 도 3에 도시된 바와 같이, 카메라(120)에 의해 촬영된 하나 이상의 이미지를 합성하여 합성된 이미지로 디지털 메모 이미지를 생성하는 프로세서(150)를 포함할 수 있다. 일 예에서, 프로세서(150)는, 메모 패드(110) 내부에 매립되거나 장착될 수 있다. 다른 예에서, 프로세서(150)는, 메모 패드(110)와 독립되어 배열되도록 구성될 수 있으며, 이 경우 카메라(120)와 무선 또는 유선 통신을 통해 이미지 데이터를 송수신할 수 있다.
본 개시에서 "프로세서"는, 카메라(120)에 의해 촬영된 하나 이상의 이미지에 대한 화질 개선 및 왜곡 보상 처리를 실행할 수 있는 컴퓨팅 장치를 지칭할 수 있으며, 본 개시에서 "합성 이미지" 또는 "합성된 이미지"는 카메라(120)가 하나 이상의 초점을 갖고 용지 홀더(116)에 수용된 메모 용지(190)를 촬영한 하나 이상의 이미지를 합성하여 생성된 이미지를 지칭할 수 있다. 또한, "합성 이미지"는 용지 홀더(116)에 수용된 메모의 실제 형상과 동일 또는 유사하도록 그 이미지의 왜곡이 보상된 것을 지칭할 수도 있다.
프로세서(150)는, 카메라(120)에 의해 촬영된 하나 이상의 이미지를 합성함에 있어 다양한 방식으로 합성할 수 있다. 일 예로, 이하 도 9를 참조하여 상세히 설명하는 바와 같이, 하나 이상의 이미지의 픽셀 별로 평균값을 계산하는 방식으로 하나 이상의 이미지를 합성할 수 있다. 이미지의 각 픽셀은, 색상(또는 컬러), 회색도, 또는 투명도를 나타내는 값을 표현할 수 있으며, 이 경우 상기 합성된 이미지의 각 픽셀은, 색상, 회색도, 또는 투명도 측면에서 하나 이상의 이미지의 대응되는 픽셀들의 평균값을 가지게 된다.
또한, 프로세서(150)는 상기 합성된 이미지의 왜곡 보상을 실행할 수 있다. 위에서 설명한 바와 같이, 카메라(120)가 용지 홀더(116)의 상위 평면에 대해 경사진 각도에서 촬영하는 경우, 촬영된 이미지 내에 포함된 메모 용지의 형상은, 실제 메모 용지(190)의 형상과 비교하였을 때, 왜곡이 발생될 수 있다. 따라서, 프로세서(150)는, 촬영된 메모 이미지 내의 포함된 메모 내용의 가독성을 높이기 위해, 다양한 방식으로 합성된 이미지를 변환하여 왜곡을 보상할 수 있다. 일 예로, 프로세서(150)는, 상기 합성된 이미지에 대해 원근투영변환(perspective projection transformation)을 적용하여 상기 합성된 이미지의 왜곡을 보상할 수 있다. 즉, 프로세서(150)는, 이하 도 10을 참조하여 상세히 설명하는 바와 같이, 합성된 이미지의 메모지 형상에 대한 평면을, 실제 메모지 형상에 대한 평면에 투영시켰을 때, 투영된 대응점들 사이에 성립하는 일정한 변환 관계를 계산함으로써, 왜곡 보상을 실행할 수 있다.
메모 패드(110)는 도 3에 도시된 바와 같이 이미지 또는/및 합성 이미지를 저장하는 저장부(130)를 더 포함할 수 있다. 저장부(130)는 이미지 또는/및 합성 이미지를 저장함에 있어, 다양한 저장방식을 구현할 수 있으며, 이를 위해 프로세서(150)와 연동될 수 있다.
일 예로, 후술할 입력부(140)를 통해 사용자가 카메라(120)를 구동시킬 때, 프로세서(150)는 카메라(120)로부터 촬영된 이미지를 저장부(130)로 저장할 수 있다. 다른 일 예로, 메모 패드(110)에 동작감지센서(미도시)를 추가로 구비하여, 사용자가 메모 용지(190)를 특정 횟수로 두들기거나 메모 용지(190)를 스쳐 지나가는 과 같은 사용자의 특정 동작을 상기 동작감지센서가 감지하도록 구성될 수 있다. 이 구성에서, 동작감지센서가 사용자의 동작을 감지할 때, 프로세서(150)는 카메라(120)를 구동시켜 이미지를 촬영하고, 촬영된 이미지를 저장부(130)로 저장할 수 있다. 또 다른 일 예로, 카메라(120)에 구비된 이미지 센서(122) 또는 카메라(120)에 구비된 이미지 센서(122) 외에 별도로 구비되는 이미지 센서를 통해, 용지 홀더(116)에 수용된 메모 용지(190)에 대한 이미지 변화를 감지 또는 측정하도록 구성될 수 있다. 이 구성에서, 사용자가 메모 용지(190)에 메모를 진행함에 따라 카메라(120)에 의해 촬영된 이미지의 변화가 감지되면, 프로세서(150)는 해당 이미지를 저장부(130)로 저장할 수 있다.
상술한 예들에서, 저장부(130)는 카메라(120)가 하나 이상의 초점을 갖고 촬영한 이미지를 저장할 뿐만 아니라, 프로세서(150)에 의해 하나 이상의 이미지를 합성하여 생성한 합성 이미지, 즉 디지털 메모 이미지를 저장할 수도 있다.
메모 패드(110)는 도 3에 도시된 바와 같이 디지털 메모 이미지를 생성하도록 카메라(120)와 프로세서(150)를 구동하는 사용자 입력을 수신하는 입력부(140)를 더 포함할 수 있다. 일 실시예에서, 입력부(140)는, 메모 패드(110)의 외부에 형성된 버튼, 터치 센서, 동작 센서 중의 어느 하나일 수 있으나, 이에 한정되는 것은 아니다. 일 예에서, 입력부(140)는, 사용자의 입력을 수신하여 카메라(120)가 용지 홀더(116)에 수용된 메모 용지(190)를 촬영하도록 할 수 있다. 다른 예에서, 입력부(140)는 카메라(120)를 구동하는 사용자의 입력을 수신 시 프로세서(150)를 구동하여 카메라(120)에 의해 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하도록 할 수 있다. 또 다른 예에서, 입력부(140)는, 카메라(120)를 구동하는 사용자의 입력과 별도로 프로세서(150)를 구동하는 사용자의 입력을 수신 받아 프로세서(150)가 디지털 메모 이미지를 생성하도록 할 수 있다.
도 3에 도시된 바와 같이 메모 패드(110)는 카메라(120), 저장부(130), 입력부(140), 프로세서(150), 및 통신부(170)가 각각 구동될 수 있도록 전원을 공급하는 전원부(160)를 더 포함할 수 있다. 예를 들어, 전원부(160)는, 외부 전원으로부터 유선 또는 무선으로 전력을 수신하도록 구성될 수 있다. 다른 예에서, 전원부(160)는, 전력을 재충전할 수 있는 2차전지를 포함할 수 있다.
또한, 메모 패드(110)는 디지털 메모 이미지를 외부 장치로 전송하는 통신부(170)를 더 포함할 수 있으며, 통신부(170)에 의해 디지털 메모 생성 장치(100)는 도 5 및 도 6에 도시된 바와 같이 네트워크(250)를 통해 다양한 외부 장치와 연결될 수 있다. 여기서, 네트워크(250)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 무선 통신망, 또는 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity), 비콘(Beacon) 등을 포함하는 근거리 무선통신망일 수 있다. 또한, 네트워크(250)는, micro-USB, USB 등을 통한 유선 또는 무선 통신을 포함할 수 있다.
디지털 메모 생성 장치(100)와 네트워크(250)를 통해 연결될 수 있는 외부 장치의 일 예로, 메모 프린터(210)가 포함될 수 있다. 메모 프린터(210)는 디지털 메모 생성 장치(100)의 통신부(170)로부터 디지털 메모 이미지를 전송 받아 이를 메모지 형태로 출력할 수 있다.
상기 외부 장치의 다른 일 예로, 메모 클라우드 서비스(220)가 포함될 수 있다. 메모 클라우드 서비스(220)는 디지털 메모 생성 장치(100)의 통신부(170)로부터 디지털 메모 이미지를 전송 받아 저장 및 관리하고, 사용자가 필요시 해당 디지털 메모 이미지를 엑세스하거나 다른 사용자들과 공유할 수 있는 서비스를 제공할 수 있다. 여기서, 메모 클라우스 서비스(220)는 기존의 노트 어플리케이션(note-taking application)과 연동되어, 노트 어플리케이션에 디지털 메모 이미지가 저장되거나 편집 가능하도록 구성될 수 있다. 여기서, 메모 클라우드 서비스(220)는 사용자가 접속하여 정보(데이터)를 이용하기 위하여 접속하게 되는 서버 컴퓨터를 의미할 수 있다. 메모 클라우드 서비스(220)는, 하나 이상의 서버 컴퓨터에 의해 운영될 수 있으며, 디지털 메모 이미지를 저장 및 관리할 수 있는 소프트웨어 및 하드웨어의 기능적 및 구조적 결합을 포함하는 데이터베이스(DB), 및 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 DBMS(Database Management System)을 더 포함할 수도 있다.
상기 외부 장치의 또 다른 일 예로, 스마트폰(230), 휴대용 컴퓨터(240)와 같은 단말 장치를 포함할 수 있다. 이 경우, 사용자는 디지털 메모 생성 장치(100)로부터 상기 단말 장치로 디지털 메모 이미지를 전송 받아 필요에 따라 그 내용을 참조하거나 편집할 수 있다.
또한, 도 6에 도시된 바와 같이, 디지털 메모 저장 시스템(300)에서, 디지털 메모 생성 장치(100)는, 유선 또는 무선 통신에 의해 스마트폰(230), 휴대용 컴퓨터(240)와 같은 단말 장치와 연결될 수 있다. 이 경우, 디지털 메모 생성 장치(100)는, 단말 장치(230, 240)에 의해 네트워크(250)에 연결되어 메모 프린터(210) 또는 메모 클라우드 서비스(220)과 연동될 수 있다.
도 7은 본 개시의 다른 실시예에 따른 디지털 메모 생성 장치의 카메라와 용지 홀더의 구성을 나타내는 도면이며, 디지털 메모 생성 장치(600)의 구성요소들은, 도 1에 도시된 디지털 메모 생성 장치(100)의 구성요소들에 대응될 수 있다. 즉, 도 7에 도시된 디지털 메모 생성 장치(600)는, 도 1에 도시된 디지털 메모 생성 장치(100)의 기능 또는 구성요소들을 적어도 일부를 포함할 수 있다. 또한, 디지털 메모 생성 장치(600)의 기능 또는 구성요소들 중에서, 앞서 상술한 도 1에서 설명된 것과 동일한 부재번호 또는 명칭을 갖는 구성요소들에 대해서는, 반복을 피하기 위해 상세한 설명을 생략할 수 있으며, 변경 또는 추가적인 부분만 설명할 수 있다.
디지털 메모 생성 장치(600)는, 카메라(120)가 메모 패드 하부(114)에 배열되어 카메라(120)의 초점이 상측을 향하도록 구비될 수 있다. 이 구성에서, 용지 홀더(116)에 수용된 메모 용지(190)로부터의 광(또는 이미지)가, 메모 패드 상부(112 미러(610)에 의해 반사되어 카메라(120)로 입사될 수 있다. 구체적으로, 카메라(120)의 이미지 센서(122)는 용지 홀더(116)의 상위 평면과 실질적으로 평행하게 배열된 촬상면을 가지며, 카메라(120)의 광학계는 용지 홀더(116)의 상위 평면으로부터 입사되는 광을 반사하여 이미지 센서(122)의 상기 촬상면에 조사되도록 배열된 미러(610)를 포함할 수 있다.
이 구성에서는, 카메라(120)의 초점 거리를 길게 할 수 있어 메모 용지(190)의 상단(즉, 카메라(120)로부터 가장 가까운 부분)과 하단(즉, 카메라(120)로부터 가장 먼 부분)의 초점거리 차이를 작게 할 수 있다. 따라서, 카메라(120)가 용지 홀더(116)의 상위 평면에 배열된 메모 용지(190)를 하나 이상의 초점을 갖고 촬영하여 하나 이상의 이미지를 생성하여 합성함으로써 가독성이 좀 더 개선된 디지털 메모 이미지를 생성할 수 있다.
본 개시의 또 다른 실시예에 따른 디지털 메모 생성 장치에서는, 메모 패드(110)에 카메라(120)가 구비되어 있으나 프로세서(150)는 메모 패드(110)와 독립되어 배열되도록 구성될 수 있다. 대안적으로, 메모 패드(110)에 프로세서(150)가 구비되어 있으나 카메라(730)는 메모 패드(110)와 독립되어 배열되도록 구성될 수도 있다. 이 경우, 프로세서(150)는 카메라(120, 730)와 무선 또는 유선 통신을 통해 이미지 데이터를 송수신할 수 있다. 또한, 카메라(120, 730)는 용지 홀더(116)의 상위 평면을 촬영한 하나 이상의 이미지를 프로세서(150)로 전송하여, 프로세서(150)가 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성할 수 있다.
도 8은 본 개시의 또 다른 실시예에 따른 디지털 메모 생성 장치의 카메라와 용지 홀더의 구성을 나타내는 도면이다. 이 구성에서는, 메모 패드(110)에 프로세서(150)는 구비되어 있으나 카메라(730)는 메모 패드(110)와 독립되어 배열되어 있다. 디지털 메모 생성 장치(700)의 구성요소들은, 도 1에 도시된 디지털 메모 생성 장치(100)의 구성요소들에 대응될 수 있다. 즉, 도 8에 도시된 디지털 메모 생성 장치(700)는, 도 1에 도시된 디지털 메모 생성 장치(100)의 기능 또는 구성요소들을 적어도 일부를 포함할 수 있다. 또한, 디지털 메모 생성 장치(700)의 기능 또는 구성요소들 중에서, 앞서 상술한 도 1에서 설명된 것과 동일한 부재번호 또는 명칭을 갖는 구성요소들에 대해서는, 반복을 피하기 위해 상세한 설명을 생략할 수 있으며, 변경 또는 추가적인 부분만 설명할 수 있다.
디지털 메모 생성 장치(700)는, 카메라(730)가 구비된 스마트폰(720)이 메모패드(110)의 하방에 배열된 구성을 포함한다. 이 구성에서, 스마트폰(720)의 카메라(730)를 이용하여 하나 이상의 초점을 갖고 용지 홀더(116)의 상위 평면을 촬영할 수 있다. 구체적으로, 메모 패드 하부(114)에는 스마트폰(720)의 카메라(730)의 초점이 상측을 향하도록 카메라(730)가 인입되는 홀이 형성될 수 있으며, 카메라(730)의 이미지 센서는 용지 홀더(116)의 상위 평면과 평행하게 배열된 촬상면을 가지고, 카메라(730)의 광학계는 용지 홀더(116)의 상위 평면으로부터 입사되는 광을 반사하여 이미지 센서의 상기 촬상면에 조사되도록 배열된 미러(710)를 포함할 수 있다. 미러(710)는, 카메라(730)로 용지 홀더(116)에 수용된 메모 용지(190)에 기재된 메모를 반사시키기 위하여 메모 패드 상부(112)에 구비될 수 있다.
도 9는 본 개시의 일 실시예에 따른 디지털 메모 생성 방법을 나타내는 흐름도이다. 도 10은 본 개시의 일 실시예에 따른 디지털 메모 생성 방법에 의해 복수의 메모 이미지를 합성하는 절차를 나타내는 도면이다. 도 11은 본 개시의 일 실시예에 따른 초점 영역 검출 방법을 설명하는 도면이다. 도 12는 본 개시의 일 실시예에 따른 주파수 성분의 크기에 따라 복수의 메모 이미지를 합성하는 방법을 나타내는 도면이다. 도 13은 본 개시의 일 실시예에 따른 복수의 이미지에서 초점이 맞는 영역들을 크로핑하여 합성하는 방법을 나타내는 도면이다. 또한, 도 114는 본 개시의 일 실시예에 따른 디지털 메모 생성 방법에 의해 메모 이미지의 왜곡을 보상하는 절차를 나타내는 도면이다.
디지털 메모 생성 방법(800)은, 카메라가 하나 이상의 초점에 따라 하나 이상의 메모 이미지를 촬영하는 단계(810)로 개시될 수 있다. 일 실시예에서, 도 1 내지 도 8을 참조하면, 메모 용지(190)를 수용하는 용지 홀더(116)의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 카메라(120, 730)에 의해. 용지 홀더(116)의 상기 상위 평면의 하나 이상의 이미지를 촬영될 수 있다.
이때, 카메라(120, 730)는 용지 홀더(116)의 상기 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와, 용지 홀더(116)의 상기 상위 평면과 평행하게 배열된 촬상면을 갖는 이미지 센서를 포함할 수 있다. 또한, 카메라(120, 730)의 광학계(예를 들어, 미러(610, 710))에 의해, 용지 홀더(116)의 상기 상위 평면으로부터 입사되는 광을 반사하여 이미지 센서에 조사할 수도 있다.
다음으로, 프로세서가, 카메라에 의해 촬영된 하나 이상의 메모 이미지를 합성할 수 있다(830). 일 실시예에서, 도 1 내지 도 8을 참조하면, 카메라(120, 730)가 하나 이상의 초점에 따른 하나 이상의 메모 이미지를 촬영한 후, 프로세서(150)에 의해, 카메라(120, 730)에 의해 촬영된 하나 이상의 이미지를 합성할 수 있다. 보다 구체적으로, 프로세서(150)가 카메라(120, 730)에 의해 촬영된 하나 이상의 이미지를 합성함에 있어서, 일 예로, 상기 하나 이상의 이미지의 픽셀 별로 평균값을 계산하여 상기 하나 이상의 이미지를 합성할 수 있다. 도 10에 도시된 바와 같이 카메라(120, 730)에 의해 각기 다른 초점으로 촬영된 제1이미지, 제2이미지, 제3이미지에 대하여 픽셀 별로 평균값을 계산하여 합성된 이미지(940)를 생성할 수 있다.
다른 예로, 카메라(120, 730)에 의해 촬영된 하나 이상의 이미지 각각에 대하여 초점 영역을 검출하고, 초점 영역이 다른 이미지들을 연산하여 전체적으로 초점이 맞는 이미지를 합성할 수 있다. 도 11에 도시된 바와 같이, 촬영된 이미지들 각각에 대하여 힐 클라이밍 알고리즘(hill climbing algorithm)을 적용하여 초점 영역을 검출할 수 있다. 즉, 각 이미지 상에서 카메라(120, 730)와 가장 먼 영역에서부터 가장 가까운 영역까지의 콘트라스트(contrast) 값을 탐색하면서 참조값(reference value)과 비교할 수 있다. 이 때, 참조값 보다 높은 콘트라스트 값을 갖는 영역(1110, 1120, 1130) 및/또는 가장 높은 콘트라스트 값을 갖는 영역(1120)을 초점 영역으로 검출할 수 있다.
다음으로, 초점 영역이 상이한 복수의 이미지들의 차이를 연산하여, 높은 주파수 성분들만 추출함으로써 전체적으로 초점이 잘 맞는 이미지를 합성할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 원본 이미지(1210)와 흐림 이미지(blurred image)(1220)의 차이에 해당하는 차이 이미지(1230)를 얻는다. 차이 이미지(1230)는 원본 이미지(1210)의 고주파수 성분을 나타내는데, 차이 이미지(1230)에 적절한 상수값(α)을 곱하여 흐림 이미지에 더해주면, 원본 이미지(1210)와 동일한 선명도를 갖거나 원본 이미지(1210)보다 선명도가 더 높은 이미지를 얻을 수 있다.
또 다른 예로, 카메라(120, 730)에 의해 촬영된 하나 이상의 이미지 각각에 대하여 초점 영역을 검출하고, 각 초점 영역에 해당하는 조각 이미지들을 크로핑(cropping)하여 전체적으로 초점이 맞는 이미지를 합성할 수 있다. 다시 도 10을 참조하면, 제1 이미지의 초점 영역(910), 제2 이미지의 초점 영역(920), 및 제3 이미지의 초점 영역(930)을 각각 합성하여 이미지(940)을 생성할 수 있다. 도 13에 도시된 바와 같이, 서로 다른 초점을 갖고 촬영한 3개의 이미지 상의 콘트라스트 값들(1340, 1350, 1360)을 참조값과 비교하여, 참조값 이상의 콘트라스트 값을 갖는 영역들을 초점이 맞는 영역(1310, 1320, 1330)으로 선택한다. 여기서, 영역(1370)은 초점 영역들이 겹치는 중복 구간이다. 이러한 중복 구간이 아닌 초점 영역들은 그대로 활용하고, 중복 영역들은 2개의 이미지의 픽셀 별 평균 값을 계산하거나, 콘트라스트 값을 가중치로 사용하여 각 이미지의 픽셀 값에 곱하여 합산하는 방법을 통해 이미지를 합성할 수 있다.
다음으로, 프로세서는 합성된 이미지의 왜곡 보상을 실행할 수 있다(830). 일 실시예에서, 프로세서(150)가 합성된 이미지의 왜곡 보상을 실행함에 있어, 상기 합성된 이미지에 대해 원근투영변환(perspective projection transformation)을 적용하여 상기 합성된 이미지의 왜곡 보상을 실행할 수 있다.
구체적인 일 예로, 도 10에 도시된 바와 같이 카메라(120, 730)에 의해 각기 다른 초점으로 촬영된 제1이미지의 초점영역(910), 제2이미지의 초점영역(920), 제3이미지의 초점영역(930)을 합성한 이미지(940)를 생성할 수 있으며, 합성된 이미지(940)의 왜곡 보상을 실행하여 사용자가 메모 용지(190)에 기재한 메모의 형태와 동일/유사하도록 왜곡 보상된 이미지(950), 즉 디지털 메모 이미지를 생성할 수 있다. 합성된 이미지(940)를 왜곡 보상된 이미지(950)로 변환함에 있어, 도 10에 도시된 바와 같이 왜곡 보상 전 이미지(1010)에 포함된 메모 형상의 네 꼭지점 (x1,y1),(x2,y2),(x3,y3),(x4,y4) 각각을, 왜곡 보상 후의 이미지(1020)에 포함된 메모 형상의 네 꼭지점 (X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4) 각각에 대해 투영하여 왜곡된 이미지를 변환하는 원근투영변환(perspective projection transformation)이 적용될 수 있다.
다음으로, 통신부가 왜곡 보상된 이미지를 외부장치 또는 메모 클라우드 서비스로 전송할 수 있다(840). 일 실시예에서, 도 1 내지 도 7을 참조하면, 디지털 메모 이미지를 생성한 후, 통신부(170)에 의해, 디지털 메모 이미지를 외부 장치로 전송될 수 있다. 상기 외부 장치는, 상술한 바와 같이, 메모 프린터(210), 메모 클라우드 서비스(220), 스마트폰(230) 또는 휴대용 컴퓨터(240)와 같은 유/무선 통신망을 통해 연결된 단말기를 포함할 수 있다.
도 11은 본 개시의 다른 실시예에 따른 디지털 메모 생성 및 저장 방법을 나타내는 흐름도이다. 디지털 메모 생성 및 저장 방법(1500)의 단계들은, 도 9에 도시된 디지털 메모 생성 방법(800)의 단계들의 적어도 일부에 대응될 수 있다. 구체적으로, 도 11에 도시된 디지털 메모 생성 및 저장 방법(1500)의 단계들(1510, 1520, 1530)은, 도 9에 도시된 디지털 메모 생성 방법(800)의 단계들(810, 820, 830)과 실질적으로 대응될 수 있다. 따라서, 이하에서는, 설명의 편의 상 반복을 피하기 위해, 단계들(1510, 1520, 1530)에 대한 상세한 설명을 생략하고, 변경 또는 추가적인 부분만 설명한다.
일 실시예에 따르면, 단계(1510)에서, 메모 용지(190)를 수용하는 용지 홀더(116)의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 카메라(120, 730)에 의해. 용지 홀더(116)의 상기 상위 평면의 하나 이상의 이미지를 촬영할 수 있다. 다음으로 단계(1520)에서, 프로세서(150)가 하나 이상의 메모 이미지를 합성한 후, 단계(1530)에서 합성된 이미지의 왜곡 보상을 실행할 수 있다.
이와 같이 디지털 메모 이미지를 생성한 후, 프로세서(150)는 디지털 메모 이미지의 저장여부를 판단하여, 필요에 따라 디지털 메모 이미지를 디지털 메모 생성 장치의 내부 또는 외부의 저장장치에 저장할 수 있다.
구체적으로, 단계(1540)에서 프로세서는 메모 작성이 완료되었는지를 결정한다. 일 실시예에서, 도 1 내지 도 8을 참조하면, 프로세서(150)가 메모 작성이 완료되었는지 여부를 각종 센서나 사용자의 입력을 통해 판별할 수 있다. 프로세서(150)가 메모 작성이 완료되지 않은 것으로 결정한 경우, 단계(1510)로 돌아가 카메라(120, 730)가 새로운 이미지를 촬영하도록 제어할 수 있다. 반면, 프로세서(150)가 메모 작성이 완료되었다고 결정한 경우, 프로세서(150)는 생성된 디지털 메모 이미지가 이미 저장되었는지를 결정한다.
단계(1550)에서 프로세서는 디지털 메모 이미지가 이미 저장되었는지를 결정한다. 일 실시예에서, 도 1 내지 도 8을 참조하면, 프로세서(150)는, 생성된 디지털 메모 이미지가 디지털 메모 생성장치(100)의 저장부(130)에 저장된 디지털 메모 이미지와 대조하여 이미 저장된 메모인지 여부를 판별할 수 있다. 다른 실시예에서, 프로세서(150)는, 생성된 디지털 메모 이미지가 메모 프린터(210), 메모 클라우드 서비스(220), 휴대용 컴퓨팅 장치(230, 240)에 저장된 디지털 메모 이미지와 대조하여 이미 저장된 메모인지 여부를 판별할 수도 있다. 만약 디지털 메모 이미지가 이미 저장된 것이라고 결정된 경우, 단계(1510)로 돌아가 카메라(120)가 새로운 이미지를 촬영하도록 제어할 수 있다. 반면, 디지털 메모 이미지가 이미 저장된 것이 아니라고 결정된 경우, 프로세서(150)는 생성된 디지털 메모 이미지를 저장부(130) 또는 외부장치에 저장한다(1560).
이상 설명한 본 개시의 다양한 실시예들에 따른 디지털 메모 생성 장치 및 방법은, 사용자가 수기로 기재한 메모를 카메라로 촬영하여 디지털 메모 이미지를 생성 및 저장함으로써, 메모의 관리와 활용가능성을 높일 수 있으며, 이와 같이 생성된 디지털 메모 이미지는, 메모 프린터로 전송되어 간편하게 출력되거나, 다른 컴퓨터나 메모 클라우드 서비스 시스템에 전송되어, 디지털 메모 이미지를 편리하게 관리 및 재활용할 수 있다.
본 개시의 다양한 실시예들은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 즉, 디지털 메모 생성을 위한 명령어들이 저장된 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 메모 용지(190)를 수용하는 용지 홀더(116)의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 카메라(120, 730)에 의해, 용지 홀더(116)의 상위 평면의 하나 이상의 이미지를 촬영하는 동작; 및 카메라(120, 730)에 의해 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 동작을 실행하도록 하는 컴퓨터 판독가능 저장 매체로 구현될 수 있다.
컴퓨터 판독 가능한 저장 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터 판독 가능한 저장 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 개시의 앞선 설명은 당업자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 당업자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
100 : 디지털 메모 생성 장치
110 : 메모 패드
112 : 메모 패드 상부
114 : 메모 패드 하부
116 : 용지 홀더
120 : 카메라
122 : 이미지 센서
124 : 렌즈
126 : 제1초점
128 : 제2초점
130 : 저장부
140 : 입력부
150 : 프로세서
160 : 전원부
170 : 통신부
190 : 메모 용지
192 : 필기구
200 : 디지털 메모 생성 및 저장 시스템
210 : 메모 프린터
220 : 메모 클라우드 서비스
230 : 스마트폰
240 : 휴대용 컴퓨터
250 : 네트워크
600 : 디지털 메모 생성 장치
610 : 미러
700 : 디지털 메모 생성 장치
710 : 미러
720 : 스마트폰
730 : 카메라
910 : 제1이미지의 초점 영역
920 : 제2이미지의 초점 영역
930 : 제3이미지의 초점 영역
940 : 합성된 이미지
950 : 왜곡 보상된 이미지
1010 : 왜곡 보상 전 이미지
1020 : 왜곡 보상 후 이미지

Claims (20)

  1. 디지털 메모 생성 장치로서,
    메모 용지를 수용할 수 있는 용지 홀더가 형성된 하부;
    상기 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와 이미지 센서를 포함하는 카메라가 구비되며, 상기 하부와 연결되는 상부; 및
    상기 카메라에 의해 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 프로세서를 포함하며,
    상기 카메라의 상기 광학계는, 상기 광학계의 광학축이 상기 용지 홀더의 상기 상위 평면에 대하여 90도 미만의 각도를 갖도록 배열되고,
    상기 광학계는 상기 이미지 센서가 하나 이상의 초점을 갖고 상기 용지 홀더의 상기 상위 평면을 촬영하도록 구성된 렌즈를 포함하는,
    디지털 메모 생성 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 카메라의 상기 이미지 센서는, 상기 용지 홀더의 상기 상위 평면과 평행하게 배열된 촬상면을 가지며,
    상기 카메라의 상기 광학계는, 상기 용지 홀더의 상기 상위 평면으로부터 입사되는 광을 반사하여 상기 이미지 센서의 상기 촬상면에 조사되도록 배열된 미러를 포함하는,
    디지털 메모 생성 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 이미지의 초점 영역을 합성함으로써 상기 하나 이상의 이미지를 합성하는,
    디지털 메모 생성 장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 합성된 이미지에 대해 원근투영변환(perspective projection transformation)을 적용하여 상기 합성된 이미지의 왜곡 보상을 실행하는,
    디지털 메모 생성 장치.
  7. 제1항에 있어서,
    상기 디지털 메모 이미지를 외부 장치로 전송하는 통신부를 더 포함하는,
    디지털 메모 생성 장치.
  8. 제1항에 있어서,
    상기 디지털 메모 이미지를 생성하도록 상기 카메라와 상기 프로세서를 구동하는 사용자 입력을 수신하는 입력부를 더 포함하는,
    디지털 메모 생성 장치.
  9. 디지털 메모 생성 장치로서,
    메모 용지를 수용할 수 있는 용지 홀더가 형성된 하부; 및
    상기 용지 홀더의 상위 평면을 상기 상위 평면에 대해 경사진 각도에서 적어도 하나 이상의 초점을 갖고 촬영하도록 배열된 광학계와 이미지 센서를 포함하는 카메라가 구비되며, 상기 하부와 연결되는 상부를 포함하며,
    상기 카메라의 상기 광학계는, 상기 광학계의 광학축이 상기 용지 홀더의 상기 상위 평면에 대하여 90도 미만의 각도를 갖도록 배열되고,
    상기 광학계는 상기 이미지 센서가 하나 이상의 초점을 갖고 상기 용지 홀더의 상기 상위 평면을 촬영하도록 구성된 렌즈를 포함하며,
    상기 카메라는, 상기 용지 홀더의 상기 상위 평면을 촬영한 하나 이상의 이미지를 프로세서로 전송하여, 상기 프로세서가 상기 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하도록 구성된, 디지털 메모 생성 장치.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 카메라의 상기 이미지 센서는, 상기 용지 홀더의 상기 상위 평면과 평행하게 배열된 촬상면을 가지며,
    상기 카메라의 상기 광학계는, 상기 홀더의 상기 상위 평면으로부터 입사되는 광을 반사하여 상기 이미지 센서의 상기 촬상면에 조사되도록 배열된 미러를 포함하는,
    디지털 메모 생성 장치.
  13. 제9항에 있어서,
    상기 이미지를 상기 프로세서로 전송하는 통신부를 더 포함하는,
    디지털 메모 생성 장치.
  14. 제9항에 있어서,
    상기 이미지를 촬영하도록 상기 카메라를 구동하는 사용자 입력을 수신하는 입력부를 더 포함하는,
    디지털 메모 생성 장치.
  15. 디지털 메모 생성 방법으로서,
    디지털 메모 생성 장치의 하부에 형성되고 메모 용지를 수용하는 용지 홀더의 상위 평면을 상기 상위 평면에 대해 90도 미만의 각도를 갖도록 상기 하부에 연결되는 상부에 배열되며, 하나 이상의 초점을 갖고 상기 용지 홀더의 상기 상위 평면을 촬영하도록 구성된 렌즈를 포함하는 카메라에 의해, 상기 용지 홀더의 상기 상위 평면의 하나 이상의 이미지를 촬영하는 단계;
    프로세서에 의해, 상기 카메라에 의해 촬영된 상기 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 단계를 포함하는,
    디지털 메모 생성 방법.
  16. 제15항에 있어서,
    상기 카메라는, 상기 용지 홀더의 상기 상위 평면과 평행하게 배열된 촬상면을 갖는 이미지 센서를 포함하며,
    상기 방법은, 상기 카메라의 광학계에 의해, 상기 용지 홀더의 상기 상위 평면으로부터 입사되는 광을 반사하여 상기 이미지 센서에 조사하는 단계를 더 포함하는,
    디지털 메모 생성 방법.
  17. 제15항에 있어서,
    상기 디지털 메모 이미지를 생성하는 단계는, 상기 프로세서에 의해, 상기 하나 이상의 이미지의 초점 영역을 합성함으로써 상기 하나 이상의 이미지를 합성하는 단계를 포함하는,
    디지털 메모 생성 방법.
  18. 제15항에 있어서,
    상기 디지털 메모 이미지를 생성하는 단계는, 상기 프로세서에 의해, 상기 합성된 이미지에 대해 원근투영변환(perspective projection transformation)을 적용하여 상기 합성된 이미지의 왜곡 보상을 실행하는 단계를 포함하는,
    디지털 메모 생성 방법.
  19. 제15항에 있어서,
    통신부에 의해, 상기 합성된 이미지를 외부 장치로 전송하는 단계를 더 포함하는,
    디지털 메모 생성 방법.
  20. 디지털 메모 생성을 위한 명령어들이 저장된 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
    디지털 메모 생성 장치의 하부에 형성되고 메모 용지를 수용하는 용지 홀더의 상위 평면을 상기 상위 평면에 대해 90도 미만의 각도를 갖도록 상기 하부에 연결되는 상부에 배열되며, 하나 이상의 초점을 갖고 상기 용지 홀더의 상기 상위 평면을 촬영하도록 구성된 렌즈를 포함하는 카메라에 의해, 상기 용지 홀더의 상위 평면의 하나 이상의 이미지를 촬영하는 동작; 및
    상기 카메라에 의해 촬영된 하나 이상의 이미지를 합성하여 디지털 메모 이미지를 생성하는 동작을 실행하도록 하는, 컴퓨터 판독가능 저장 매체.
KR1020180140317A 2018-11-14 2018-11-14 디지털 메모 생성 및 저장 장치 및 방법 KR102075847B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180140317A KR102075847B1 (ko) 2018-11-14 2018-11-14 디지털 메모 생성 및 저장 장치 및 방법
PCT/KR2018/014012 WO2020101072A1 (ko) 2018-11-14 2018-11-15 디지털 메모 생성 및 저장 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140317A KR102075847B1 (ko) 2018-11-14 2018-11-14 디지털 메모 생성 및 저장 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102075847B1 true KR102075847B1 (ko) 2020-02-10

Family

ID=69627306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140317A KR102075847B1 (ko) 2018-11-14 2018-11-14 디지털 메모 생성 및 저장 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102075847B1 (ko)
WO (1) WO2020101072A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2787089B2 (ja) * 1989-12-14 1998-08-13 株式会社ニコン レンズバリア付きカメラ
KR100957590B1 (ko) * 2009-09-16 2010-05-13 딕스비전 주식회사 객체 영상 표출형 전방향 영상레이다 장치
KR101233099B1 (ko) 2011-01-19 2013-02-14 전자부품연구원 문자열 인식을 통한 사진메모 저장방법 및 이를 적용한 촬영장치
KR20160075583A (ko) * 2013-10-18 2016-06-29 더 라이트코 인코포레이티드 이미지들을 캡처 및/또는 조합하기 위한 방법들 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2384067A (en) * 2002-01-10 2003-07-16 Hewlett Packard Co Method of associating two record sets comprising a set of processor states and a set of notes
CN103179369A (zh) * 2010-09-21 2013-06-26 株式会社锦宫事务 摄像对象物、图像处理程序及图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2787089B2 (ja) * 1989-12-14 1998-08-13 株式会社ニコン レンズバリア付きカメラ
KR100957590B1 (ko) * 2009-09-16 2010-05-13 딕스비전 주식회사 객체 영상 표출형 전방향 영상레이다 장치
KR101233099B1 (ko) 2011-01-19 2013-02-14 전자부품연구원 문자열 인식을 통한 사진메모 저장방법 및 이를 적용한 촬영장치
KR20160075583A (ko) * 2013-10-18 2016-06-29 더 라이트코 인코포레이티드 이미지들을 캡처 및/또는 조합하기 위한 방법들 및 장치

Also Published As

Publication number Publication date
WO2020101072A1 (ko) 2020-05-22

Similar Documents

Publication Publication Date Title
JP5966622B2 (ja) 注釈付きコンテンツをモバイル装置でキャプチャおよび編成するシステム、方法、およびプログラム
JP4322169B2 (ja) 文書処理システム、文書処理方法、文書処理プログラム
US8941847B2 (en) Mobile scan setup and context capture prior to scanning
CN103019537B (zh) 一种图像预览方法及装置
TWI239754B (en) Mobile phone system with card character recognition function
US20090231457A1 (en) Method and apparatus for generating media signal by using state information
JP2014515512A (ja) ペンベースのコンピュータシステムにおけるコンテンツ選択
KR101038222B1 (ko) 휴대형 정보단말기를 이용한 명함정보 제작, 교환 및 관리 방법
CN102547090A (zh) 数字拍摄设备及其提供照片的方法
US7565012B2 (en) Method and apparatus for generating electronic document by continuously photographing document in moving picture
EP3866066A1 (en) Information processing method, information processing device, and storage medium
CN108268634A (zh) 拍照及搜索方法、智能笔、搜索终端及存储介质
KR102075847B1 (ko) 디지털 메모 생성 및 저장 장치 및 방법
CN101593348B (zh) 具有图像处理功能的移动通话终端及其图像处理方法
JP5213506B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US20220385814A1 (en) Method for generating plurality of content items and electronic device therefor
US11867904B2 (en) Method and electronic device for providing augmented reality environment
JP5522068B2 (ja) 画像表示装置、画像表示方法並びにプログラム
CN205621029U (zh) 一种用户感兴趣区域的图像和文字扫描笔
JP2005346459A (ja) 文書処理システム
CN103347151A (zh) 一种图像处理方法、装置和终端
JP4738978B2 (ja) 筆記情報処理システム、筆記情報処理方法及びプログラム
JP2006039868A (ja) 筆記情報入力装置、文書処理システム、筆記情報入力プログラム及び記録媒体
JP2015102915A (ja) 情報処理装置、制御方法およびコンピュータプログラム
JP2006020144A (ja) 文書処理システム

Legal Events

Date Code Title Description
X091 Application refused [patent]
GRNT Written decision to grant