KR102107395B1 - 모바일 단말기 및 그의 코드 인식 방법 - Google Patents

모바일 단말기 및 그의 코드 인식 방법 Download PDF

Info

Publication number
KR102107395B1
KR102107395B1 KR1020130102745A KR20130102745A KR102107395B1 KR 102107395 B1 KR102107395 B1 KR 102107395B1 KR 1020130102745 A KR1020130102745 A KR 1020130102745A KR 20130102745 A KR20130102745 A KR 20130102745A KR 102107395 B1 KR102107395 B1 KR 102107395B1
Authority
KR
South Korea
Prior art keywords
code
recognition
rotation angle
text
mobile terminal
Prior art date
Application number
KR1020130102745A
Other languages
English (en)
Other versions
KR20150025294A (ko
Inventor
김상호
황성택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130102745A priority Critical patent/KR102107395B1/ko
Priority to EP14182685.9A priority patent/EP2843593B1/en
Priority to US14/471,863 priority patent/US9299014B2/en
Publication of KR20150025294A publication Critical patent/KR20150025294A/ko
Application granted granted Critical
Publication of KR102107395B1 publication Critical patent/KR102107395B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1092—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라를 통해 입력되는 인식 코드 또는 텍스트가 배열된 방향에 따라 상기 코드의 인식을 위한 어플리케이션의 UI 회전각을 조정하고, 인식 코드 및 텍스트를 빠르고 효율적으로 인식할 수 있는 모바일 단말기 및 그의 코드 인식 방법을 제공한다. 본 발명에 따른 코드 인식 방법은, 인식 코드가 포함된 영상을 입력받아 코드 이미지를 생성하는 과정과, 상기 코드 이미지로부터 상기 인식 코드의 적어도 일부를 검출하는 과정과, 상기 인식 코드의 코드 회전각을 결정하는 과정과, 상기 인식 코드의 코드 회전각을 기초로, 상기 코드 이미지로부터 상기 인식 코드 또는 텍스트를 검출하는 과정을 포함한다.

Description

모바일 단말기 및 그의 코드 인식 방법{A MOBILE TERMINAL AND A METHOD FOR RECOGNIZING A CODE BY THE MOBILE TERMINAL}
본 발명은 미리 구비된 카메라를 이용하여 인식 코드를 인식할 수 있는 모바일 단말기에 관한 것으로, 더욱 자세히는 카메라를 통해 입력되는 인식 코드 또는 텍스트가 배열된 방향에 따라 상기 코드의 인식을 위한 어플리케이션의 UI 방향을 조정하고, 인식 코드 및 텍스트를 빠르고 효율적으로 인식할 수 있는 모바일 단말기 및 그의 코드 인식 방법에 관한 것이다.
현재 사용되고 있는 인식 코드의 대표적인 예는 바 코드(Bar Code)로서, 바코드는 기업 생산품의 효과적인 관리와 파악을 위하여 사용되고 있다. 특히나 바코드는 상점에서 제품을 판매할 때 다량의 물품을 빠른 시간 내에 정산하여 판매하기 위하여 사용되고 있다. 이러한 바코드는 비교적 정보량이 적은 일차원 코드에 해당한다. 일차원 코드는 제품의 기본 정보를 포함할 수는 있으나, 제품의 이력 등과 같은 다량의 정보를 포함하지는 못한다.
상기와 같은 문제점을 극복하기 위하여 2차원 코드로서 QR(Quick Response) 코드가 고안되었다. QR 코드는 가로, 세로를 활용하여 최대 7089자, 문자는 최대 4296자, 한자도 최대 1871자 정도를 기록할 수 있을 만큼 다량의 정보를 기록할 수 있는 인식 코드이다. 이러한 QR 코드의 사용이 증가함에 따라 모바일 단말기에서도 QR 코드를 비롯한 2차원 코드를 인식하기 위한 인식용 어플리케이션이 설치되고 있다. 인식용 어플리케이션은, 통상적으로 상기 모바일 단말기에 미리 구비되어 있는 카메라를 통해 촬영된 QR 코드의 촬영 이미지를 이용하여 상기 QR 코드를 인식한다.
본 발명의 목적은 카메라를 통해 입력되는 인식 코드 또는 텍스트가 배열된 방향에 따라 상기 코드의 인식을 위한 어플리케이션의 UI 회전각을 조정하고, 인식 코드 및 텍스트를 빠르고 효율적으로 인식할 수 있는 모바일 단말기 및 그의 코드 인식 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 모바일 단말기의 코드 인식 방법은, 코드 인식 어플리케이션을 이용하여 상기 인식 코드가 포함된 이미지로부터 상기 인식 코드의 적어도 일부를 획득하는 동작, 상기 인식 코드의 적어도 일부에 대한 코드 회전각을 식별하는 동작, 상기 코드 인식 어플리케이션의 사용자 인터페이스에 포함된 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같지 않은 것으로 식별된 것에 기초하여, 상기 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같도록 상기 사용자 인터페이스에 포함된 상기 적어도 하나의 아이콘을 회전시키는 동작 및 상기 코드 회전각에 기초하여 상기 이미지로부터 상기 인식 코드 또는 텍스트를 식별하는 동작을 포함한다.
본 발명의 일 실시예에 따른 인식 코드를 인식하는 모바일 단말기는, 인식 코드를 포함하는 이미지를 수신하는 카메라 및 상기 카메라와 전기적으로 연결되는 제어부를 포함하며, 상기 제어부는, 코드 인식 어플리케이션을 이용하여 상기 인식 코드를 포함하는 상기 이미지로부터 상기 인식 코드의 적어도 일부를 획득하고, 상기 인식 코드의 적어도 일부에 대한 코드 회전각을 식별하고, 상기 코드 인식 어플리케이션의 사용자 인터페이스에 포함된 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같지 않은 것으로 식별된 것에 기초하여, 상기 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같도록 상기 사용자 인터페이스에 포함된 상기 적어도 하나의 아이콘을 회전시키고, 상기 인식 코드의 상기 코드 회전각에 기초하여 상기 이미지로부터 상기 인식 코드 또는 텍스트를 식별함을 특징으로 한다.
본 발명에 따르면, 카메라를 통해 입력되는 인식 코드 또는 텍스트가 배열된 방향에 따라 상기 코드의 인식을 위한 어플리케이션의 UI 회전각을 조정하고, 인식 코드 및 텍스트를 빠르고 효율적으로 인식할 수 있는 모바일 단말기 및 그의 코드 인식 방법을 제공한다.
도 1은 본 발명의 일 실시예에 따른 모바일 단말기의 구성을 도시한 블록도,
도 2는 본 발명의 일 실시예에 따른 모바일 단말기의 전면 사시도,
도 3은 본 발명의 일 실시예에 따른 모바일 단말기의 후면 사시도,
도 4는 도 1에 도시된 모바일 단말기에서의 제어부의 구성을 도시한 블록도,
도 5는 도 1에 도시된 모바일 단말기에 의하여 검출되는 인식 코드의 일 예를 나타낸 도면,
도 6은 도 1에 도시된 모바일 단말기의 코드 인식 방법의 일 예를 나타낸 순서도,
도 7은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 코드 인식용 어플리케이션의 UI 방향을 회전시킨 일 예를 나타낸 도면,
도 8a 및 도 8b는 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 코드 인식용 어플리케이션의 UI 방향을 회전시킨 다른 예를 나타낸 도면,
도 9는 도 1에 도시된 코드 인식 방법에 따라 코드 인식용 어플리케이션의 UI 방향을 회전시킨 또 다른 예를 나타낸 도면,
도 10은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 인식 코드 및 텍스트를 검출한 결과의 일 예를 나타낸 도면,
도 11은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 인식 코드 및 텍스트를 검출한 결과의 다른 예를 나타낸 도면,
도 12는 도 1에 도시된 모바일 단말기의 코드 인식 방법의 다른 예를 나타낸 순서도, 그리고
도 13은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 인식 코드 및 텍스트를 검출하는 또 다른 예를 나타낸 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 일 실시예에 따른 모바일 단말기의 구성을 도시한 블록도이다.
도 1을 참조하면, 모바일 단말기(100)는 제어부(110), 이동통신 모듈(121), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 스크린(190) 및 스크린 컨트롤러(195) 중 적어도 하나를 포함할 수 있다.
제어부(110)는 모바일 단말기(100)의 동작을 제어한다. 본 실시예에 따른 제어부(110)는 카메라 모듈(150)을 통해 생성된 코드 이미지로부터 인식 코드(예를 들어, 바(bar) 코드를 포함하는 1차원 인식 코드 또는 QR 코드 등을 포함하는 2차원 인식 코드) 또는 텍스트를 검출한다. 이하에서는, 상기와 같이 모바일 단말기(100)가 인식 코드 또는 텍스트를 검출하는 동작 모드를 ‘코드 인식 모드’라 하기로 한다. 실시예에 따라 저장부(175)에 미리 저장된 코드 인식용 어플리케이션이 실행됨으로써, 모바일 단말기(100)는 코드 인식 모드로 전환될 수 있다. 코드 인식용 어플리케이션은 저장부(175)에 미리 저장된 것일 수 있으며, 실시예에 따라 이동 통신 모듈(121) 또는 서브 통신 모듈(130)을 통해 외부로부터 수신하여 저장된 것일 수도 있다.
코드 인식 모드가 실행되면, 제어부(110)는 인식 코드를 촬영하도록 카메라 모듈(150)을 제어한다. 카메라 모듈(150)은 카메라 렌즈(미도시)를 통해 입력되는 인식 코드를 촬영하여 상기 인식 코드가 포함된 코드 이미지를 생성한다. 코드 이미지가 생성되면, 제어부(110)는 상기 코드 이미지로부터 인식 코드를 검출한다. 또한 제어부(110)는 인식 코드에 대한 회전각을 결정한다.
모바일 단말기(100)는 상기 모바일 단말기(100)를 사용하는 사용자의 조작에 따라 방향이 각기 달라질 수 있다. 예를 들어, 아래 도 2에 도시된 바와 같이 홈 버튼(161a)이 모바일 단말기(100)의 하측에 위치하고, 모바일 단말기(100)가 지면과 수직을 이루는 경우에서의 모바일 단말기(100)의 방향을 정방향, 즉 모바일 단말기(100)의 회전각이 0˚인 것으로 가정한다. 모바일 단말기(100)를 이용하여 인식 코드를 촬영하는 과정에서, 사용자는 모바일 단말기(100), 특히 스크린(190)을 시계 방향 또는 반시계 방향으로 90°회전시킬 수 있다. 이와 같은 경우, 모바일 단말기(100)의 회전각과 인식 코드의 회전각은 동일한 방향을 가지기 어렵다. 상기와 같이 모바일 단말기(100)의 회전각과, 인식 코드를 포함하는 코드 이미지의 회전각이 각기 달라지게 된다. 또한 코드 인식용 어플리케이션의 UI(User Interface) 또한 모바일 단말기(100)와 마찬가지로 시계 방향 또는 반시계 방향으로 90° 회전된 상태로 표시되므로 코드 이미지의 회전각과는 다른 회전각을 갖게 된다.
본 발명은 상기와 같은 모바일 단말기(100)와 인식 코드의 회전각이 서로 달라지는 문제를 해소하기 위한 것이다. 그에 따라 본 발명에 따른 제어부(110)는 코드 이미지에 포함된 인식 코드에 대한 회전각(이하, 코드 회전각)을 검출하고, 상기 인식 코드의 코드 회전각에 따라 코드 인식용 어플리케이션의 UI의 회전각(이하, UI 회전각)을 조정하도록 모바일 단말기(100)를 제어한다. 코드 이미지에 포함된 인식 코드의 코드 회전각이 결정되면, 제어부(110)는 코드 인식용 어플리케이션의 UI에 대한 UI 회전각을 결정한다. 실시예에 따라 제어부(110)는, 상기 UI 회전각이 인식 코드에 대한 코드 회전각과 동일해지도록 코드 인식용 어플리케이션의 UI를 제어할 수 있다.
또한 실시예에 따라 제어부(110)는, 코드 이미지에 포함된 인식 코드의 코드 회전각을 기초로 상기 인식 코드 또는 텍스트를 검출할 수 있다. 제어부(110)는 인식 코드의 코드 회전각에 따라 카메라 모듈(150)의 스캔 방향을 결정할 수 있다. 예를 들어, 인식 코드의 코드 회전각이 0˚(정방향)이라고 가정하면, 제어부(110)는 상에서 하 방향으로 스캔하도록 카메라 모듈(150)을 제어할 수 있다. 또한 인식 코드의 코드 회전각이 90°, 즉 인식 코드가 정방향을 기준으로 시계 방향으로 90° 회전된 상태라면, 제어부(110)는 우에서 좌 방향으로 스캔하도록 카메라 모듈(150)을 제어할 수 있다.
제어부(110)는 CPU(111), 모바일 단말기(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 모바일 단말기(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 모바일 단말기(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(121), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 스크린(190) 및 스크린 컨트롤러(195)를 제어할 수 있다.
제어부(110)는 스크린(190)을 제어함으로써 상기 스크린(190)을 통해 표시되고 있는 각종 컨텐츠 또는 상기 컨텐츠의 표시를 제어할 수 있다. 제어부(110)는 스크린(190)을 통해 감지된 터치 입력, 즉 사용자 입력에 따른 동작을 수행하도록 모바일 단말기(100)를 제어할 수 있다. 스크린(190)을 통해 적어도 한 점을 터치하는 터치 입력이 입력되면, 제어부(110)는 상기 터치 입력에 대응하는 동작을 수행하도록 모바일 단말기(100)를 제어한다.
이동통신 모듈(121)은 제어부(110)의 제어 하에 적어도 하나의 안테나(미도시)를 이용하여 모바일 단말기(100)가 외부 장치와 연결되도록 한다. 이때 모바일 단말기(100)와 외부 장치는 이동 통신을 통해 연결될 수 있다. 이동통신 모듈(121)은 모바일 단말기(100)에 입력되는 전화번호를 가지는 휴대폰(미도시), 스마트폰(미도시), 태블릿 PC 또는 다른 장치(미도시)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함할 수 있으며, 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수도 있다.
본 실시예에 따른 입출력 모듈(160)은 코드 인식용 어플리케이션을 실행하기 위한 사용자 입력을 수신할 수 있다. 실시예에 따라 입출력 모듈(160)은 카메라 모듈(150)을 구동시키기 위한 사용자 입력을 수신할 수 있으며, 카메라 모듈(150)을 이용하여 인식 코드를 촬영하기 위한 사용자 입력을 수신할 수도 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(미도시)가 설치된 장소에서 인터넷에 연결될 수 있다. 즉 무선랜 모듈(131)은 모바일 단말기(100)의 무선 인터넷 연결을 지원한다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 모바일 단말기(100)와 화상형성장치(미도시) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
모바일 단말기(100)는 성능에 따라 이동통신 모듈(121), 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 모바일 단말기(100)는 성능에 따라 이동통신 모듈(121), 무선랜 모듈(131) 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(미도시)를 통해 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송부가 정보(예를 들어 EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 실시예에 따라 방송통신 모듈(141)은 이동통신 모듈(121)을 통해 수신한 컨텐츠 데이터를 스크린(190)으로 출력할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오 재생 모듈(142)과 동영상 재생 모듈(143)을 포함할 수 있다. 또한 멀티미디어 모듈(140)의 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)은 제어부(110)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1카메라(151) 및 제2카메라(152) 중 적어도 하나를 포함할 수 있다. 제1카메라(151) 또는 제2카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(미도시))을 포함할 수 있다. 제1카메라(151)는 모바일 단말기(100) 전면에 배치되고, 제2카메라(152)는 모바일 단말기(100)의 후면에 배치될 수 있다. 다른 실시예에 따라 제1카메라(151)와 제2카메라(152)는 인접(예를 들어, 제1카메라(151)와 제2카메라(152)의 간격이 1cm보다 크고, 8cm보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
본 실시예에 따른 카메라 모듈(150)은 렌즈를 통해 인식 코드, 예를 들어 2차원 인식 코드(예를 들어 QR 코드) 또는 텍스트가 포함된 영상을 입력받고, 상기 인식 코드 또는 텍스트가 포함된 코드 이미지를 생성한다.
실시예에 따라 모바일 단말기(100)가 코드 인식 모드를 실행하는 경우, 카메라 모듈(150)은 렌즈를 통해 들어오는 영상을 좌(左)에서 우(右), 우(右)에서 좌(左), 상(上)에서 하(下), 또는 하(下)에서 상(上)의 방향 등으로 순차적으로 스캔(Scan)할 수도 있다. 카메라 모듈(150)은 인식 코드가 포함된 영상을, 상기와 같이 스캔함으로써 코드 이미지를 생성할 수도 있다. 카메라 모듈(150)이 스캔을 하여 코드 이미지를 생성하는 경우, 상기 코드 이미지가 모두 스캔된 상태가 아니더라도 상기 코드 이미지는 제어부(110)의 코드 인식부(402)에 전달될 수 있다. 즉, 스캔 순서에 따라, 예를 인식 코드 중 50%가 스캔되었다면 상기 50%의 인식 코드가 포함된 코드 이미지가 코드 인식부(402)에 전달될 수 있다. 이어서 인식 코드의 10%가 더 스캔되었다면, 카메라 모듈(150)은 60%의 인식 코드를 포함하는 코드 이미지를 코드 인식부(402)에 전달할 수 있다. 마찬가지로 카메라 모듈(150)은 부분 또는 전체의 텍스트들이 포함된 코드 이미지를 코드 인식부(402)에 전달할 수도 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS 위성(미도시)에서부터 전파를 수신하고, GPS 위성(미도시)에서부터 모바일 단말기(100)까지 전파도달시간(Time of Arrival)을 이용하여 모바일 단말기(100)의 위치를 산출할 수 있다.
입출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함할 수 있다. 본 실시예에 따른 입출력 모듈(160)은 코드 인식 모드를 실행하기 위한 사용자 입력을 수신할 수 있다. 또한 입출력 모듈(160)은 코드 인식용 어플리케이션을 실행하기 위한 사용자 입력, 카메라 모듈(150)을 구동하여 인식 코드 또는 텍스트가 포함된 영상을 스캔 또는 촬영하기 위한 사용자 입력 등을 사용자로부터 수신할 수 있다.
버튼(161)은 모바일 단말기(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(미도), 볼륨 버튼(미도시), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(121), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예를 들어, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 모바일 단말기(100) 외부로 출력할 수 있다. 스피커(163)는 모바일 단말기(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 모바일 단말기(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 모바일 단말기(100)는 다른 장치(미도시)로부터 음성통화가 수신되는 경우, 진동 모터(164)가 동작한다. 모바일 단말기(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동 모터(164)는 스크린(190) 상을 터치하는 사용자의 터치 동작 및 스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 모바일 단말기(100)와 외부 장치(미도시) 또는 전원 소스(미도시)를 연결하기 위한 인터페이스로 이용될 수 있다. 모바일 단말기(100)는 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 모바일 단말기(100)의 저장부(175)에 저장된 데이터를 외부 장치(미도시)로 전송하거나 또는 외부 장치(미도시)로부터 데이터를 수신할 수 있다. 또한 모바일 단말기(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원 소스(미도시)로부터 전원을 입력받거나, 상기 전원 소스를 이용하여 배터리(미도시)를 충전할 수 있다.
키패드(166)는 모바일 단말기(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 모바일 단말기(100)에 형성되는 물리적인 키패드(미도시) 또는 스크린(190)에 표시되는 가상의 키패드(미도시)를 포함한다. 모바일 단말기(100)에 형성되는 물리적인 키패드(미도시)는 모바일 단말기(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(미도시)이 삽입되어 모바일 단말기(100)에 연결될 수 있다.
센서 모듈(170)은 모바일 단말기(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 모바일 단말기(100)에 대한 접근여부를 검출하는 근접 센서, 모바일 단말기(100) 주변의 빛의 양을 검출하는 조도 센서(미도시), 또는 모바일 단말기(100)의 동작(예, 모바일 단말기(100)의 회전, 모바일 단말기(100)에 가해지는 가속도 또는 진동)을 검출하는 모션 센서(미도시), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 미도시), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter) 등을 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서 모듈(170)의 센서는 모바일 단말기(100)의 성능에 따라 추가되거나 삭제될 수 있다.
본 실시예에 따른 센서 모듈(170)은 근접 센서를 포함할 수 있다. 근접 센서는 스크린(190)과 근접한 일정 범위를 통해 감지되는 사용자의 움직임(예를 들어, 사용자 손가락의 움직임)을 감지하는 센서이다. 예를 들어, 스크린(190)이 정전 용량 방식으로 구현되었다면 근접 센서로 구현된 센서 모듈(170)은 상기 스크린(190)의 일정 범위(예를 들어, 스크린(190)으로부터 10cm 높이)에서 발생하는 정전용량의 변화를 감지함으로써 사용자의 움직임을 검출할 수 있다. 상기와 같이 감지되는 사용자의 움직임 또한 사용자 입력에 포함될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(121), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 모바일 단말기(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
"저장부"라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 모바일 단말기(100)에 장착되는 메모리 카드(미도시)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부(175)는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(180)는 제어부(110)의 제어에 따라 모바일 단말기(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 모바일 단말기(100)에 전원을 공급한다. 또한 전원 공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원 소스(미도시)에서부터 입력되는 전원을 모바일 단말기(100)로 공급할 수 있다. 또한 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원 소스로부터 무선으로 입력되는 전원을 모바일 단말기(100)로 공급할 수도 있다.
스크린(190)은 모바일 단말기(100)에 저장된 데이터를 표시한다. 실시예에 따라 스크린(190)은 터치스크린(touch screen)의 형태로 구현되어 사용자가 신체의 일부(예를 들어 손가락)를 스크린(190)과 접촉시킴으로써 발생하는 사용자 입력(터치 입력)을 상기 사용자로부터 수신할 수 있다. 또한 스크린(190)은 사용자에게 다양한 서비스(예를 들어, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호(터치 입력)를 스크린 컨트롤러(195)로 전송할 수 있다. 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예를 들어, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한 스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 스크린 컨트롤러(195)로 전송할 수 있다.
본 발명에서 터치는 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출 가능한 간격이 1mm 이하)을 포함할 수 있다. 스크린(190)에서 검출 가능한 간격은 모바일 단말기(100)의 성능 또는 구조에 따라 변경될 수 있다.
스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
스크린 컨트롤러(195)는 스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예를 들어, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 스크린(190)에 표시된 단축 아이콘(미도시)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한 스크린 컨트롤러(195)는 제어부(110)에 포함되는 형태로 구현될 수 있다.
실시예에 따라 스크린 컨트롤러(195)는 센서 모듈(170)에 의해 감지된 근접 센싱 입력에 대응하는 스크린(190) 상에서의 좌표를 추출할 수도 있다. 예를 들어, 센서 모듈(170)을 통하여 스크린(190)과 근접한 일정 범위 내의 한 지점(제1지점)을 선택하기 위한 근접 센싱 입력이 감지되었다고 가정한다. 또한 근접 센싱이 정전 용량 방식으로 구현되었다고 가정한다. 센싱 모듈(170)은 스크린(190)의 일정 범위 내에서 발생하는 정전용량의 변화를 감지하고, 제어부(110)는 정전용량이 변화한 지점(제1지점)에 대응하는 스크린(190) 상의 지점(제2지점)의 좌표를 추출하도록 스크린 컨트롤러(195)를 제어할 수 있다. 예를 들어, 제2지점은, 상기 제1지점으로부터 가장 가까운 거리에 위치한 스크린(190) 상의 한 점일 수 있다.
실시예에 따라 모바일 단말기(100)는 서브통신 모듈(130), 커넥터(165) 및 이어폰 연결잭(167)과 같은 외부 장치 연결부를 이용하여 외부 장치(미도시)와 연결될 수 있다.
"외부 장치"는 모바일 단말기(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 내비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 "외부 장치"는 근거리 통신에 의하여 무선으로 모바일 단말기(100)에 연결될 수 있는 블루투스 통신 장치, NFC(Near Field Communication) 장치와 같은 근거리 통신 장치 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 또한 외부 장치는 다른 장치, 휴대폰, 스마트폰, 태블릿PC, 데스크탑 PC 및 서버를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 모바일 단말기의 전면 사시도이고, 도 3은 본 발명의 일 실시예에 따른 모바일 단말기의 후면 사시도이다.
도 2를 참조하면, 모바일 단말기(100)의 전면(100a) 중앙에는 스크린(190)이 배치된다. 스크린(190)은 모바일 단말기(100)의 전면(100a)의 대부분을 차지하도록 크게 형성된다.
도 2는 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 모바일 단말기(100)의 전원을 켰을 때 스크린(190) 상에 표시되는 첫 화면이다. 또한 모바일 단말기(100)가 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 메인메뉴 전환키(191-4)는 스크린(190) 상에 메뉴 화면을 표시한다. 또한 스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 모바일 단말기(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수 있다.
스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b) 및 뒤로 가기 버튼(161c)이 형성될 수 있다. 홈 버튼(161a)은 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 스크린(190)에 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 홈 키(161a)가 터치되면, 스크린(190)에 메인 홈 화면이 표시될 수 있다. 또한 스크린(190) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 스크린(190) 상에는 도 2에 도시된 메인 홈 화면이 표시될 수 있다. 또한 홈 버튼(161a)은 스크린(190) 상에 최근에(recently) 사용된 어플리케이션들을 표시하도록 하거나, 태스크 매니저(Task Manager)를 표시하기 위하여 사용될 수도 있다.
메뉴 버튼(161b)은 스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 표시하거나 또는 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다.
모바일 단말기(100)의 전면(100a) 가장자리에는 제1카메라(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 모바일 단말기(100)의 후면(100c)에는 제2카메라(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다.
모바일 단말기(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160a), 음량 버튼(161b), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. DMB 안테나(141a)는 모바일 단말기(100)에 고정되거나 또는 착탈 가능하게 형성될 수도 있다.
모바일 단말기(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 모바일 단말기(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
도 4는 도 1에 도시된 모바일 단말기에서의 제어부의 구성을 도시한 블록도이다. 도 4에서는 설명의 편이를 위하여 제어부(110)를 카메라 모듈(150) 및 스크린(190)을 함께 도시하였다.
도 4를 참조하면, 제어부(110)는 코드 인식부(402), 회전각 결정부(412), UI 제어부(414)를 포함하며, 텍스트 인식부(404)를 더 포함할 수 있다.
코드 인식 모드가 실행되면, 카메라 모듈(150)은 렌즈를 통해 입력되는 인식 코드를 촬영하여 상기 인식 코드가 포함된 코드 이미지를 생성한다. 코드 이미지가 생성되면, 코드 인식부(402)는 코드 이미지로부터 인식 코드의 적어도 일부를 검출한다.
텍스트 인식부(404)는 코드 이미지로부터 텍스트의 적어도 일부를 검출한다. 본 실시예에 따른 텍스트 인식부(110)는 회전각 결정부(412)에 의해 결정된 인식 코드에 대하 코드 회전각에 기초하여 코드 이미지에 포함된 텍스트의 형태를 검출할 수도 있다. 실시예에 따라 텍스트 인식부(404)는 1차원 코드(예를 들어, 바코드)의 주변에 위치한 텍스트의 형태를 검출할 수 있으며, 2차원 코드(예를 들어, QR 코드)의 주변에 위치한 텍스트의 형태를 검출할 수도 있다.
회전각 결정부(412)는 상기 코드 이미지에 포함된 인식 코드의 코드 회전각을 결정한다. 또한 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI 회전각을 결정한다. 위에서 언급한 바와 같이, 모바일 단말기(100)가 지면과 수직을 이루는 경우에서의 모바일 단말기(100)의 방향을, 모바일 단말기(100)의 정방향(회전각 0°)이라 하기로 한다. 또한 모바일 단말기(100)가 지면과 수직을 이루는 경우에서의 코드 인식용 어플리케이션의 UI 회전각 또한 0°라 하기로 한다.
회전각 결정부(412)는 코드 이미지에 포함된 인식 코드의 회전각)과 코드 인식용 어플리케이션의 UI 회전각을 비교한다. 회전각 결정부(412)는 UI 회전각이 코드 회전각과 일치하는지 여부를 판단한다. UI 회전각이 코드 회전각과 일치하는 경우, 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI를 회전시키지 않는 것으로 결정한다. 반면에 UI 회전각이 코드 회전각과 일치하지 않는 경우, 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI를 회전시키는 것으로 결정한다. 실시예에 따라 제어부(110)는 UI 회전각이 코드 회전각과 일치하도록 상기 코드 인식용 어플리케이션의 UI를 회전시킬 수 있다.
상기와 같이, 회전각 결정부(412)는, 코드 인식용 어플리케이션의 UI를 회전시킬지 여부를 결정한다. 예를 들어, 코드 인식용 어플리케이션의 UI 회전각이 인식 코드의 코드 회전각을 기준으로 시계 방향으로 90° 기울어져 있다고 가정한다. 본 실시예에 따른 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI를 반시계 방향으로 90° 회전시키는 것으로 결정한다. 상기와 같이 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI를 회전시킬지 여부를 결정할 수 있을 뿐만 아니라 상기 코드 인식용 어플리케이션의 UI를 얼마나 회전시킬지 여부도 결정할 수 있다.
상기와 같이 인식 코드는 2차원 코드, 예를 들어 QR 코드일 수도 있지만 다른 실시예에 따라 1차원 코드, 예를 들어 바 코드일 수도 있다. 바 코드는 굵기가 각기 다른 수직 막대들의 조합이다. 또한 바 코드는 상기 바 코드에 포함된 수직 막대의 길이로 바 코드의 상하를 구별할 수 있다. 일반적으로 바 코드에 포함된 수직 막대의 일부는 바 코드의 나머지 일부보다 아래(下) 방향으로 더 길게 형성된다. 그에 따라 본 실시예에 따른 회전각 결정부(412)는 먼저 해당 바 코드의 바(bar)들이 수직으로 서 있는 방향, 즉 바 코드에 대한 코드 회전각이 0˚ 또는 180˚인 방향을 먼저 결정하고, 이후 상기 바 코드에 포함된 막대들의 길이를 참조하여 바 코드에 대한 코드 회전각, 예를 들어 바 코드의 정방향(회전각 0˚)을 최종적으로 결정할 수 있다.
예를 들어, 바 코드가 정방향(회전각 0˚)을 기준으로 시계 방향으로 90˚ 회전된 것으로, 즉 상기 바 코드의 코드 회전각이 90˚인 것으로 가정한다. 상기 바 코드의 코드 회전각이 90˚이므로, 상기 바 코드에 포함된 수직 막대들은 가로 방향으로 형성되어 있을 것이다. 회전각 결정부(412)는 가로 방향으로 형성된 수직 막대들을 통해 상기 바 코드의 코드 회전각이 90˚이거나 또는 270˚임을 알 수 있게 된다. 또한 회전각 결정부(412)는 상기 바 코드에 포함된 수직 막대들 중 일부가 돌출된 쪽을 상기 바 코드의 하측으로 결정한다. 상기의 예에서 바 코드의 코드 회전각이 90˚이므로, 상기 바 코드는 수직 막대들 중 일부가 좌측으로 돌출된 형태를 가진다. 회전각 결정부(412)는 수직 막대들 중 일부가 좌측으로 돌출되었음을 판별함으로써 상기 바 코드의 코드 회전각을 90˚로 결정할 수 있다.
UI 제어부(414)는 회전각 결정부(412)에 의해 결정된 코드 회전각 또는 UI 회전각에 기초하여 코드 인식용 어플리케이션의 UI를 회전시킨다. 상기의 예와 같이, 회전각 결정부(412)에 의해 코드 인식용 어플리케이션의 UI를 반시계 방향으로 90° 회전시키는 것으로 결정되면, UI 제어부(414)는 상기 코드 인식용 어플리케이션의 UI를 반시계 방향으로 90° 회전시킨다. 또한 스크린(190)은 반시계 방향으로 90° 회전된 UI를 표시한다. 실시예에 따라 UI 제어부(414)는 상기 코드 인식용 어플리케이션의 UI를 반시계 방향으로 90° 회전시켜 표시하도록 스크린(190)을 제어할 수 있다.
실시예에 따라 UI 제어부(414)는 스크린 컨트롤러(195)에 포함되는 형태로 구현되어 스크린(190)을 제어할 수도 있다.
도 5는 도 1에 도시된 모바일 단말기에 의하여 검출되는 인식 코드의 일 예를 나타낸 도면이다.
도 5에서는 인식 코드의 일 예로서 QR 코드를 도시하고 있다. (a)는 정방향인, 즉 코드 회전각이 0°인 인식 코드(501)이고, (b)는 정방향을 기준으로 반시계 방향으로 90° 회전된, 즉 코드 회전각이 270°인 인식 코드(502)이고, (c)는 정방향을 기준으로 시계 방향으로 90° 회전된, 즉 코드 회전각이 90°인 인식 코드(503)이며, (d)는 정방향을 기준으로 180° 회전된, 즉 코드 회전각이 180°인 인식 코드(504)이다.
QR 코드는, 일반적으로 상기 QR 코드의 정방향을 정의하기 위한 심볼들을 포함하고 있다. QR 코드의 정방향을 정의하기 위한 심볼의 위치는 정사각형인 QR 코드의 네 모서리 중 우측 하단 모서리를 제외한 나머지 모서리들(511, 512, 513)이다. 도 5에서도 인식 코드들(501, 502, 503, 504), 즉 QR 코드들도 정방향을 정의하기 위한 심볼들로서 제1심볼(511), 제2심볼(512) 및 제3심볼(513)을 포함하고 있다.
회전각 결정부(412)는 상기 제1 내지 제3심볼들(511, 512, 513)을 이용하여 인식 코드(501, 502, 503, 504)의 코드 회전각을 결정할 수 있다. 도 5의 (a)와 같이 인식 코드(501)에 대한 코드 회전각이 0°, 즉 정방향이면, 제1심볼(511) 및 제2심볼(512) 각각은 인식 코드(501)의 상단 좌우측에 위치하고, 제3심볼(513)은 인식 코드(501)의 하단 좌측에 위치하게 된다. 또한 도 5의 (b)와 같이 인식 코드(502)에 대한 코드 회전각이 270°, 즉 인식 코드(501)가 반시계 방향으로 90° 회전된 상태이면, 제2심볼(512)은 인식 코드(502)의 상단 좌측에 위치하고, 제1심볼(511) 및 제3심볼(513) 각각은 인식 코드(502)의 하단 좌우측에 위치한다. 도 5의 (c)와 같이 인식 코드(503)에 대한 코드 회전각이 90°, 즉 인식 코드(501)이 시계 방향으로 90° 회전된 상태이면, 제3심볼(513) 및 제1심볼(511) 각각은 인식 코드(503)의 상단 좌우측에 위치하고, 제2심볼(512)은 인식 코드(503)의 하단 우측에 위치한다. 도 5의 (d)와 같이 인식 코드(504)에 대한 코드 회전각이 180°, 즉 인식 코드(501)가 180° 회전된 상태이면, 제3심볼(513)은 인식 코드(504)의 상단 우측에 위치하고, 제2심볼(512) 및 제1심볼(511) 각각은 인식 코드(504)의 하단 좌우측에 위치한다.
코드 인식부(402)가 코드 이미지 중 도 5의 (a) 내지 (d)와 같은 인식 코드들(501, 502, 503, 504)을 검출하면, 회전각 결정부(412)는 상기 도 5의 (a) 내지 (d)와 같은 인식 코드들(501, 502, 503, 504) 각각의 코드 회전각을 결정한다.
실시예에 따라 카메라 모듈(150)은 인식 코드(501, 502, 503, 504)가 포함된 영상을, 좌에서 우 또는 상에서 하 방향으로 스캔할 수 있다. 코드 인식부(402)는 제1내지 제3심볼(511, 512, 513) 중 적어도 하나가 검출되면, 상기 제1 내지 제3심볼(511, 512, 513)이 포함된 이미지 또는 텍스트를 인식 코드(501, 502, 503, 504)로서 결정할 수 있다.
또한 카메라 모듈(150)이 상에서 하 방향으로 스캔한다고 가정하면, 도 5의 (b) 또는 (d)와 같이 인식코드(502, 504)의 상단 좌측 또는 상단 우측에만 심볼(512, 513)이 있는 경우에는, 카메라 모듈(150)이 인식 코드(502, 504) 전체를 스캔하지 않아도 회전각 결정부(412)가 상기 인식 코드(502, 504)에 대한 코드 회전각을 결정할 수도 있다.
마찬가지로 카메라 모듈(150)이 하에서 상 방향으로 스캔한다고 가정하면, 도 5의 (a) 또는 (c)와 같이 인식 코드(501, 503)의 하단 좌측 또는 하단 우측에만 심볼(513, 512)이 있는 경우에는, 카메라 모듈(150)이 인식 코드(501, 503) 전체를 스캔하지 않아도 회전각 결정부(412)가 상기 인식 코드(501, 503)에 대한 코드 회전각을 결정할 수 있다.
또한 카메라 모듈(150)이 좌에서 우 방향으로 스캔한다고 가정하면, 도 5의 (c) 또는 (d)와 같이 인식코드(503, 504)의 좌측 상단 또는 하단에만 심볼(513, 512)이 있는 경우에는, 카메라 모듈(150)이 인식 코드(503, 504) 전체를 스캔하지 않아도 회전각 결정부(412)가 상기 인식 코드(503, 504)에 대한 회전각을 결정할 수 있다.
마찬가지로 카메라 모듈(150)이 우에서 좌 방향으로 스캔한다고 가정하면, 도 5의 (a) 또는 (b)와 같이 인식 코드(501, 502)의 좌측 상단 또는 하단만 심볼(512, 513)이 있는 경우에는, 카메라 모듈(150)이 인식 코드(501, 502) 전체를 스캔하지 않아도 회전각 결정부(412)가 상기 인식 코드(501, 502)에 대한 회전각을 결정할 수 있다.
도 6은 도 1에 도시된 모바일 단말기의 코드 인식 방법의 일 예를 나타낸 순서도이다.
도 6을 참조하면, 모바일 단말기(100)의 제어부(110)는 코드 인식용 어플리케이션을 실행한다(S602). 실시예에 따라 단계 S602의 동작은, 입출력 모듈(160) 또는 스크린(190)이 사용자로부터 코드 인식 모드를 실행하기 위한 사용자 입력 또는 코드 인식용 어플리케이션을 실행하기 위한 사용자 입력을 수신한 경우에 이루어질 수 있다. 또한 코드 인식용 어플리케이션이 실행되면, 상기 코드 인식용 어플리케이션과 연동되는 카메라 모듈(150)이 촬영 동작을 수행할 수 있다. 이때 카메라 모듈(150)은 상기 카메라 모듈(150)을 구동시키기 위한 사용자 입력에 따라 구동될 수도 있고, 별도의 사용자 입력 없이 자동으로 구동될 수도 있다. 카메라 모듈(150)은 렌즈를 이용하여 실시간으로 영상을 입력받는다. 상기와 같이 코드 인식용 어플리케이션이 실행되면, 스크린(190)에는 상기 코드 인식용 어플리케이션의 UI가 표시된다.
코드 인식용 어플리케이션이 실행되면, 모바일 단말기(100)는 카메라 모듈(150)을 통해 인식 코드가 포함된 코드 이미지를 생성한다(S604). 사용자는 모바일 단말기(100)를 움직임으로써, 카메라 모듈(150)의 제1카메라(151) 또는 제2카메라(152)를 움직일 수 있다. 사용자는 인식 코드가 포함된 영상이 제1카메라(151) 또는 제2카메라(152)에 입력되도록 모바일 단말기(100)를 움직인 후, 촬영 또는 스캔을 위한 사용자 입력을 모바일 단말기(100)에 입력할 수 있다. 실시예에 따라 코드 인식 모드가 실행되면, 카메라 모듈(150)은, 사용자로부터의 촬영 또는 스캔을 위한 사용자 입력이 입력되지 않더라도 제1카메라(151) 또는 제2카메라(152)를 통해 실시간으로 입력되는 영상을 이미지, 즉 코드 이미지로 변환할 수 있다.
카메라 모듈(150)에 의하여 코드 이미지가 생성되면, 코드 인식부(402)는 상기 코드 이미지로부터 인식 코드를 검출한다(S606). 인식 코드가 2차원 인식 코드, 예를 들어 QR 코드인 경우 코드 인식부(402)는 도 5의 (a) 내지 (d)와 같은 인식 코드(501, 502, 503, 504)를 코드 이미지로부터 검출할 수 있다. 실시예에 따라 코드 인식부(402)는, 제1 내지 제3심볼(511, 512, 513) 중 적어도 하나를 검출함으로써 도 5의 (a) 내지 (d)와 같은 인식 코드(501, 502, 503, 504)를 코드 이미지로부터 검출할 수 있다.
실시예에 따라 인식 코드가 1차원 인식 코드, 예를 들어 바 코드인 경우 코드 인식부(402)는 가로 방향 또는 세로 방향으로 형성된 복수 개의 수직 막대들을 검출할 수 있다. 실시예에 따라 코드 인식부(402)는, 수직 막대들 중 한 쪽 방향으로만 돌출된 수직 막대들의 돌출된 방향을 검출할 수도 있다.
코드 이미지로부터 인식 코드가 검출되면, 회전각 결정부(412)는 상기 인식 코드의 코드 회전각을 결정한다(S608). 또한 회전각 결정부(608)는 코드 인식용 어플리케이션의 UI 회전각이 상기 인식 코드의 코드 회전각과 일치하는지 여부를 판단한다(S610).
단계 S610의 판단 결과 코드 인식용 어플리케이션의 UI 회전각이 상기 인식 코드의 코드 회전각과 일치하지 않는 경우(S610: 아니오), 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI 회전각과 인식 코드의 코드 회전각을 일치시키는 것으로 결정한다. 그에 따라 UI 제어부(414)는 코드 인식용 어플리케이션의 UI가 상기 코드 회전각과 동일한 회전각을 가지도록 상기 코드 인식용 어플리케이션의 UI를 회전시킨다(S612). 예를 들어, 코드 인식용 어플리케이션의 UI가, 인식 코드의 코드 회전각을 기준으로 반시계 방향으로 90° 회전되어 있는 상태라면, 단계 S612에서 UI 제어부(414)는 상기 코드 인식용 어플리케이션의 UI를 시계 방향으로 90° 회전시킨다.
이후 모바일 단말기(100)의 텍스트 인식부(404)는 코드 이미지에 포함된 텍스트를 검출한다(S614). 상기와 같이 텍스트까지 검출이 되면, 제어부(110)는 스크린(190)을 제어하여 인식 코드 및 텍스트 검출 결과를 출력한다(S616). 단계 S616에서 스크린(190)은 단계 S606에서 검출된 인식 코드 및 단계 S614에서 검출된 텍스트를 이미지 또는 텍스트의 형태로서 단순히 표시할 수 있다.
다른 실시예에 따라 제어부(110)는, 인식 코드 또는 텍스트 검출 결과로서 상기 인식 코드 또는 텍스트에 대응하는 동작을 수행하도록 모바일 단말기(100)를 제어할 수도 있다. 예를 들어, 인식 코드에 포함된 정보가 인터넷 주소에 대한 것이라면, 제어부(110)는 해당 인터넷 주소에 대응하는 웹 페이지를 스크린(190)에 표시하도록 모바일 단말기(100)를 제어할 수도 있다.
단계 S610의 판단 결과 코드 인식용 어플리케이션의 UI 회전각이 상기 인식 코드의 코드 회전각과 일치하는 경우(S610: 예), 모바일 단말기(100)의 텍스트 인식부(404)는 코드 이미지에 포함된 텍스트를 검출한다(S614). 또한 코드 이미지에 포함된 텍스트까지 검출이 되면, 제어부(110)는 스크린(190)을 제어하여 인식 코드 및 텍스트 검출 결과를 출력한다(S616).
도 7은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 코드 인식용 어플리케이션의 UI 방향을 회전시킨 일 예를 나타낸 도면이다. 도 7의 (a), (b), (c)는, 코드 인식 모드에 따라 코드 인식용 어플리케이션을 구동시킨 모바일 단말기(100)의 스크린(190)을 시간 순서대로 나타낸 것이다.
도 7의 (a) 내지 (c)를 참조하면, 스크린(190)에는, 인식 코드 또는 텍스트를 검출하기 위한 각 기능들에 대응하는 아이콘들(711, 712, 713, 714)을 포함하는 코드 인식용 어플리케이션의 UI(710)가 표시되고 있다. 또한 스크린(190)에는 카메라 모듈(150)을 통해 입력되고 있는 영상(750)이 표시되고 있으며, 상기 영상(750)은 인식 코드(730)를 포함하고 있다. 또한 도 7의 (a) 내지 (c)의 인식 코드(730)에 대한 회전각은 0 ˚, 즉 인식 코드(730)는 모두 정방향인 것으로 가정한다.
도 7의 (a)는 인식 코드(730)의 코드 회전각과 코드 인식용 어플리케이션의 UI(710)의 UI 회전각이 일치할 때의 스크린(190)을 나타낸 것이다. 도 7의 (b)는 (a)의 모바일 단말기(100)를 사용자가 시계 방향으로 90° 회전 시켰을 때의 스크린(190)을 나타낸 것이다. 모바일 단말기(100)가 시계 방향으로 90 ˚ 회전됨에 따라 도 7의 (b)에 도시된 바와 같이 인식 코드(730)의 코드 회전각과 코드 인식용 어플리케이션의 UI(710)의 UI 회전각이 불일치하게 되었다. 도 7의 (b)에서 UI(710)의 UI 회전각은 인식 코드(730)를 기준으로 시계 방향으로 90° 회전된 상태이다.
회전각 결정부(412)는 도 7의 (b)에서의 인식 코드(730)의 코드 회전각과 코드 인식용 어플리케이션의 UI(710)의 UI 회전각을 일치시키기 위하여 UI(710)를 반시계 방향을 90° 회전시키는 것으로 결정한다. 상기와 같은 회전각 결정부(412)의 결정에 따라 UI 제어부(414)는 도 7의 (b)에 도시된 UI(710)를 반시계 방향으로 90° 회전시킨다. 그에 따라 도 7의 (c)에 도시된 봐와 같이, 코드 인식용 어플리케이션에 포함된 아이콘들(711, 712, 713, 714)이 반시계 방향으로 90° 회전된 형태로 스크린(190)에 표시된다.
도 8a 및 도 8b는 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 코드 인식용 어플리케이션의 UI 방향을 회전시킨 다른 예를 나타낸 도면이다.
도 8a 및 도 8b를 참조하면, 스크린(190)에는, 인식 코드 또는 텍스트를 검출하기 위한 각 기능들에 대응하는 아이콘들(811, 812, 813, 814, 815, 816, 817, 818)을 포함하는 코드 인식용 어플리케이션의 UI(810)가 표시되고 있다. 또한 스크린(190)에는 카메라 모듈(150)을 통해 입력되고 있는 영상(850)이 표시되고 있으며, 상기 영상(850)에는 인식 코드(830)가 포함되어 있다. 또한 도 8a 및 도 8b는 모두 인식 코드(830)의 코드 회전각과 코드 인식용 어플리케이션의 UI(810)의 UI 회전각이 0°(정방향)로서 일치하고 있다.
도 8a를 참조하면, 사용자는 카메라 아이콘(815)를 선택함으로써, 카메라 모듈(150)을 통해 영상(850)을 입력받는다. 모바일 단말기(100)가 도 8a와 같이 가로보다는 세로가 긴 형태를 유지하고 있는 경우, 제어부(110)의 코드 인식부(402)는 제1지점(821)으로부터 제2지점(822)까지의 순서로 영상(850)에 포함된 인식 코드(830)를 검출할 수 있다. 실시예에 따라 카메라 모듈(150)은 제1지점(821)으로부터 제2지점(822)까지의 순서로 영상(850)을 스캔하여 코드 인식부(402)에 전달할 수도 있다.
도 8b에서도 사용자는 카메라 아이콘(815)를 선택함으로써, 카메라 모듈(150)을 통해 영상(850)을 입력받고 있다. 모바일 단말기(100)가 도 8b와 같이 세로보다는 가로가 긴 형태를 유지하고 있는 경우, 제어부(110)의 코드 인식부(402)는 제3지점(823)으로부터 제4지점(824)까지의 순서로 영상(850)에 포함된 인식 코드(830)를 검출할 수 있다. 실시예에 따라 카메라 모듈(150)은 제3지점(823)으로부터 제4지점(824)까지의 순서로 영상(850)을 스캔하여 코드 인식부(402)에 전달할 수도 있다.
도 9는 도 1에 도시된 코드 인식 방법에 따라 코드 인식용 어플리케이션의 UI 방향을 회전시킨 또 다른 예를 나타낸 도면이다.
도 9의 (a) 내지 (c)를 참조하면, 스크린(190)에는, 인식 코드 또는 텍스트를 검출하기 위한 각 기능들에 대응하는 아이콘들(911, 912, 913, 914, 915, 916, 917, 918)을 포함하는 코드 인식용 어플리케이션의 UI(910)가 표시되고 있다. 또한 스크린(190)에는 카메라 모듈(150)을 통해 입력되고 있는 영상(950)이 표시되고 있으며, 상기 영상(950)에는 인식 코드(930)가 포함되어 있다. 도 9의 (a), (b), (c)는, 코드 인식 모드에 따라 코드 인식용 어플리케이션을 구동시킨 모바일 단말기(100)의 스크린(190)을 시간 순서대로 나타낸 것이다.
도 9의 (a)는 인식 코드(930)과 코드 이미지를 생성하기 위하여 코드 인식용 어플리케이션을 실행시킨 직후의 스크린(190)을 나타낸 것이다. 도 9의 (b)는 도 9의 (a)의 모바일 단말기(100)를 사용자가 반시계 방향으로 90° 회전시켰을 때의 스크린(190)을 나타낸 것이다. 도 9의 (b)에 도시된 바와 같이 인식 코드(930)의 코드 회전각과 코드 인식용 어플리케이션의 UI(910)의 UI 회전각이 달라졌다. 도 9의 (b)에서 UI(910)의 방향은 인식 코드(930)을 기준으로 시계 방향으로 90° 회전된 상태이다.
회전각 결정부(412)는 도 9의 (b)에서의 인식 코드(930)의 코드 회전각과 코드 인식용 어플리케이션의 UI(910)의 UI 회전각을 일치시키기 위하여 UI(910)를 시계 방향으로 90° 회전시키는 것으로 결정한다. 회전각 결정부(412)의 결정에 따라 UI 제어부(414)는 (b)의 UI(910)을 시계 방향으로 90° 회전시킨다. 그에 따라 도 9의 (c)에 도시된 봐와 같이, 코드 인식용 어플리케이션에 포함된 아이콘들(911, 912, 913, 914, 915, 916, 917, 918)이 시계 방향으로 90° 회전된 형태로 스크린(190)에 표시된다.
도 9의 (b)에서 사용자는 카메라 아이콘(915)를 선택하는 사용자 입력을 스크린(190)에 입력함으로써, UI(910)의 UI 회전각을 인식 코드(930)의 코드 회전각과 일치하도록 상기 UI(910)을 회전시킬 것을 모바일 단말기(100)에 요청할 수도 있다. 사용자로부터 카메라 아이콘(915)를 선택하는 사용자 입력이 입력되면, 제어부(110)는 도 9의 (c)에 도시된 바와 같이 코드 인식용 어플리케이션의 UI(910)를 회전시킬 수 있다.
도 10은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 인식 코드 및 텍스트를 검출한 결과의 일 예를 나타낸 도면이다. 도 10에서는 모바일 단말기(100)의 세로가 가로보다 긴 형태일 때에 모바일 단말기(100)가 인식 코드 및 텍스트를 검출한 결과를 도시하였다.
도 10의 (a)를 참조하면, 스크린(190)에는, 인식 코드 또는 텍스트를 검출하기 위한 각 기능들에 대응하는 아이콘들(1011, 1012, 1013, 1014, 1015, 1016, 1017, 1018)을 포함하는 코드 인식용 어플리케이션의 UI가 표시되고 있다. 또한 스크린(190)에는 카메라 모듈(150)을 통해 입력되고 있는 영상(1050)이 표시되고 있으며, 상기 영상(1050)에는 인식 코드(1030)가 포함되어 있다. 또한 도 10의 (a)에서 인식 코드(1030)의 코드 회전각과 코드 인식용 어플리케이션의 UI(1010)의 회전각은, 0˚(정방향)로서 일치하고 있다.
카메라 모듈(150)은 영상(1050)을 입력받아서 코드 이미지를 생성한다. 코드 인식부(402)는 코드 이미지로부터 인식 코드(1030)를 검출하고, 텍스트 인식부(404)는 코드 이미지로부터 텍스트를 검출한다. 도 10의 (a)의 영상(1050)으로부터 인식 코드(1030) 및 텍스트를 검출한 결과를 스크린(190)에 나타낸 것이 도 10의 (b)이다.
도 10의 (b)를 참조하면, 도 10의 (a)의 영상(1050)에 포함되어 있던 텍스트와 동일한 텍스트가 표시되고 있다. 또한 인식 코드(1030)는, 코드 인식부(402)에 의하여 상기 인식 코드(1030)에 대응하는 컨텐츠(1040)로 변환될 수 있다. 인식 코드 검출 결과로서, 스크린(190)은 인식 코드(1030) 대신에 상기 컨텐츠(1040)를 표시한다. 도 10에서 (a)의 인식 코드(1030)는 웹페이지 주소를 나타내는 컨텐츠(1040)와 대응되며, 그에 따라 (b)에서는 인식 코드(1030) 대신에 웹페이지 주소가 표시되고 있다.
도 11은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 인식 코드 및 텍스트를 검출한 결과의 다른 예를 나타낸 도면이다. 도 11에서는 모바일 단말기(100)의 가로가 세로보다 긴 형태일 때에 상기 모바일 단말기(100)가 인식 코드 및 텍스트 검출한 결과를 도시하였다.
도 11의 (a)를 참조하면, 스크린(190)에는, 인식 코드 또는 텍스트를 검출하기 위한 각 기능들에 대응하는 아이콘들(1111, 1112, 1113, 1114, 1115, 1016, 1117, 1118)을 포함하는 코드 인식용 어플리케이션의 UI(1110)가 표시되고 있다. 또한 스크린(190)에는 카메라 모듈(150)을 통해 입력되고 있는 영상(1150)이 표시되고 있으며, 상기 영상(1150)에는 인식 코드(1130)가 포함되어 있다. 또한 도 11의 (a)에서 인식 코드(1130)의 코드 회전각과 코드 인식용 어플리케이션의 UI(1110)의 UI 회전각은, 0˚(정방향)로서 일치하고 있다.
카메라 모듈(150)은 영상(1150)을 입력받아서 코드 이미지를 생성한다. 코드 인식부(402)는 코드 이미지로부터 인식 코드(1130)를 검출하고, 텍스트 인식부(404)는 코드 이미지로부터 텍스트를 검출한다. 도 11의 (a)의 영상(1150)으로부터 인식 코드(1130) 및 텍스트를 검출한 결과를 스크린(190)에 나타낸 것이 도 11의 (b)이다.
도 11의 (b)를 참조하면, 도 11의 (a)의 영상(1150)에 포함되어 있던 텍스트와 동일한 텍스트가 표시되고 있다. 또한 인식 코드(1130)는, 코드 인식부(402)에 의하여 상기 인식 코드(1130)에 대응하는 컨텐츠(1140)로 변환될 수 있다. 인식 코드 검출 결과로서, 스크린(190)은 인식 코드(1130) 대신에 상기 컨텐츠(1140)를 표시한다. 도 10에서와 마찬가지로 도 11의 (a)의 인식 코드(1130)는 웹페이지 주소를 나타내는 컨텐츠(1140)와 대응되며, 그에 따라 도 11의 (b)에서는 인식 코드(1130) 대신에 웹페이지 주소가 표시되고 있다.
도 12는 도 1에 도시된 모바일 단말기의 코드 인식 방법의 다른 예를 나타낸 순서도이다.
도 12를 참조하면, 모바일 단말기(100)의 제어부(110)는 코드 인식용 어플리케이션을 실행한다(S1202). 실시예에 따라 단계 S1202의 동작은, 입출력 모듈(160) 또는 스크린(190)이 사용자로부터 코드 인식 모드를 실행하기 위한 사용자 입력 또는 코드 인식용 어플리케이션을 실행하기 위한 사용자 입력을 수신한 경우에 이루어질 수 있다. 또한 코드 인식용 어플리케이션이 실행되면, 상기 코드 인식용 어플리케이션과 연동되는 카메라 모듈(150)이 촬영 동작을 수행한다. 카메라 모듈(150)은 렌즈를 이용하여 실시간으로 영상을 입력받는다. 상기와 같이 코드 인식용 어플리케이션이 실행되면, 스크린(190)에는 상기 코드 인식용 어플리케이션의 UI가 표시된다.
코드 인식용 어플리케이션이 실행되면, 모바일 단말기(100)는 카메라 모듈(150)을 통해 인식 코드가 포함된 코드 이미지를 생성한다(S1204). 사용자는 모바일 단말기(100)를 움직임으로써, 카메라 모듈(150)의 제1카메라(151) 또는 제2카메라(152)를 움직일 수 있다. 사용자는 인식 코드가 포함된 영상이 제1카메라(151) 또는 제2카메라(152)에 입력되도록 모바일 단말기(100)를 움직인 후, 촬영 또는 스캔을 위한 사용자 입력을 모바일 단말기(100)에 입력할 수 있다. 실시예에 따라 코드 인식 모드가 실행되면, 카메라 모듈(150)은, 사용자로부터의 촬영 또는 스캔을 위한 사용자 입력이 입력되지 않더라도 제1카메라(151) 또는 제2카메라(152)를 통해 실시간으로 입력되는 영상을 이미지, 즉 코드 이미지로 변환할 수 있다.
카메라 모듈(150)에 의하여 코드 이미지가 생성되면, 텍스트 인식부(404)는 상기 코드 이미지에 포함된 텍스트들의 에지를 검출하고 텍스트들의 연결성을 분석한다(S1206).
일반적으로 텍스트들은 단어 또는 문장의 형태를 가지고, 일정한 간격으로 연속적으로 나열된다. 특히 동일 선상의 텍스트들 사이, 즉 글자와 글자의 사이는 타 이미지나 여백에 비하여 그 간격이 대단히 좁다. 따라서 동일 선상의 텍스트들은 서로 연결되어 있는 것으로 보이며, 상기와 같이 텍스트들이 연결되어 있는 특성을 ‘텍스트들의 연결성’이라 한다. 텍스트 인식부(404)는, 상기와 같은 텍스트의 연결성을 분석함으로써 코드 이미지 내에서의 텍스트들의 유무 또는 텍스트들, 그 중에서도 동일선상에 위치한 텍스트들을 검출할 수 있다. 본 실시예에서는 동일선상에 서로 근접하여 나열된 텍스트들을 ‘텍스트 라인’이라 하기로 한다. 아래의 도 13에 도시된 바와 같이, 텍스트 라인(1321, 1322, 1323, 1324)의 텍스트들은 인식 코드(1330)과 동일한 회전각을 가진다. 그에 따라 본 실시예에 따른 제어부(110)는, 인식 코드(1330) 및 텍스트 라인(1321, 1322, 1323, 1324)에 포함된 텍스트들의 회전각을 이용하여 코드 인식용 어플리케이션의 UI 회전각을 조정할 수 있다.
코드 인식부(402)는 인식 코드를 검출하고, 텍스트 인식부(404)는 텍스트 라인을 검출한다(S1208). 코드 이미지로부터 텍스트 라인 및 인식 코드가 검출되면, 회전각 결정부(412)는 상기 인식 코드의 코드 회전각을 결정한다(S1210). 단계 S1210에서 회전각 결정부(412)는 텍스트 라인의 회전각을 결정할 수도 있다.
회전각 결정부(412)는 코드 인식용 어플리케이션의 UI 회전각이 텍스트 라인 및 인식 코드의 코드 회전각과 일치하는지 여부를 판단한다(S1212). 단계 S1212의 판단 결과 일치하지 않는 경우(S1212: 아니오), 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI 회전각과 인식 코드의 코드 회전각을 일치시키는 것으로 결정한다. 그에 따라 UI 제어부(414)는 코드 인식용 어플리케이션의 UI 회전각이 상기 코드 방향 및 텍스트 라인의 회전각과 동일해지도록 상기 코드 인식용 어플리케이션의 UI를 회전시킨다(S1214). 예를 들어, 코드 인식용 어플리케이션의 UI가, 코드 방향 및 텍스트 라인을 기준으로 반시계 방향으로 90° 회전되어 있는 상태라면, 단계 S1212에서 UI 제어부(414)는 상기 코드 인식용 어플리케이션의 UI를 시계 방향으로 90° 회전시킨다.
이후 모바일 단말기(100)의 텍스트 인식부(404)는 코드 이미지에 포함된 텍스트를 검출한다(S1216). 상기와 같이 텍스트까지 검출이 되면, 제어부(110)는 스크린(190)을 제어하여 인식 코드 및 텍스트 검출 결과를 출력한다(S1218). 단계 S1218에서 스크린(190)은 단계 S1205에서 검출된 인식 코드 및 단계 S1216에서 검출된 텍스트를 이미지 또는 텍스트의 형태로서 단순히 표시할 수 있다.
다른 실시예에 따라 제어부(110)는, 인식 코드 또는 텍스트 검출 결과로서 상기 인식 코드 또는 텍스트에 대응하는 동작을 수행하도록 모바일 단말기(100)를 제어할 수도 있다. 예를 들어, 인식 코드에 포함된 컨텐츠가 인터넷 주소에 대한 것이라면 제어부(110)는 해당 인터넷 주소에 대응하는 웹 페이지를 스크린(190)에 표시하도록 모바일 단말기(100)를 제어할 수도 있다.
단계 S1212의 판단 결과 일치하는 경우(S1212: 예), 모바일 단말기(100)의 텍스트 인식부(404)는 코드 이미지에 포함된 텍스트를 검출한다(S1216). 상기와 같이 텍스트까지 검출이 되면, 제어부(110)는 스크린(190)을 제어하여 인식 코드 및 텍스트 검출 결과를 출력한다(S1218). 단계 S1218에서 스크린(190)은 단계 S1205에서 검출된 인식 코드 및 단계 S1216에서 검출된 텍스트를 이미지 또는 텍스트의 형태로서 단순히 표시할 수 있다.
다른 실시예에 따라 제어부(110)는, 인식 코드 또는 텍스트 검출 결과로서 상기 인식 코드 또는 텍스트에 대응하는 동작을 수행하도록 모바일 단말기(100)를 제어할 수도 있다. 예를 들어, 인식 코드에 포함된 컨텐츠가 인터넷 주소에 대한 것이라면 제어부(110)는 해당 인터넷 주소에 대응하는 웹 페이지를 스크린(190)에 표시하도록 모바일 단말기(100)를 제어할 수도 있다.
도 13은 도 1에 도시된 모바일 단말기가 코드 인식 방법에 따라 인식 코드 및 텍스트를 검출하는 또 다른 예를 나타낸 도면이다. 도 13의 (a), (b), (c)는, 코드 인식 모드에 따라 코드 인식용 어플리케이션을 구동시킨 모바일 단말기(100)의 스크린(190)을 시간 순서대로 나타낸 것이다.
도 13의 (a)를 참조하면, 스크린(190)에는, 인식 코드 또는 텍스트를 검출하기 위한 각 기능들에 대응하는 아이콘들(1311, 1312, 1313, 1314, 1315, 1316, 1317, 1318)을 포함하는 코드 인식용 어플리케이션의 UI(1310)가 표시되고 있다. 또한 스크린(190)에는 카메라 모듈(150)을 통해 입력되고 있는 영상(1350)이 표시되고 있으며, 상기 영상(1350)에는 인식 코드(1330)가 포함되어 있다. 또한 도 13의 (a)에서 인식 코드(1330)의 UI 회전각과 코드 인식용 어플리케이션의 UI(1310)의 UI 회전각은 0˚(정방향)로서 일치하고 있다.
카메라 모듈(150)은 영상(1350)을 입력받아서 코드 이미지를 생성한다. 텍스트 인식부(404)는 코드 이미지로부터 텍스트 라인(1321, 1321, 1322, 1323, 1324)를 검출한다. 도 13의 (a)의 영상(1350)으로부터 텍스트 라인(1321, 1322, 1323, 1324)을 검출한 결과를 스크린(190)에 나타낸 것이 도 13의 (b)이다.
도 13의 (b)를 참조하면, (a)의 영상(1350)에 포함되어 있던 텍스트와 동일한 텍스트가 표시되고 있다. 또한 텍스트 라인(1321, 1322, 1323, 1324)을 포함하는 텍스트 영역(1320)은 모바일 단말기(100)와 마찬가지로 가로가 세로보다 긴 형태로 나타나고 있다. 텍스트들의 회전각은 인식 코드(1330)의 코드 회전각과 일치한다. 또한 도 13의 (b)에서 인식 코드(1330)의 코드 회전각은 0˚(정방향)이다. 따라서 영상(1350)에 포함된 텍스트들의 회전각 또한 0˚(정방향)이다.
회전각 결정부(412)는 코드 인식용 어플리케이션의 UI(1310)의 UI 회전각과 텍스트 라인(1321, 1322, 1323, 1324)의 회전각을 비교한다. 도 13의 (b)에서 도시된 바와 같이 UI(1310)의 UI 회전각은 텍스트 라인(1321, 1322, 1323, 1324)의 회전각과 상이하다. 따라서 회전각 결정부(412)는 코드 인식용 어플리케이션의 UI(1310)를 시계 방향으로 90° 회전시키는 것으로 결정한다.
회전각 결정부(412)의 결정에 따라 UI 제어부(414)는 도 13의 (b)의 UI(1310)을 시계 방향으로 90° 회전시킨다. 그에 따라 도 13의 (b)에 도시된 코드 인식용 어플리케이션에 포함된 아이콘들(1311, 1312, 1313, 1314, 1315, 1316, 1317, 1318)이 시계 방향으로 90° 회전되어 도 13의 (c)에 도시된 바와 같이 스크린(190)에 표시된다.
본 발명의 실시예에 따른 모바일 단말기의 코드 인식 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이 ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 실시 예에 따른 코드 인식 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한 상기 모바일 단말기는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 모바일 단말기가 미리 설정된 코드 인식 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 코드 인식 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 모바일 단말기와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 모바일 단말기의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.
이외에도 본 발명의 다양한 실시예 또는 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고, 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
100: 모바일 단말기 110: 제어부
111: CPU 112: ROM
113: RAM 120: 이동 통신 모듈
122: 영상 수신부 130: 서브 통신 모듈
131: 무선 랜 모듈 132: 근거리 통신 모듈
140: 멀티미디어 모듈 141: 방송 통신 모듈
142: 오디오 재생 모듈 143: 동영상 재생 모듈
150: 카메라 모듈 151: 제1카메라
152: 제2카메라 153: GPS 모듈
160: 입출력 모듈 161: 버튼
162: 마이크 163: 스피커
164: 진동 모터 165: 커넥터
166: 키패드 167: 이어폰 연결잭
170: 센서 모듈 175: 저장부
180: 전원 공급부 190: 스크린
195: 스크린 컨트롤러 402: 코드 인식부
404: 텍스트 인식부 412: 회전각 결정부
414: UI 제어부

Claims (13)

  1. 전자 장치가 인식 코드를 인식하는 방법에 있어서,
    코드 인식 어플리케이션을 이용하여 상기 인식 코드가 포함된 이미지로부터 상기 인식 코드의 적어도 일부를 획득하는 동작;
    상기 인식 코드의 적어도 일부에 대한 코드 회전각을 식별하는 동작;
    상기 코드 인식 어플리케이션의 사용자 인터페이스에 포함된 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같지 않은 것으로 식별된 것에 기초하여, 상기 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같도록 상기 사용자 인터페이스에 포함된 상기 적어도 하나의 아이콘을 회전시키는 동작; 및
    상기 코드 회전각에 기초하여 상기 이미지로부터 상기 인식 코드 또는 텍스트를 식별하는 동작;을 포함함을 특징으로 하는 인식 방법.
  2. 제1항에 있어서, 상기 인식 코드를 포함하는 상기 이미지로부터 상기 인식 코드의 적어도 일부를 감지하는 동작 이전에,
    상기 인식 코드를 감지하기 위한 코드 인식 모드를 수행할 것을 요청하는 사용자 입력을 수신하는 동작;
    상기 인식 코드를 감지하기 위한 상기 코드 인식 어플리케이션을 실행하는 동작; 및
    상기 코드 인식 어플리케이션의 상기 사용자 인터페이스 및 상기 인식 코드가 포함된 상기 이미지를 상기 전자 장치의 디스플레이에 표시하는 동작;을 더 포함함을 특징으로 하는 인식 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 코드 회전각에 기초하여 상기 이미지로부터 상기 인식 코드 또는 텍스트를 식별하는 동작은,
    상기 코드 회전각에 기초하여 상기 이미지의 스캔 방향을 판단하는 동작;
    상기 스캔 방향에 따라 상기 이미지를 스캔함으로써 상기 인식 코드 또는 상기 텍스트를 추출하는 동작; 및
    상기 인식 코드 또는 상기 텍스트를 출력하는 동작;을 포함함을 특징으로 하는 인식 방법.
  5. 제1항에 있어서, 상기 인식 코드를 포함하는 상기 이미지로부터 상기 인식 코드의 적어도 일부를 획득하는 동작 이후에,
    상기 인식 코드를 포함하는 상기 이미지로부터 상기 텍스트가 포함된 텍스트 라인을 감지하는 동작;
    상기 텍스트 라인의 회전각을 판단하는 동작; 및
    상기 텍스트 라인의 회전각에 기초하여 상기 인식 코드 또는 상기 텍스트를 추출하는 동작;을 더 포함함을 특징으로 하는 인식 방법.
  6. 제5항에 있어서, 상기 텍스트 라인의 회전각을 결정하는 동작 이후에, 상기 적어도 하나의 아이콘의 회전각이 상기 텍스트 라인의 회전각과 같지 않으면, 상기 적어도 하나의 아이콘의 회전각이 상기 텍스트 라인의 회전각과 같도록, 상기 적어도 하나의 아이콘을 회전시키는 동작;을 더 포함함을 특징으로 하는 인식 방법.
  7. 인식 코드를 인식하는 전자 장치에 있어서,
    인식 코드를 포함하는 이미지를 수신하는 카메라; 및
    상기 카메라와 전기적으로 연결되는 제어부를 포함하며,
    상기 제어부는:
    코드 인식 어플리케이션을 이용하여 상기 인식 코드를 포함하는 상기 이미지로부터 상기 인식 코드의 적어도 일부를 획득하고,
    상기 인식 코드의 적어도 일부에 대한 코드 회전각을 식별하고,
    상기 코드 인식 어플리케이션의 사용자 인터페이스에 포함된 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같지 않은 것으로 식별된 것에 기초하여, 상기 적어도 하나의 아이콘의 회전각이 상기 코드 회전각과 같도록 상기 사용자 인터페이스에 포함된 상기 적어도 하나의 아이콘을 회전시키고,
    상기 인식 코드의 상기 코드 회전각에 기초하여 상기 이미지로부터 상기 인식 코드 또는 텍스트를 식별함을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    상기 인식 코드를 감지하기 위한 코드 인식 모드를 수행할 것을 요청하는 사용자 입력을 수신하는 입출력 모듈;을 더 포함함을 특징으로 하는 전자 장치.
  9. 제8항에 있어서, 상기 제어부는,
    상기 사용자 입력에 따라 상기 인식 코드를 감지하기 위한 상기 코드 인식 어플리케이션을 실행하고, 상기 코드 인식 어플리케이션의 상기 사용자 인터페이스 및 상기 인식 코드가 포함된 상기 이미지를 상기 전자 장치의 디스플레이에 표시함을 특징으로 하는 전자 장치.
  10. 삭제
  11. 제7항에 있어서, 상기 제어부는,
    상기 코드 회전각에 기초하여 상기 이미지의 스캔 방향을 판단하고,
    상기 스캔 방향에 따라 상기 이미지를 스캔함으로써 상기 인식 코드 또는 상기 텍스트를 추출함을 특징으로 하는 전자 장치.
  12. 제7항에 있어서, 상기 제어부는,
    상기 인식 코드를 포함하는 상기 이미지로부터 상기 텍스트가 포함된 텍스트 라인을 감지하고,
    상기 텍스트 라인의 회전각을 판단하고,
    상기 텍스트 라인의 회전각에 기초하여 상기 인식 코드 또는 상기 텍스트를 추출함을 특징으로 하는 전자 장치.
  13. 제12항에 있어서, 상기 제어부는,
    상기 적어도 하나의 아이콘의 회전각이 상기 텍스트 라인의 회전각과 같지 않으면, 상기 적어도 하나의 아이콘의 회전각이 상기 텍스트 라인의 회전각과 같도록, 상기 적어도 하나의 아이콘을 회전시킴을 특징으로 하는 전자 장치.
KR1020130102745A 2013-08-28 2013-08-28 모바일 단말기 및 그의 코드 인식 방법 KR102107395B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130102745A KR102107395B1 (ko) 2013-08-28 2013-08-28 모바일 단말기 및 그의 코드 인식 방법
EP14182685.9A EP2843593B1 (en) 2013-08-28 2014-08-28 Mobile terminal and code recognition method thereof
US14/471,863 US9299014B2 (en) 2013-08-28 2014-08-28 Mobile terminal and code recognition method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130102745A KR102107395B1 (ko) 2013-08-28 2013-08-28 모바일 단말기 및 그의 코드 인식 방법

Publications (2)

Publication Number Publication Date
KR20150025294A KR20150025294A (ko) 2015-03-10
KR102107395B1 true KR102107395B1 (ko) 2020-05-07

Family

ID=51453638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130102745A KR102107395B1 (ko) 2013-08-28 2013-08-28 모바일 단말기 및 그의 코드 인식 방법

Country Status (3)

Country Link
US (1) US9299014B2 (ko)
EP (1) EP2843593B1 (ko)
KR (1) KR102107395B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168152B2 (en) * 2015-10-02 2019-01-01 International Business Machines Corporation Using photogrammetry to aid identification and assembly of product parts
CN105512596B (zh) * 2015-11-27 2018-01-19 深圳Tcl数字技术有限公司 去除二维码扫描干扰的处理方法及系统
JP2017187988A (ja) * 2016-04-07 2017-10-12 東芝テック株式会社 コード認識装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296747B2 (en) * 2004-04-20 2007-11-20 Michael Rohs Visual code system for camera-equipped mobile devices and applications thereof
US20080115064A1 (en) * 2006-11-15 2008-05-15 Roach William V Systems, methods, and computer-readable media related to presentation software
KR101158275B1 (ko) * 2011-07-21 2012-06-19 주식회사 엠터치 큐알코드 자동 인식 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1329263C (en) * 1989-03-01 1994-05-03 Mark Krichever Bar code scanner
DE69126811T2 (de) * 1990-03-28 1998-02-19 Omniplanar Inc Streifenkodeleser für alle Richtungen
US5588072A (en) 1993-12-22 1996-12-24 Canon Kabushiki Kaisha Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks
WO2004080097A1 (en) * 2003-03-07 2004-09-16 Ktfreetel Co., Ltd Method for providing mobile service using code-pattern
JP4322147B2 (ja) * 2004-03-09 2009-08-26 株式会社ナビタイムジャパン 地図表示機能を有する携帯端末、地図表示システムおよび情報配信サーバならびにプログラム
US7451931B2 (en) * 2005-03-25 2008-11-18 Intermec Ip Corp. Detecting barcodes on two-dimensional images using frequency domain data
KR100828539B1 (ko) * 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체
US8630491B2 (en) * 2007-05-03 2014-01-14 Andrew Longacre, Jr. System and method to manipulate an image
US8139894B2 (en) * 2007-12-20 2012-03-20 Intel Corporation Automatic dominant orientation estimation in text images based on steerable filters
US8023741B2 (en) * 2008-05-23 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for detecting numerals in a digital image
US8520983B2 (en) 2009-10-07 2013-08-27 Google Inc. Gesture-based selective text recognition
US8358321B1 (en) * 2011-04-29 2013-01-22 Google Inc. Change screen orientation
US8608073B2 (en) * 2012-01-26 2013-12-17 Apple Inc. System and method for robust real-time 1D barcode detection
US9027837B2 (en) * 2012-07-23 2015-05-12 Korea Advanced Institute Of Science And Technology Method of recognizing QR code in image data and apparatus and method for converting QR code in content data into touchable object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296747B2 (en) * 2004-04-20 2007-11-20 Michael Rohs Visual code system for camera-equipped mobile devices and applications thereof
US20080115064A1 (en) * 2006-11-15 2008-05-15 Roach William V Systems, methods, and computer-readable media related to presentation software
KR101158275B1 (ko) * 2011-07-21 2012-06-19 주식회사 엠터치 큐알코드 자동 인식 장치 및 방법

Also Published As

Publication number Publication date
EP2843593A2 (en) 2015-03-04
EP2843593B1 (en) 2019-04-03
EP2843593A3 (en) 2015-03-18
US20150063703A1 (en) 2015-03-05
US9299014B2 (en) 2016-03-29
KR20150025294A (ko) 2015-03-10

Similar Documents

Publication Publication Date Title
KR102081817B1 (ko) 디지타이저 모드 전환 방법
EP2720126B1 (en) Method and apparatus for generating task recommendation icon in a mobile device
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
US9851890B2 (en) Touchscreen keyboard configuration method, apparatus, and computer-readable medium storing program
EP2770424B1 (en) Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
KR102090956B1 (ko) 지문 인식 방법 및 이를 위한 장치
US9514512B2 (en) Method and apparatus for laying out image using image recognition
EP2824905B1 (en) Group recording method, machine-readable storage medium, and electronic device
EP2642370A1 (en) Display method and apparatus for an electronic device
KR102155836B1 (ko) 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
KR20170029978A (ko) 이동단말기 및 그 제어방법
US20180329598A1 (en) Method and apparatus for dynamic display box management
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
KR20140082460A (ko) 복수의 단말들간의 메시지 싱크 방법, 기계로 읽을 수 있는 저장 매체 및 서버
KR20140081470A (ko) 문자 확대 표시 방법, 상기 방법이 적용되는 장치, 및 상기 방법을 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
KR20140026177A (ko) 스크롤링 제어 방법 및 장치
KR20140109158A (ko) 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
CN104395873A (zh) 包括触摸屏的设备及其屏幕改变方法
KR102091710B1 (ko) 좌표 측정 장치 및 그 제어 방법
KR102107395B1 (ko) 모바일 단말기 및 그의 코드 인식 방법
US9633225B2 (en) Portable terminal and method for controlling provision of data
US9261996B2 (en) Mobile terminal including touch screen supporting multi-touch input and method of controlling the same
KR20140063337A (ko) 입력 장치를 이용한 메모 기능을 수행하는 단말 및 방법
KR20150026646A (ko) 사용자로부터 입력되는 텍스트를 수정하는 방법 및 이를 위한 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant