KR102173123B1 - 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 - Google Patents

전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102173123B1
KR102173123B1 KR1020130143096A KR20130143096A KR102173123B1 KR 102173123 B1 KR102173123 B1 KR 102173123B1 KR 1020130143096 A KR1020130143096 A KR 1020130143096A KR 20130143096 A KR20130143096 A KR 20130143096A KR 102173123 B1 KR102173123 B1 KR 102173123B1
Authority
KR
South Korea
Prior art keywords
image
gesture
recognition
area
pattern
Prior art date
Application number
KR1020130143096A
Other languages
English (en)
Other versions
KR20150059466A (ko
Inventor
손동일
정철호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130143096A priority Critical patent/KR102173123B1/ko
Priority to US14/551,861 priority patent/US9767359B2/en
Publication of KR20150059466A publication Critical patent/KR20150059466A/ko
Priority to US15/686,861 priority patent/US10115015B2/en
Priority to US16/169,127 priority patent/US11113523B2/en
Priority to KR1020200140483A priority patent/KR102303206B1/ko
Application granted granted Critical
Publication of KR102173123B1 publication Critical patent/KR102173123B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)

Abstract

전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치에 관한 것으로, 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법은, 적어도 하나 이상의 이미지를 디스플레이하는 단계, 적어도 하나의 제스처를 검출하는 단계, 상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 연관된 인식기능을 선택하는 단계, 상기 선택된 인식기능을 인용하여, 상기 적어도 하나 이상의 객체를 인식하는 단계를 포함할 수 있다. 다양한 다른 실시 예들이 가능하다.

Description

전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING OBJECT OF IMAGE IN ELECTRONIC DEVICE}
본 발명의 다양한 실시예는 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치에 관한 것이다.
종래에 터치 스크린 인터페이스는 그래픽 사용자 인터페이스(Graphical User Interface: GUI)를 통해 카메라의 이미지 촬영과 연관된 기본적인 기능을 제공하기 위한 용도로 사용되고 있다. 예를 들어, 사진 촬영 모드, 동영상 촬영 모드, 파노라마 사진 촬영 모드 등을 이용하기 위해, 촬영 모드를 나타내는 하나 이상의 아이콘이나 리스트에서 특정 아이콘 혹은 특정 아이템을 탭(tap)하거나 터치(touch)하여 촬영 모드를 선택하여 구동시킬 수 있다. 이러한 방식은 카메라의 촬영 모드나 촬영을 위한 기본 기능을 선택하기 위한 것으로, 위의 사용 예 외에 터치스크린 인터페이스를 통해 다른 기능을 구동시킬 수도 있다. 예컨대, 사용자는 휴대용단말기 및 스마트폰 같은 전자장치에 장착된 이미지 센서를 통해 사진을 촬영하는 목적이 외에, 프리뷰 상태에서 피사체에 있는 특정 정보를 읽어들이는 용도로 사용되고 있다.
특히, 최근에 카메라를 이용하는 다양한 인식기술, 예를 들어 바코드, 2차원 코드, 컬러기반 코드, 명함 인식, 얼굴인식 등과 같은 애플리케이션들이 보급되고 있다. 일반적으로 인식할 객체의 종류에 따라 별도의 애플리케이션을 구동하거나, 동일 애플리케이션에서 특정 인식모듈의 종류를 선택하기 위해 터치스크린 인터페이스가 이용될 수 있다.
전자장치에서 명함, 바코드 혹은 QR(Quick Response) 코드를 인식하기 위한 애플리케이션은 이미지 센서를 통해 특정 명함, 바코드 및 QR코드에 대응하는 이미지를 획득한 후, 해당 이미지 내에서 바코드 및 QR코드를 추출하여 추출된 코드에 포함된 정보를 디스플레이할 수 있다.
이미지 센서를 통해 획득된 이미지 전체에서 인식할 객체의 영역을 추출하는 방식은 연산량과 시간이 많이 소요되고 잘못된 영역을 추출할 가능성이 커질 수 있다. 따라서, 인식률과 영상 처리 효율을 높이기 위하여 이미지의 소정의 제한된 영역 안에서만 인식이 이루어지도록 인식 영역을 생성하고 해당 인식 영역의 범위를 디스플레이에 표시할 수 있다. 이러한 방법의 예로 해당 애플리케이션에서 카메라 센서를 통해 실시간으로 획득되는 프리뷰 영상을 디스플레이하고, 인식할 소정의 고정된 영역의 범위를 직사각형이나 정사각형 형태의 사용자 인터페이스로 표시하는 경우가 있다.
또 다른 예로는 촬영된 사진 이미지에서 터치 스크린 인터페이스를 통해 인식할 특정 영역의 크기와 위치를 조절하는 방식이 있을 수 있다. 일반적으로 이러한 방법은 명함, 바코드 및 QR 코드를 인식하기 위한 전용 애플리케이션에서 이용되므로, 일반적인 카메라 촬영 애플리케이션과는 별도로 존재하는 경우가 많다. 하지만, 이러한 경우 별도의 애플리케이션을 사용자가 직접 구동해야 하며, 메뉴나 아이콘 등이 각각 별개로 존재하므로 사용자가 해당 애플리케이션을 찾아 실행해야하는 불편함이 있을 수 있다.
또 다른 방법으로는 카메라 앱 내부에 해당 인식모듈을 선택하도록 별도의 메뉴나 아이콘 등을 추가하는 형태로 구현할 수도 있다. 이러한 경우에도 해당 메뉴나 아이콘을 선택하기 위해 여러 서브 메뉴 경로를 거쳐야하므로, 사용자가 불편함을 느낄 수 있다.
또한, 획득된 이미지에서 복수 개의 인식대상 객체가 존재하거나 복수 종류의 객체들이 존재하는 경우에 발생한다. 이러한 경우, 사용자가 인식할 객체에 대해 각각 카메라 포즈나 줌 등을 조절하여 촬영한 이미지에서 인식 영역을 지정해야하는 불편함이 있다. 특히 복수 인식모듈 종류로 구성된 복수 개의 인식대상 객체들을 인식하는 경우 이를 처리하기 위해 복수 개의 인식모듈을 순차적으로 구동하거나 사용자 인터페이스를 통해 인식모듈 종류를 지정해야 하므로 연산량이 증대하거나 실시간 인식이 어려워질 수 있다.
본 발명의 다양한 실시 예들은 위에 기술한 문제점을 해소하기 위해 전자장치에서 내의 특정 객체를 인식하기 위한 방법 및 장치를 제공할 수 있다.
본 발명의 다양한 실시 예들은 전자장치에서 이미지 센서의 기본적인 기능에 더하여 정보의 획득을 위하여 이미지 센서로 획득되는 이미지를 해석하고, 정보에 맞는 객체 인식모듈을 실행시키는 방법 및 방법을 제공할 수 있다.
본 발명의 다양한 실시 예들은 전자장치에서 이미지 센서를 통해 획득된 이미지가 디스플레이될 때, 사용자 손가락, 스타일러스펜, 또는 포인팅 장치를 이용한 사용자 제스처를 통해 인식할 객체의 영역과 종류를 판단하고 객체를 인식함으로써, 사용자가 원하는 객체를 빠르고 편리하게 인식하는 방법 및 장치를 제공할 수 있다.
상기한 목적들을 달성하기 위한 본 발명의 다양한 실시 예에 따르면, 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법에 있어서, 적어도 하나 이상의 이미지를 디스플레이하는 동작, 적어도 하나의 제스처를 검출하는 동작, 상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 연관된 인식기능을 선택하는 동작, 상기 선택된 인식기능을 인용하여, 상기 적어도 하나 이상의 객체를 인식하는 동작을 포함할 수 있다.
상기한 목적들을 달성하기 위한 본 발명의 다양한 실시 예에 따르면, 적어도 하나의 프로세서, 적어도 하나의 메모리 및 상기 메모리에 저장되며, 상기 적어도 하나의 프로세서에 의해 실행 가능하도록 구성되는 적어도 하나의 프로그램(program)을 포함하며, 상기 프로그램은, 적어도 하나 이상의 이미지를 디스플레이하고, 적어도 하나의 제스처를 검출하고, 상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 연관된 인식기능을 선택하고, 상기 선택된 인식기능을 인용하여, 상기 적어도 하나 이상의 객체를 인식하는 명령어들을 포함할 수 있다.
상술한 바와 같이, 이미지 센서로부터 획득된 이미지를 처리하는 비슷한 여러 애플리케이션이 수행하는 관련 기능들을 하나의 카메라 애플리케이션에 통합함으로써, 사용자가 촬영기능 이외에 명암, 바코드 또는 QR 코드 인식 같은 다른 기능에 쉽게 접근할 수 있도록 할 수 있다.
또한, 프리뷰 상태에서 터치스크린을 통한 사용자 제스처를 통해 이미지의 특정 영역과 초점을 정의하고 또한 상기 이미지의 특정 영역의 영상 정보를 해석할 인식모듈을 선택하는 방법을 제공함으로써, 사용자 편의를 증대시킬 수 있다.
다양한 실시 예들은 바코드, 2차원 이미지 코드, 얼굴인식, 문자인식뿐만 아니라 인물인식이나 객체인식과 같은 다양한 분야에 적용될 수 있다. 한 예로 카메라 영상의 프리뷰나 촬영된 이미지뿐만 아니라 비디오 파일의 재생 혹은 중지(pause) 등의 상태에서 디스플레이된 이미지를 대상으로 등장인물이나 건물 인식과 같은 서비스를 제공할 수 있다.
본 발명의 다양한 실시 예들은 잡지나 신문 등과 같은 인쇄매체에 여러 상품과 상품명이나 관련 정보에 대한 바코드, 2차원 코드, 텍스트 이미지 등이 있을 때, 원하는 코드나 텍스트, 이미지를 선택하고 이에 대해 정보를 제공하는데 편리함을 제공할 수도 있다.
종래 방법은 화면 중앙부의 가이드와 같은 특정한 인식 위치가 필요하며, 화면에서 특정한 이미지나 인식모듈 종류를 지정하거나 선택하는 것이 어려웠고, 일부의 경우 2개 이상의 인식모듈을 번갈아가면서 구동하는 방법을 사용하므로 연산량이 많아질 수 있다.
본 발명의 다양한 실시 예들은 사용자 제스처 혹은 이에 관련한 지정 영역의 선택 및 패턴 판별에 따라 구동할 인식모듈 종류가 지정되거나 제한되므로 편리하고 빠른 인식 방법을 제공할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 이미지에서 인식영역을 선택하는 사용자 인터페이스를 도시하고 있다.
도 2는 본 발명의 다양한 실시 예에 따른 선택된 인식영역 내의 이미지 내용을 해석하기 위한 인식모듈을 구동하는 사용자 인터페이스를 도시하고 있다.
도 3은 본 발명의 다양한 실시 예에 따른 프리뷰 상태에서 인식영역을 선택하여 상기 선택된 인식영역 내의 이미지 내용을 해석하기 위한 인식모듈을 구동하는 사용자 인터페이스를 도시하고 있다.
도 4는 본 발명의 다양한 실시 예에 따른 명암 내의 QR 코드를 인식하여 상기 QR 코드에 대응하는 정보를 제공하는 예를 도시하고 있다.
도 5는 본 발명의 다양한 실시 예에 따른 전자장치에서 이미지 내용을 인식하기 위한 흐름도를 도시하고 있다.
도 6은 본 발명의 다양한 실시 예에 따른 전자장치에서 이미지 내용을 인식하기 위한 흐름도를 도시하고 있다.
도 7은 본 발명의 다양한 실시 예에 따른 뉴스 기사 내의 특정 URL(Uniform Resource Locator) 주소를 인식하여 웹 브라우저를 통해 상기 URL주소에 대응하는 사이트로 진입하는 예를 도시하고 있다.
도 8은 본 발명의 다양한 실시 예에 따른 이미지로 내의 특정 문자를 인식하여, 상기 인식 결과와 관련된 다수의 애플리케이션을 디스플레이하는 예를 도시하고 있다.
도 9는 본 발명의 다양한 실시 예에 따른 바코드 또는 QR 코드를 인식하여, 상기 인식 결과와 관련된 다수의 애플리케이션을 디스플레이하는 예를 도시하고 있다.
도 10은 본 발명의 다양한 실시 예에 따른 전자장치에서 이미지 내용을 인식하여 관련 애플리케이션을 실행하기 위한 흐름도를 도시하고 있다.
도 11은 본 발명의 다양한 실시 예에 따른 이미지 내에서 복수의 객체를 선택하여 해당 인식모듈을 구동하는 사용자 인터페이스를 도시하고 있다.
도 12는 본 발명의 다양한 실시 예에 따른 이미지 내에서 복수의 객체를 선택하여 해당 인식모듈을 구동하기 위한 흐름도를 도시하고 있다.
도 13은 본 발명의 다양한 실시 예에 따른 카메라의 프리뷰 상태에서 이미지 내용을 인식하기 위한 흐름도를 도시하고 있다.
도 14는 본 발명의 다양한 실시 예에 따른 정보를 포함하는 코드의 종류를 도시하고 있다,
도 15는 본 발명의 다양한 실시 예에 따른 사용자 제스처에 기반하여 QR코드를 인식하는 예를 도시하고 있다.
도 16은 본 발명의 다양한 실시 예에 따른 사용자 제스처에 기반하여 데이터 매트릭스(data matrix) 을 인식하는 예를 도시하고 있다.
도 17은 본 발명의 다양한 실시 예에 따른 사용자 제스처에 기반하여 PDF 417 혹은 바코드를 인식하는 예를 도시하고 있다.
도 18은 본 발명의 다양한 실시 예에 따른 전자 장치에 대한 블록도를 도시하고 있다.
도 19는 본 발명의 다양한 실시 예에 따른 하드웨어 블록도를 도시하고 있다.
도 20은 본 발명의 다양한 실시 예에 따른 프로그래밍 모듈의 블록도를 도시하고 있다.
이하 본 발명의 다양한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명의 다양한 실시 예는 전자장치에서 이미지 내용을 인식하기 위한 방법 및 장치에 관해 설명하기로 한다.
도 1은 본 발명의 다양한 실시 예에 따른 이미지에서 인식영역을 선택하는 사용자 인터페이스를 도시하고 있다.
상기 도 1을 참조하면, 이미지에서 바코드 영역(a) 또는 QR코드 영역(b)이 사용자에 의해 터치되어 선택될 수 있다. 예를 들어, 터치된 위치와 가장 인접한 객체 또는 적어도 터치된 위치의 일부분을 포함하는 객체가 선택될 수 있다. 다양할 실시 예에서, 선택된 객체주변으로 사각형 박스(110)가 활성화되어 표시될 수 있고, 상기 사각형 박스는 사용자에 의해 크기가 더 조절될 수 있다. 객체가 선택되었음을 지시하는 사각형 박스(110)는 하나의 예로써, 본 다양한 실시 예에서 사각형 박스로 제한되지 않으며 다양한 모양의 도형으로 나타날 수도 있다. 상기 이미지는 이미지 센서를 통해 획득된 프리뷰 화면이거나 메모리에 기저장된 이미지(혹은 동영상, 사진)일 수 있다.
다양한 실시 예에서, 터치 혹은 탭 입력 대신에 호버링(hovering), 드래그, 스위핑 등의 입력으로 객체영역이 선택될 수 있다.
미도시된 또 다른 실시 예에서, 카메라가 장착된 HMD(Head Mounted Display)나 속이 비치는(see-through)형 아이글래스와 같은 경우에는 촬상장치를 통해 입력된 영상이 눈 앞에 장착된 디스플레이를 통해 표시되므로 객체의 선택은 터치장치가 아닌 손이나 손가락의 제스처나 움직임을 이용하여 판별할 수도 있다. 이를 위해 상기 혹은 별도 카메라나 손에 장착된 자이로 센서, 가속도 센서 등에서 손가락 혹은 손의 제스처를 감지하고, 해당 제스처에 따라 대응하는 객체 영역이 선택될 수 있다. 예를 들어 해당 물체와 HMD 사이에 위치하는 손가락의 제스처가 특정 물체 위에서 발생하면 카메라를 통해 손가락 제스처와 위치를 판별할 수 있으며, 또한 해당 위치에 존재하는 특정 물체의 영역을 인식할 수 있다. 어떠한 물체를 손가락이 가리킨 후 동그라미 제스처를 취하거나 손가락을 위아래로 흔들어 표시한다면, 해당 영역에 최소 일부가 위치한 객체의 영역를 지정할 수 있다. 혹은 특정 물체를 손가락 끝으로 가리키며 일정 시간 이상 유지시에, 손가락 끝 방향에 위치하거나 손가락과 인접하거나 혹은 최소한 일부 영역이 오버랩된 객체를 인식하고 이 객체의 영역을 선택하는 동작을 수행할 수도 있다. 이때, 특정 객체와 손가락은 반드시 물리적으로 접촉할 필요가 없으며, 손가락 끝 이미지가 가리키는 가장 인접한 객체 이미지 혹은 손가락 이미지가 해당 객체 이미지의 최소한 일부 영역과 접촉하거나 가림으로써 해당 객체가 무엇인지를 판별할 수도 있다. 다만, 객체 이미지를 가린 경우에는 가리기 이전의 입력된 이미지를 사전에 저장하고, 이에서 해당 객체 이미지를 메모리 상에서 복원함으로써 해당 객체 이미지의 영역을 확인할 수도 있다. 또 다른 예로는 해당 제스처 발생시 객체 선택 동작임을 인식하고, 제스처가 종료되고 해당 객체 영역에서 손가락이나 손의 이미지가 벗어나면, 객체 영역을 판별할 수도 있다.
이러한 객체영역이 선택되면, 해당 객체영역이 선택되었음을 그래픽, 사운드, 음성, 햅틱 피드백을 통해 사용자에게 알릴 수도 있다.
도 2는 본 발명의 다양한 실시 예에 따른 선택된 인식영역 내의 객체를 해석하기 위한 인식모듈을 구동하는 사용자 인터페이스를 도시하고 있다. 여기서, 인식모듈은 바코드, QR 코드, 문자 같은 객체를 인식하기 위한 모듈로써, 소프트웨어 혹은 하드웨어로 구현될 수 있다. 이하 객체 인식모듈이라 칭하기로 한다.
상기 도 2를 참조하면, 상기 도 1에서 선택되는 바코드 영역 혹은 QR 코드 영역을 해석하기 위한 객체 인식모듈을 구동하는 예를 도시하고 있다.
예를 들어, 상기 도 1의 (a)에서 사용자 터치 입력에 의해 바코드 영역이 선택된 후, 터치 후 좌측에서 우측으로 드래그하는 사용자 제스처(이하 스와이프 동작이라 칭함)가 검출되면, 해당 객체 인식모듈(또는 바코드 인식모듈)이 구동되어 바코드가 인식될 수 있다.
이때, 스와이프 동작 같은 사용자 제스처는 하나의 실시 예로 본 다양한 실시 예에서 제안되지 않으며 환경 설정을 통해 사용자에 의해 다양하게 정의될 수 있다.
또한, 다수 사용자 제스처와 다수 객체 인식모듈은 매핑되어, 사용자 제스처에 대응하는 객체 인식모듈이 바로 실행될 수 있다.
다른 다양한 실시 예에서, 사용자 제스처는 객체 인식모듈 구동을 위한 명령으로 사용되고, 어떤 객체 인식모듈을 이용할지는 자동으로 객체 종류를 분석하여 해당 객체 인식모듈을 선택한 후에 구동시킬 수 있다. 하기 도 15 내지 하기 도 17에서 객체 종류를 판단하는 예를 참고하기로 한다.
일반적으로, 바코드, 명함, 2차원 코드 인식 등의 경우 이미지의 선명도에 따라 인식성능이 영향을 받을 수 있기 때문에, 선택된 객체 영역을 중심으로 초점을 맞추어 사용자 제스처를 인식하면 더 좋은 인식률을 기대할 수 있다. 이를 위해, 객체 영역이 선택될 때 동시에 선택된 객체를 중심으로 초점이 맞추어져 객체 인식이 수행될 수 있다. 다양한 실시 예로, 자동 혹은 수동으로 특정 영역에 초점이 맞추어지는 경우 초점이 맞춰진 부분에서 일정 영역 안에 사용자 제스처를 위한 입력 가능한 영역이 생성되며, 최소한 해당 영역의 일부분을 포함하는 영역에서 바코드를 인식하기 위한 소정의 사용자 제스처가 입력될 경우, 바코드 혹은 QR 코드를 인식하고 소정의 연관 기능을 수행할 수 있다.
도 3은 본 발명의 다양한 실시 예에 따른 프리뷰 상태에서 인식영역을 선택하여 상기 선택된 인식영역 내의 이미지 내용을 해석하기 위한 인식모듈을 구동하는 사용자 인터페이스를 도시하고 있다.
도 3의 (a)을 참조하면, 이미지 센서로부터 획득된 이미지에서 QR 코드 영역이 사용자 터치에 의해 선택될 수 있다. 이때, QR 코드 영역을 중심으로 초점이 맞추어질 수 있다.
다양한 실시 예에 따라, 이미지 센서로부터 획득된 이미지에서 QR 코드가 자동으로 선택되어 초점이 맞추어질 수 있다. 다시 말해, 사용자 터치 입력 없이, 프리뷰 상태에서 QR 코드를 포함한 객체영역이 설정될 수 도 있다.
도 3의 (b)을 참조하면, 이미지 내의 선택된 QR 코드 영역에서 터치가 L형태로 드래그되는 사용자 제스처에 따라, QR 코드를 인식하기 위한 인식모듈이 구동될 수 있다. 즉, 상기 L형태의 사용자 제스처는 QR 코드 인식모듈로 구동할 필요가 있음을 암시하고 있다.
여기서, QR코드 인식모듈은 상기 사용자 제스처에 매핑되어 있어서, 사용자 제스처 입력시 바로 QR코드 인식모듈이 구동될 수 있다.
다양한 실시 예에 따라, 선택된 객체영역 내의 객체 종류가 판단되고 사용자 제스처에 의해 판단된 객체 인식모듈이 구동될 수 있다.
도 4는 본 발명의 다양한 실시 예에 따른 명암 내의 QR 코드를 인식하여 상기 QR 코드에 대응하는 정보를 제공하는 예를 도시하고 있다.
상기 도 4의 (a)를 참조하면, 이미지 센서를 통해 디스플레이에 명함이 프리뷰되어, 상기 도 1 내지 상기 도 3에서 설명한 바와 같이, 객체영역이 지정되어 QR 코드가 인식될 수 있다.
상기 도 4의 (b)를 참조하면, 상기 도 4의 (a)에서 명함에 있는 QR 코드가 인식될 때, QR 코드에 포함된 정보가 추출되어 디스플레이에 제공될 수 있다. 예를 들어, 이름, 회사명, 연락처, 이메일, 주소, 홈페이지 등의 정보가 디스플레이될 수 있다.
도 5는 본 발명의 다양한 실시 예에 따른 전자장치에서 이미지 내용을 인식하기 위한 흐름도를 도시하고 있다.
상기 도 5를 참조하면, 전자장치는 500동작에서 이미지를 디스플레이를 통해 표시할 수 있다. 상기 이미지는 이미지 센서를 통해 획득되어 프리뷰되어 제공되는 영상이거나, 메모리에 기저장되어 있는 사진 혹은 동영상일 수 있다.
전자장치는 502동작에서 적어도 하나 이상의 사용자 제스처를 검출할 수 있다.
예컨대, 제1 사용자 제스처를 통해, 상기 이미지에서 일부 영역이 객체영역으로 지정되고, 제2 사용자 제스처를 통해, 상기 지정된 객체영역을 분석하기 위한 객체 인식모듈이 선택될 수 있다. 예를 들어, 상기 제1 사용자 제스처는 상기 객체영역에 인접한 혹은 상기 객체영역 내에서 검출되는 터치이고, 상기 제2 사용자 제스처는 해당 객체 인식모듈과 매핑되며 사용자 터치 패턴 입력에 의해 정의될 수 있다.
다양한 실시 예에서, 상기 제1 사용자 제스처 없이 자동으로 객체영역이 지정될 수 있다. 예컨대, 객체의 형상, 크기, 위치, 색상, 패턴밀도 등을 기준으로 객체영역이 자동으로 지정될 수 있다.
다양한 실시 예에서, 상기 제2 사용자 제스처는 단순히 객체 인식모듈 구동을 지시하는 명령어로 사용될 수 있으며, 이러한 경우 전자장치는 소정 기준으로 상기 지정된 객체영역의 객체에 대한 종류를 판단할 수 있다.
다양한 실시 예에서, 하나의 사용자 제스처를 통해 객체영역 지정 및 객체 인식모듈이 결정될 수도 있다. 예컨대, 객체영역을 중심을 사각형 모양으로 사용자 제스처가 입력되면, 사각형 크기가 객체영역이 되며 사각형은 제1 객체 인식모듈임을 나타낼 수 있다. 만약 객체영역을 중심을 원 모양으로 사용자 제스처가 입력되면, 원 크기가 객체영역이 되며 원은 제2 객체 인식모듈임을 나타낼 수 있다.
다양한 실시 예에서, 전자장치는 추가로 상기 지정된 객체영역을 기준으로 영상을 개선시키는 동작을 수행할 수 있다. 예컨대, 상기 이미지가 프리뷰 이미지인 경우, 상기 지정된 객체 영역을 기준으로 초점을 맞추고 이에 따라 화질이 개선된 신규 이미지를 획득할 수 있다. 또는 이미지의 밝기, 선명도, 대비(contrast), 또는 노출 기준으로 화질을 개선할 수도 있다.
전자장치는 504동작에서 적어도 하나 이상의 사용자 제스처에 따라 객체 인식모듈을 선택하고, 506동작에서 선택된 객체 인식모듈을 이용하여 상기 이미지 내의 지정된 객체영역을 분석하고, 508동작에서 분석결과를 디스플레이할 수 있다.
다양한 실시 예에서, 전자장치는 상기 이미지 내의 지정된 객체영역을 분석하기 전에, 적어도 하나의 추천 객체 인식모듈 모듈을 디스플레이할 수도 있다.
또 다른 다양한 실시 예에서, HMD나 아이글래스 등의 웨어러블 디스플레이 장치에서는 카메라 혹은 손이나 손가락에 장착한 제스처 감지 장치에 의해 사용자의 입력을 인식함으로써 상기 실시 예들을 구현할 수도 있다.
도 6은 본 발명의 다양한 실시 예에 따른 전자장치에서 이미지 내용을 인식하기 위한 흐름도를 도시하고 있다.
상기 도 6을 참조하면, 전자장치는 600동작에서 이미지를 디스플레이를 통해 표시할 수 있다. 상기 이미지는 이미지 센서를 통해 획득되어 프리뷰되어 제공되는 영상이거나, 메모리에 기저장되어 있는 사진 혹은 동영상일 수 있다.
전자장치는 602동작에서 상기 이미지에서 적어도 하나 이상의 객체 영역을 지정할 수 있다.
예를 들어, 상기 이미지에서 소정의 기준에 의하여 상기 객체 영역의 경계 혹은 범위가 자동으로 지정될 수 있다. 여기서, 상기 소정의 기준은 상기 이미지에 배치된 하나 이상의 객체의 크기, 위치, 패턴 밀도 중 하나 이상에 기반할 수 있다. 또한, 상기 소정의 기준은 촬상장치와 가장 근접한 전경의 객체이거나 가장 큰 객체인 것을 인식하여 객체 영역을 중심으로 초점이 맞추어질 수 있다.
만약, 이미지에서 복수의 객체 영역들을 인식하는 경우에 일정 시간 간격으로 순차적으로 초점을 맞추어 처리할 수도 있다.
다양한 실시 예에서, 이미지에서 객체 영역은 사용자 입력(또는 제1 사용자 제스처)에 의해 지정될 수 있다. 예컨대, 상기 객체 영역은 터치된 위치와 가장 인접한 객체 혹은 최소한 터치된 위치를 포함하는 객체의 영역으로 지정될 수 있다.
다양한 실시 예에서, 전자장치는 추가로 상기 지정된 객체 영역을 기준으로 영상을 개선시키는 동작을 수행할 수 있다. 예컨대, 상기 이미지가 프리뷰 이미지인 경우, 상기 지정된 객체 영역을 기준으로 초점을 맞추고 이에 따라 화질이 개선된 신규 이미지를 획득할 수 있다. 또는 이미지의 밝기, 선명도, 대비(contrast), 또는 노출 기준으로 화질을 개선시킬 수도 있다.
전자장치는 604동작에서 상기 이미지의 선택된 객체영역 내에서 제2 사용자 제스처 입력신호를 검출하여, 적어도 하나 이상의 관련 객체 인식모듈 모듈을 디스플레이할 수 있다.
예컨대, 사용자 제스처 패턴(예: 스와이프 동작, L형태의 터치입력 등등)을 검출하여, 검출된 사용자 제스처의 패턴에 매핑된 적어도 하나의 객체 인식모듈 목록을 디스플레이할 수 있다.
이를 위해, 전자장치는 입력된 사용자 제스처의 패턴정보와 기저장된 사용자 제스처 패턴 정보와 일치율을 계산하고, 일치율이 일정 이상인 하나 이상의 후보 패턴에 연관된 하나 이상의 객체 인식모듈(예: 문자 인식모듈, 바코드 인식모듈, 얼굴 인식모듈)을 결정할 수 있다.
다른 다양한 실시 예에서, 상기 제2 사용자 제스처 입력신호에 따라, 상기 객체영역의 종류를 판단하여, 객체 종류에 따라 객체 인식모듈이 결정될 수도 있다.
전자장치는 606동작에서 사용자 입력에 따라 적어도 하나 이상의 인식모듈 중 하나를 선택할 수 있다.
전자장치는 608동작에서 선택된 객체 인식모듈을 이용하여 상기 이미지의 객체영역을 분석하고, 610동작에서 분석결과를 디스플레이할 수 있다.
다양한 실시 예에서, 검출된 객체 영역이 다수인 경우, 하나의 제2 사용자 제스처에 의해 해당 객체 영역들의 객체들에 대해 동일한 동작(602동작 내지 610동작)이 각각 수행될 수 있다.
상기 다양한 실시 예에서, 제2 사용자 제스처는 상기 검출된 객체 영역 이외에서 검출될 수도 있다. 예를 들어, 상기 검출된 객체 영역이 하나 이상 있고, 해당 다른 객체 영역들이 모두 바코드인 경우, 상기 검출된 객체 영역 이외의 다른 영역에서 사용자 제스처 입력이 바코드 인식 명령임을 의미하면, 검출된 객체 영역들의 바코드들에 대한 디코딩 명령이 수행되고, 그 결과가 디스플레이에 표시될 수 있다.
또 다른 다양한 실시 예에서, 관련된 적어도 하나의 객체 인식모듈 목록을 디스플레이하여 객체 인식모듈 목록 중 하나를 선택하는 동작 없이, 상기 제2 사용자 제스처에 따라 바로 관련 객체 인식모듈이 구동되어 상기 검출된 객체 영역이 분석될 수 있다.
상기 도 6은 제1 사용자 제스처에 의해 객체영역이 지정되고 제2 사용자 제스처에 의해 상기 객체영역을 인식할 객체 인식모듈이 선택되어 구동되었으나 하나의 사용자 제스처를 통해 객체영역 지정과 객체 인식모듈 선택이 수행될 수도 있다. 즉, 사용자 제스처 입력신호가 입력되면, 사용자 제스처 입력 신호가 발생한 이미지의 위치를 기반으로 상기 객체영역이 지정되며 상기 객체영역의 종류가 판단되어 그 결과에 대응하는 객체 인식모듈이 선택되어 구동될 수 있다.
또 다른 다양한 실시 예로는 지정된 객체 인식모듈과 관련한 다양한 사용자 인터페이스를 제공할 수 있다. 즉, 사용자 제스처에 의해 지정된 객체가 인식되었을 때, 혹은 사용자 제스처의 패턴이 인식되었을 때, 분석결과와 관련해서 다양한 서비스가 제공될 수 있다.
예를 들어, 하기 도 7에서처럼, 신문, 잡지와 같은 지면에 광고가 있는 경우, 광고 내용중에 URL(Uniform Resource Locator) 주소 정보가 있다면, 이는 다양한 방법으로 표시될 수 있다. 해당 URL이 간단한 텍스트로 표시될 수도 있고 복잡한 URL인 경우 QR코드나 바코드 형태로 제공될 수도 있다. 문자, 바코드, 2차원 이미지 코드 등으로 표시된 객체를 이미지 센서를 통해 획득되어 사용자 제스처를 통해 객체 인식모듈이 지정된 경우, 단순히 객체를 인식만 하는 것이 아니라 다양한 연관된 애플리케이션을 제공할 수도 있다.
예컨대, 해당 객체를 디코딩했을 때 정보가 URL의 형태를 가진 경우에는 브라우저, 전화번호 및 주소 등의 정보가 포함된 것으로 판단된 경우에는 전화 애플리케이션이나 메일 작성 애플리케이션과 같은 관련 애플리케이션을 구동하거나 사용자 인터페이스에 의해 선택하도록 할 수도 있다. 지정되거나 인식된 객체에는 하나 이상의 정보 종류가 포함될 수 있으며, 하나 이상의 관련 애플리케이션이 지정되거나 구동될 수도 있다.
일반적으로 객체 인식모듈이 구동되어 정보를 인식한 후, 관련 애플리케이션이 구동되거나 선택할 수 있도록 사용자 인터페이스 형태로 디스플레이에 표시될 수 있으나, 반드시 객체 인식모듈이 수행되지 않을 수 있다. 사용자 제스처에 의해 객체 인식모듈이 지정된 경우에도 객체 인식모듈을 수행하지 않고도, 하나 이상의 관련 애플리케이션들이 제공될 수 있다. 예컨대, URL 정보는 문자 정보에 해당하며, 웹 브라우저를 통해 사이트에 접속할 때 이용될 수 있지만, 단순히 메모리에 복사해 둔 후 다른 애플리케이션에 붙여넣기를 위한 정보로 사용될 수도 있다. 따라서, 인식할 객체가 문자라고 판별되면, 문자 인식모듈을 구동하는 동작은 관련 애플리케이션 실행이나 애플리케이션 목록 디스플레이 한 후에 수행될 수도 있다.
다양한 실시 예에서, 하기 도 8과 같이 바코드 또는 QR 코드 인식모듈을 통해 바코드 또는 QR 코드를 분석한 후 관련 애플리케이션을 디스플레이할 수도 있다.
도 7은 본 발명의 다양한 실시 예에 따른 뉴스 기사 내의 특정 URL 주소를 인식하여 웹 브라우저를 통해 상기 URL주소에 대응하는 사이트로 진입하는 예를 도시하고 있다.
상기 도 7의 (a)를 참조하면, 상기 도 5 혹은 상기 도 6의 이미지 내용을 인식하기 위한 방법에 기반하여, 이미지에서 문자 객체(예컨대, URL 주소 정보)가 지정되어 문자 인식모듈(예: Optical Character Reader(OCR)이 선택된 후 상기 문자 인식모듈을 통해 상기 객체영역의 내용이 분석되는 예를 나타내고 있다.
상기 도 7의 (b)를 참조하면, 상기 도 7의 (a)의 분석결과에 대응하는 출력을 나타내고 있다. 예컨대, 상기 도 7의 (a)에서 "www.samsung.com" URL 주소가 인식될 때, 웹 브라우저를 통해 www.samsung.com에 대응하는 사이트를 접속할 수 있다.
도 8은 본 발명의 다양한 실시 예에 따른 이미지 내의 특정 문자를 인식하여, 상기 인식 결과와 관련된 다수의 애플리케이션을 디스플레이하는 예를 도시하고 있다.
상기 도 8을 참조하면, 복수 영화 포스터들의 이미지 센서를 통해 프리뷰될 때, 객체영역이 지정되고 문자 인식모듈이 선택된 후, 문자 인식모듈의 분석결과에 기반하여 관련 애플리케이션 목록(820)이 디스플레이될 수 있다. 이때, 사용자는 애플리케이션 목록에 어느 하나의 애플리케이션을 실행할 수 있다.
예를 들어, 문자인식을 위한 사용자 제스처가 터치스크린 위에 원을 그리는 동작으로 정의된 경우, 사용자는 프리뷰 상태에서 해당 객체영역('New York' 단어)에 원(810)을 그릴 수 있다. 이때, 전자장치는 터치 패널로 인가된 사용자 제스처를 검출한 후, 상기 사용자 제스처가 이미지에서 문자를 추출하라는 제스처임을 인지할 수 있고, 상기 사용자 제스처로 지정된 객체영역(810)의 이미지를 잘라내어(CROP) 잘라진 이미지에서 문자('New York')를 추출할 수 있다. 일반적으로, 이미지 센서로 피사체를 촬영하는 경우 초점을 맞추는 과정이 포함될 수 있는데, 특정 사용자 제스처가 특정 객체 영역에서 입력된 경우 전자장치는 초점 영역을 상기 사용자 제스처가 입력된 지점으로 할 수 있다. 이때, 상기 사용자 제스처에 따른 객체영역의 넓이는 상기 사용자 제스처에 따라 다를 수 있으며, 사진 셔터 키가 인가되지 않더라도 피사체의 초점이 맞는 경우 객체영역에서 문자 정보가 추출되어 사용자에게 제공될 수 있다. 또한, 객체영역에서 문자가 추출된 경우, 해당 문자를 처리할 수 있는 애플리케이션들의 목록이 나타날 수 있다. 다양한 실시 예에서, 특정 애플리케이션이 선택될 때 해당 문자를 처리할 수 있는 애플리케이션이 실행될 수 있다. 예를 들면 "New York" 이라는 문자가 지정되고 초점이 맞추어지면 문자 인식모듈(예: OCR)이 동작하며, 애플리케이션 목록 중 메모 애플리케이션이 선택되면 'New York' 단어가 메모 애플리케이션을 통해 저장될 수 있다.
다양한 실시 예에서, 이미지의 내용이 처리가 완료된 경우 카메라 앱은 일반 촬영 모드로 돌아갈 수도 있다.
도 9는 본 발명의 다양한 실시 예에 따른 바코드 또는 QR 코드를 인식하여, 상기 인식 결과와 관련된 다수의 애플리케이션을 디스플레이하는 예를 도시하고 있다.
상기 도 9의 (a)를 참조하면, 프리뷰 상태에서 이미지의 특정 영역에 있는 바코드 혹은 QR 코드를 인식하는 예를 도시하고 있다. 상기 도 9의 (a)에서 바코드 또는 QR 코드가 선택될 수 있다.
상기 도 9의 (b)를 참조하면, 상기 도 9의 (a)에서 인식된 바코드에 관련 애플리케이션들의 목록을 디스플레이하는 예를 도시하고 있다. 예를 들어, 인식된 바코드 혹은 QR 코드에 포함된 정보에 이메일, 전화번호, 홈페이지 정보 등이 있을 때, 그와 관련된 애플리케이션들(예: 바코드, 인터넷, 메시지, 이메일, 메모, 전화 애플리케이션)이 디스플레이될 수 있다.
상기 도 9의 (c)를 참조하면, 상기 도 9의 (a)에서 인식된 QR 코드에 관련 애플리케이션들의 목록을 디스플레이하는 예를 도시하고 있다. 예를 들어, 인식된 QR 코드에 대응하는 인터넷 및 전화 애플리케이션들이 디스플레이될 수 있다.
도 10은 본 발명의 다양한 실시 예에 따른 전자장치에서 이미지 내용을 인식하여 관련 애플리케이션을 실행하기 위한 흐름도를 도시하고 있다.
상기 도 10을 참조하면, 전자장치는 1000동작에서 이미지를 디스플레이를 통해 표시할 수 있다. 상기 이미지는 이미지 센서를 통해 획득되어 프리뷰되어 제공되는 영상이거나, 메모리에 기저장되어 있는 사진 혹은 동영상일 수 있다.
전자장치는 1002동작에서 적어도 하나 이상의 사용자 제스처를 검출할 수 있다. 예컨대, 제1 사용자 제스처를 통해, 상기 이미지에서 일부 영역이 객체영역으로 지정되고, 제2 사용자 제스처를 통해, 상기 지정된 객체영역을 분석하기 위한 객체 인식모듈이 선택될 수 있다. 예를 들어, 상기 제1 사용자 제스처는 상기 객체영역에 인접한 혹은 상기객체영역 내에서 검출되는 터치이고, 상기 제2 사용자 제스처는 해당 객체 인식모듈과 매핑되며 사용자 터치 패턴 입력에 의해 정의될 수 있다.
다양한 실시 예에서, 상기 제2 사용자 제스처는 객체 인식모듈 구동을 지시하는 명령어로 사용될 수 있으며, 이러한 경우 전자장치는 소정기준으로 객체영역의 종류를 판단할 수 있다. 예컨대, 하기 도 15 내지 하기 도 17과 같이, 해당 코드의 특성을 이용하여 코드 종류를 판단할 수 있다.
다양한 실시 예에서, 하나의 사용자 제스처를 통해 객체영역 지정 및 객체 인식모듈이 결정될 수도 있다. 예컨대, 객체영역을 중심을 사각형 모양으로 사용자 제스처가 입력되면, 사각형 크기가 객체영역이 되며 사각형은 제1 객체 인식모듈임을 나타낼 수 있다. 만약 객체영역을 중심을 원 모양으로 사용자 제스처가 입력되면, 원 크기가 객체영역이 되며 원은 제2 객체 인식모듈임을 나타낼 수 있다.
다양한 실시 예에서, 전자장치는 추가로 상기 지정된 객체 영역을 기준으로 영상을 개선시키는 동작을 수행할 수 있다. 예컨대, 상기 이미지가 프리뷰 이미지인 경우, 상기 지정된 객체 영역을 기준으로 초점을 맞추고 이에 따라 화질이 개선된 신규 이미지를 획득할 수 있다. 또는 이미지의 밝기, 선명도, 대비(contrast), 또는 노출 기준으로 화질을 개선할 수도 있다.
전자장치는 1004동작에서 적어도 하나 이상의 사용자 제스처에 따라 객체 인식모듈을 선택하고, 1006동작에서 선택된 객체 인식모듈을 이용하여 상기 이미지 내의 적어도 일부 객체영역을 분석하고, 1008단계에서 분석결과에 기반하여 관련 애플리케이션들을 디스플레이할 수 있다.
전자장치는 1010동작에서 관련 애플리케이션들 중 하나가 선택될 시, 1012동작으로 진행하여 선택된 관련 애플리케이션을 실행할 수 있다.
도 11은 본 발명의 다양한 실시 예에 따른 이미지 내에서 복수의 객체를 선택하여 해당 인식모듈을 구동하는 사용자 인터페이스를 도시하고 있다.
상기 도 11을 참조하면, 하나의 이미지에 서로 다른 다양한 종류의 객체(명함(1102), 제품1(1000), 제품2(1004))가 위치할 때, 동일한 사용자 제스처, 즉, 객체영역의 좌측 위에서 우측 아래로 터치를 드래그하여 각각의 객체에 대응하는 객체 인식모듈이 구동될 수 있다. 이미지 영역에서 각각의 객체를 인식하기 위한 객체 영역의 범위를 제한함으로써 영상처리를 위한 연산량과 메모리 사용량을 줄일 수 있다.
여기서, 각각의 객체영역에 대응하는 객체 인식모듈은 이미지 처리 또는 패턴분석을 통해 판단될 수 있다.
예를 들어, 상기 도 11과 같이 사용자 제스처가 사선인 경우, 사선의 시작지점은 지정할 객체영역의 좌측 상단이 되고, 사선의 종료 지점은 상기 객체영역의 우측 하단으로 인식할 수 있다. 또 다른 다양한 실시 예로 인식할 객체영역에 해당 객체가 포함되도록 하는 사용자 제스처(예: 사각형 모양, 원 모양)가 이용될 수도 있다. 또는 상기 사용자 제스처는 터치가 될 수 있으며 상기 터치는 객체 주변 혹은 안쪽일 수 있다. 터치가 객체 안쪽에 존재할 경우에는 패턴의 밀집도, 패턴의 모양, 패턴의 경계선, 패턴의 잉여여백, 색상 분포 등을 확인하여 객체를 포함하는 영역을 지정할 수 있다.
객체영역 지정시, 지정된 영역에서 객체를 구성하는 패턴 분포나 패턴의 모양 및 빈도, 색상, 밝기 정보 등을 이용함으로써 해당 객체의 종류가 무엇인지 판별할 수 있다. 또는 객체 인식모듈이나 혹은 다른 기능 지정을 위해 사용자 제스처가 입력될 때, 입력 좌표들에 대응하는 이미지 패턴을 조사함으로써 인식모듈을 지정할 수도 있다. 즉, 사용자 제스처 입력을 일종의 이미지의 픽셀정보를 분석하기 위한 스캔 라인으로서 이용하는 방법이다. 예를 들면, 바코드나 2차원 이미지 코드에 포함된 패턴 정보(예: finer pattern, 시작과 종료 패턴, 정렬(alignment) 패턴)는 코드의 위치, 방향, 기울임 등의 정보를 나타내는 식별기호로서 사용되며, 이러한 패턴은 소정의 기준에 따라 정의므로 패턴 정보를 통해 해당 코드의 종류를 판단할 수 있다. 상기 도 11과 같이 사용자 제스처가 사선으로 드래그될 때 바코드의 패턴의 경우 시작 패턴과 종료 패턴을, 즉 흑색 막대와 흰색 막대의 너비들의 비율을 인식할 수 있으므로 쉽게 바코드 형태의 객체임을 판별할 수 있다. 명함의 QR 코드의 경우에도 사용자 제스처의 사선이 QR 코드 이미지의 여러 패턴들을 경유하는데, 해당 패턴 중 Finger 패턴을 경유하는 경우에는 흑색과 흰색, 혹은 명도차가 1:1:3:1:1의 비율로 입력되므로 쉽게 QR 코드임을 인식할 수 있다.
도 12는 본 발명의 다양한 실시 예에 따른 이미지 내에서 복수의 객체를 선택하여 해당 인식모듈을 구동하기 위한 흐름도를 도시하고 있다.
상기 도 12를 참조하면, 전자장치는 1200동작에서 이미지를 디스플레이를 통해 표시할 수 있다. 상기 이미지는 이미지 센서를 통해 획득되어 프리뷰되어 제공되는 영상이거나, 메모리에 기저장되어 있는 사진 혹은 동영상일 수 있다.
전자장치는 1202동작에서 사용자 제스처에 따라 상기 이미지에서 객체영역을 선택하고 1204동작에서 상기 객체영역에 대응하는 객체 인식모듈을 결정하고, 1206단계에서 결정된 객체 인식모듈을 이용하여 상기 이미지 내의 객체영역을 분석하고, 1208동작에서 분석결과를 디스플레이할 수 있다.
전자장치는 1210동작에서 사용자 제스처에 의해 이미지에서 다른 객체영역을 검출될 시, 1202동작 내지 1208동작을 반복적으로 수행될 수 있다.
다양한 실시 예에서, 다수의 객체영역이 지정된 후에 다수의 객체영역에 대응하는 객체인식모듈이 선택되어 병렬로 분석처리될 수 있다.
도 13은 본 발명의 다양한 실시 예에 따른 카메라의 프리뷰 상태에서 이미지 내용을 인식하기 위한 흐름도를 도시하고 있다.
상기 도 13을 참조하면, 전자장치는 1300동작에서 카메라 앱을 구동하고 1302동작에서 프리뷰 화면을 디스플레이하고 1304동작에서 자동초점을 맞출 수 있다.
전자장치는 1306동작에서 프리뷰 화면에 터치입력을 수신하고, 1308동작에서 터치입력이 사용자 제스처인지를 판단할 수 있다.
1308동작에서 터치입력이 상기 사용자 제스처인 경우, 1310동작에서 상기 사용자 제스처를 분석하고, 1312동작에서 사용자 제스처에 일치하는 인식모듈을 선택하고 해당 객체영역에 초점에 맞출 수 있다.
여기서, 사용자 제스처 분석을 통해, 인식할 객체영역 및 객체인식모듈이 선택될 수 있다.
상기 사용자 제스처를 통해, 최소한 객체가 포함되는 영역이 지정되면 이를 기반으로 객체의 패턴 또는 패턴 배열 상태 등을 분석하여, 객체를 인식하는데 필요한 범위를 인식할 수 있다. 예를 들어, 자동으로 객체영역이 지정되는 경우 객체의 형상, 크기, 위치, 색상, 패턴의 밀도 등을 기준으로 이미지 내에서 인식할 객체영역을 찾을 수 있다. 대표적인 경우가 사진이나 프리뷰 이미지에서 얼굴 영역을 인식하는 것으로서 주로 색상을 이용하여 얼굴 영역 후보들을 찾고, 이 영역에서 눈썹, 눈, 입 등의 위치 정보를 기반으로 얼굴인지 여부를 판별할 수 있다. 바코드 혹은 QR코드 영역의 경우, 이미지에서 스캔라인(scan line)을 통해서 바코드나 2차원 이미지 코드 등의 특정한 패턴을 찾은 후 이를 이용하여 코드의 위치와 영역을 알 수 있다. 문자 영역의 경우에는 문자들이 일정 거리 이하의 군집을 이루고 있으며, 라인 단위로 구분되는 특성을 이용하여 글자나 숫자, 기호 영역 후보들을 인식할 수 있다. 이러한 후보들은 하나 이상일 수도 있으므로 경우에 따라 소정의 기준, 예를 들어 크기, 형상, 위치 등에 따라 후보들을 여러 개 추출한 후 이를 디스플레이에 표시하고 사용자 입력장치에 의해 후보들 중 하나 이상을 선택하는 동작도 추가로 포함할 수 있다.
다양한 실시 예에서 사용자 제스처에 의해 지정된 위치를 기반으로 객체영역이 지정될 수도 있다. 예를 들어, 프리뷰 이미지에서 디스플레이에 표시된 이미지의 특정 위치가 지정되면, 해당 위치와 관련한 영역을 지정하기 위한 동작이 수행된다. 이를 위해 터치나 탭(tap), 호버링(hovering), 드래깅. 스위핑 등이 발생한 위치를 인지하고, 해당 위치가 포함되거나 가장 인접한 하나 이상의 객체의 영역을 지정하거나 사용자 인터페이스에 의해 지정된 영역의 최소 일부가 포함된 객체영역을 지정할 수도 있다. 이를 위해, 사용자 인터페이스에 의해 지정된 위치들을 이용하여 패턴의 밀집도, 색상, 객체의 경계선 등을 판별함으로써 객체의 크기, 색상, 밝기, 형태 등을 인식하고 지정할 영역으로서의 적합성을 판별할 수 있다. 예컨대, 상기 지정위치를 중심으로 주변의 색상을 판별하고, 동일한 색상 영역에 대해 얼굴영역 후보로 판단할 수 있다. 바코드의 경우 코드 패턴 주위에 정적구간(Quiet zone: QZ)이라고 하는 잉여여백 부분이 있다. 대부분 바코드 주위에 보이는 흰색 여백이 이러한 부분으로서, 코드 패턴을 배경 이미지로부터 용이하게 분리하기 위한 것이다. 좀 더 상세히 기술하자면 코드 패턴 간의 간격보다 충분히 큰 영역이기 때문에 QZ 패턴의 밀집도 차이를 이용하여 쉽게 코드 패턴 영역과 이외 영역을 구분할 수 있다. 문자/숫자 영역의 경우에도 입력된 위치정보에 의해 인접한 객체들의 밀집도를 이용하여 라인과 글자 영역들을 판별할 수 있다. 컬러코드 등의 경우에는 여러 개의 셀(cell)이 인접하여 코드를 나타내는 사각형, 원형 등의 형태일 수 있는데, 이러한 객체는 경계선을 추적함으로써 객체의 형태와 경계를 인지할 수 있다.
다양한 실시 예에서, 프리뷰 영상, 동영상, 애니메이션 GIF와 같은 연속된 이미지인 경우, 상기 선택된 객체영역의 위치를 지속적으로 유지하면서 해당 객체영역을 알리는 사용자 인터페이스를 디스플레이할 수도 있다. 예를 들어, 바코드 영역으로 인식된 영역을 반투명, 색상, 밝기 등으로 표시하거나 테두리선, 마크, 도형 등을 이용하여 표시하고 매번 새로 입력되는 이미지에서 대해서도 상기 사용자 인터페이스를 유지할 수도 있다. 이는 상기 후보 객체영역이나 상기 선택된 객체영역인 경우에, 변화된 위치를 지속적으로 추적(tracking)함으로써 사용자에게 선택이나 제스처 입력 등 사용자 입력장치에 의한 기능을 제공하기 용이하게 하기 위함이다. 변화된 위치의 추적은 이전에 입력된 이미지와 이후 입력된 연속된 이미지(매 프레임 단위 혹은 일정 시간 주기)에 대해 차분 영상을 계산함으로써 변화된 움직임 벡터 등을 구하여 구할 수 있다. 또는 필요한 이미지마다 상기 영역 추출 방식을 이용하여 매번 구할 수도 있다. 일반적으로는 매번 구하는 방식은 프로세스 시간과 메모리 사용량을 증대시키므로 차분 영상 분석을 통해 상기 이미지들 간의 차이가 매우 크거나 새로운 객체가 입력되는 등과 같이 상기 객체영역 선택 동작을 수행할 필요가 있는지 판단과정을 거친 후 수행할 수 있다. 혹은 이전에 수행했던 상기 객체영역 선택 동작의 발생 시간으로부터 소정의 시간이 경과 할 때, 이를 상기 판단과정에서 수행하는 조건으로 인식하고, 가장 최근의 정확한 상황 판단을 상기 영역지정 과정을 새로 입력된 이미지에 대해 수행할 수 있다.
다양한 실시 예에서, 코드 인식모듈은 UPS(Universe Product Code), EAN(International Article Number), ISBN(International Standard Book Number) 등과 같은 1차원 바코드, QR(Quick Response) 코드, 데이터 매트릭스(Data matrix), 맥시코드(Maxi code), 컬러코드(ColorCode) 등과 같은 매트릭스형 2차원 코드, PDF-417 등과 같이 바코드가 여러 층 겹쳐진 형태의 계층형 코드(Layered code)와 같이 다양한 이미지 코드 종류들 중 한 가지 이상을 포함할 수 있으며, 사용자 제스처에 의해 선택될 수 있다. 또는 코드 인식모듈이 구동될 시, 이러한 코드 종류가 판단하여 해당하는 코드 인식모듈을 구동할 수도 있다.
객체영역을 지정하는 동작과 객체인식모듈을 선택하는 동작은 별도 동작할 수 있으나, 하나의 사용자 제스처에서 동시에 수행될 수도 있다. 예를 들어 사용자 제스처가 입력될 때, 사용자 제스처가 발생한 영역의 일부를 포함하는 영역을 상기 객체영역으로 인식할 수 있다. 상기 객체영역은 제스처의 시작을 위해 터치가 발생한 위치, 제스처의 종료가 발생한 위치, 혹은 제스처가 발생한 경로에 있는 하나 이상의 객체들의 위치를 포함할 수 있다.
제스처가 발생하는 위치는 지정된 객체영역 이외일 수도 있다. 예를 들어, 상기 지정된 객체영역이 하나 이상 있고, 해당 객체영역들이 모두 바코드인 경우이라면, 지정된 객체영역 이외 다른 영역에서 발생한 제스처 입력이 바코드 인식 명령을 의미하면, 지정된 객체영역들의 바코드들에 대한 디코딩 명령이 수행되고, 그 결과가 사용자 선택에 의해 각각 디스플레이에 표시될 수 있다.
또 다른 실시 예로서, 제스처가 발생한 경로에 포함된 이미지의 패턴 정보를 이용하여 동작할 디코더나 모듈의 종류를 지정할 수도 있다. 한 예로 EAN, ISBN과 같은 1차원 바코드를 인식하기 위해 바코드 패턴의 시작 패턴 부분의 이미지를 포함하는 제스처를 취한 경우 이를 1차원 바코드로 인식하기 용이하다. 따라서 1차원 바코드의 특징을 나타내는 시작패턴, 종료패턴, 데이터 패턴 중 최소한 하나 이상을 포함하는 영역에서 제스처 입력이 발생한다면, 제스처 입력시 스트로크 정보가 발생한 이미지 영역의 패턴 정보를 분석함으로써 종류를 판단할 수 있다. 유사한 방식의 또 다른 실시 예로는 제스처가 지나는 이미지 영역에서 2차원 바코드가 가진 고유의 패턴 정보(Eye bull mark, Code alignment 패턴, finder pattern 등)를 분석함으로써 판별할 수도 있다. 예를 들어 QR 코드의 경우에는 세 개의 finding 패턴이 있는 사각형 형태의 이미지 코드이므로 상기 지정된 객체영역에서 스트로크상의 경로를 추적하여 finder pattern의 특징인 1:1:3:1:1의 비율의 패턴 정보가 발견되면 QR 코드로 인식될 수 있다.
전자장치는 1314단계에서 선택된 객체 인식모듈을 이용하여 해당 객체영역을 분석하고 1316단계에서 분석결과를 제공할 수 있다.
반면, 1308단계에서 터치입력이 상기 사용자 제스처가 아닌 경우, 1318단계로 진행하여 선택영역 포커싱 또는 줌인/줌아웃 같은 카메라 촬영을 위한 기능을 수행할 수 있다.
도 14는 본 발명의 다양한 실시 예에 따른 정보를 포함하는 코드의 종류를 도시하고 있다.
상기 도 14의 (a)는 데이터 매트릭스(data matrix)이고, 상기 도 14의 (b)는 QR 코드이고, 상기 도 14의 (c)는 PDF417이고, 상기 도 14의 (d)는 Code 49이다.
상기 데이터 매트릭스는 전체 256 바이트 ASCII 문자 세트에서 3110 문자까지 인코딩할 수 있는 높은 밀도의 2차원 바코드이고, 상기 QR 코드는 흑백 격자 무늬 패턴으로 정보를 나타내는 매트릭스 형식의 이차원 바코드이고, 상기 PDF417는 가변적인 심볼 길이와 가변적인 심볼 높이를 갖는 이차원 심볼 코드이고, Code 49는 다층형이고 작은 데이터 길이는 가변인 연속형 심볼로지로서 128개의 모든 ASCII문자로 표현될 수 있다.
도 15는 본 발명의 다양한 실시 예에 따른 사용자 제스처에 기반하여 QR코드를 인식하는 예를 도시하고 있다.
상기 도 15를 참조하면, QR코드는 Finder pattern, alignment pattern, 데이터영역으로 구성될 수 있다. Finder pattern은 사각형 모서리에 각각 흑백패턴 1:1:3:1:1 비율로 존재하며, 디코더 애플리케이션에서 QR코드의 위치를 검출하는데 사용될 수 있다. alignment pattern은 Finder pattern들 사이에 흑백패턴 1:1:1:1:1 비율로 존재하며, 디코더 애플리케이션에서 심볼의 좌표를 결정하는데 사용될 수 있다.
상기 도 15의 (a)는 제1 Finder pattern에서 제3 Finder pattern으로 대각선으로 사용자 제스처가 검출되는 경우이고, 상기 도 15의 (b)는 제1 Finder pattern에서 제2 Finder pattern으로 좌측에서 우측으로 사용자 제스처가 검출되는 경우이고, 상기 도 15의 (c)는 제1 Finder pattern 영역에서 사용자 제스처가 검출되는 경우이고, 상기 도 15의 (d)는 제1 Finder pattern-제2 Finder pattern-제3 Finder pattern 방향으로 사용자 제스처가 검출되는 경우이고, 상기 도 15의 (e)는 제1 Finder pattern-제2 Finder pattern-제3 Finder pattern-제4 Finder pattern 방향으로 사용자 제스처가 검출되는 경우이고, 도 15의 (f)는 QR 코드 내에 Q라는 문자가 사용자 제스처를 통해 입력되는 경우이다.
상술한 바와 같이, QR코드의 Finder pattern 정보에 기반한 사용자 제스처 패턴을 인식하여 QR 코드임을 인지하거나 또는 QR코드임을 지시하는 Q 문자입력의 사용자 제스처를 통해 QR 코드임을 인지할 수 있다.
도 16은 본 발명의 다양한 실시 예에 따른 사용자 제스처에 기반하여 데이터 매트릭스(data matrix) 을 인식하는 예를 도시하고 있다.
상기 도 16을 참조하면, QR코드와 마찬가지로, 데이터 매트릭스는 Finder pattern, alignment pattern, 데이터영역으로 구성될 수 있다. 다만 데이터 매트릭스의 Finder pattern은 상기 도 16의 (b)와이 같이 좌측 경계와 아래 경계부분에 위치하고 데이터 매트릭스의 상기 도 16의 (a)와이 같이 우측 경계와 위쪽 경계부분 각각에 흑백패턴 1:1:1:1:1 비율로 존재할 수 있다.
상기 도 16의 (a)는 우측 경계와 위쪽 경계부분에 각각 흑백패턴 1:1:1:1:1 비율로 존재하는 alignment pattern을 기반으로 사용자 제스처가 검출되는 경우이고, 상기 도 16의 (b)는 좌측 경계와 아래 경계부분에 존재하는 Finder pattern을 기반으로 사용자 제스처가 검출되는 경우이고, 상기 도 16의 (c)는 우측 경계와 위쪽 경계부분에 각각 흑백패턴 1:1:1:1:1 비율로 존재하는 alignment pattern 및 좌측 경계와 아래 경계부분에 존재하는 Finder pattern을 기반으로 사용자 제스처가 검출되는 경우이고, 도 16의 (d)는 데이터 매트릭스 내에 "D"라는 문자가 사용자 제스처를 통해 입력되는 경우이다.
상술한 바와 같이, 데이터 매트릭스의 Finder pattern 및 alignment pattern 정보에 기반한 사용자 제스처 패턴을 인식하여 데이터 매트릭스임을 인지하거나 또는 데이터 매트릭스임을 지시하는 D 문자입력의 사용자 제스처를 통해 데이터 매트릭스임을 인지할 수 있다.
도 17은 본 발명의 다양한 실시 예에 따른 사용자 제스처에 기반하여 PDF 417 혹은 바코드를 인식하는 예를 도시하고 있다.
상기 도 17을 참조하면, PDF417은 start pattern, end pattern, 데이터영역으로 구성될 수 있다. start pattern은 코드의 시작을 알리는 것이고, end pattern은 코드의 종료를 알리는 것이다. 도시하지 않았지만, start pattern 다음에 왼쪽임을 알리는 left row indicator가 있고 end pattern 바로 옆에 오른쪽임을 알리는 Right Row indicator가 위치할 수 있다. 또한, PDF417은 도 17의 (c)와 같이 중간 중간에 alignment pattern이 포함될 수 있다.
도 17의 (a)는 start pattern이 있는 지점에서 end pattern이 있는 지점으로 사용자 제스처가 일직선으로 검출되는 경우이고, 도 17의 (b) 및 (c)는 start pattern이 있는 지점에서 end pattern이 있는 지점으로 사용자 제스처가 대각선방향으로 검출되는 경우이고, 도 17의 (d)는 데이터 매트릭스 내에 "P"라는 문자가 사용자 제스처를 통해 입력되는 경우이다.
상술한 바와 같이, PDF417은 start pattern, end pattern 및 alignment pattern 정보에 기반한 사용자 제스처 패턴을 인식하여 PDF417임을 인지하거나 또는 PDF417임을 지시하는 P 문자입력의 사용자 제스처를 통해 PDF417임을 인지할 수 있다.
본 개시에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 스마트 가전(smart white appliance)(예: 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 공기 청정기, 전자 액자 등), 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. . 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 18은 다양한 실시 예에 따른 전자 장치에 대한 블록도를 도시한다. 도 18을 참조하면, 상기 전자장치(1800)는 버스(1810), 프로세서(1820), 메모리 (1830), 사용자 입력 모듈(1840), 디스플레이 모듈(1850), 또는 통신 모듈(1860)을 포함할 수 있다.
상기 버스(1810)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서(1820)는, 예를 들면, 상기 버스(1810)를 통해 전술한 다른 구성요소들(예: 상기 메모리(1830), 상기 사용자 입력 모듈(1840), 상기 디스플레이 모듈(1850), 상기 통신 모듈(1860) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(1830)는, 상기 프로세서(1820) 또는 다른 구성요소들(예: 상기 사용자 입력 모듈(1840), 상기 디스플레이 모듈(1850), 상기 통신 모듈(1860)등)로부터 수신되거나 상기 프로세서(1820) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리(1830)는, 예를 들면, 커널(1831), 미들웨어(1832), 애플리케이션 프로그래밍 인터페이스(API: application programming interface)(1833) 또는 애플리케이션(1834) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(1831)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어(1832), 상기 API(1833) 또는 상기 애플리케이션(1834)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스(1810), 상기 프로세서(1820) 또는 상기 메모리(1830) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(1831)은 상기 미들웨어(1832), 상기 API(1833) 또는 상기 애플리케이션(1834)에서 상기 전자 장치(1800)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(1832)는 상기 API(1833) 또는 상기 애플리케이션(1834)이 상기 커널(1831)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(1832)는 상기 (다수의) 애플리케이션들(1834)로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 (다수의) 애플리케이션들(1834)들 중 적어도 하나의 애플리케이션에 상기 전자 장치(1800)의 시스템 리소스(예: 상기 버스(1810), 상기 프로세서(1820) 또는 상기 메모리(1830) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
상기 API(1833)는 상기 애플리케이션(1834)이 상기 커널(1831) 또는 상기 미들웨어(1832)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
상기 사용자 입력 모듈(1840)은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 상기 버스(1810)를 통해 상기 프로세서(1820) 또는 상기 메모리(1830)에 전달할 수 있다. 상기 디스플레이 모듈(1850)은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
상기 통신 모듈(1860)은 다른 전자 장치(1802)와 상기 전자 장치(1800) 간의 통신을 연결할 수 있다. 상기 통신 모듈(1860)은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)(1862)을 지원할 수 있다. 상기 전자 장치 102, 104 각각은 상기 전자 장치(1800)와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.
또한, 상기 통신 모듈(1860)은 또 다른 전자 장치(1804) 및 서버(1864)와 상기 전자 장치(1800) 간 네트워크(1862)를 통해 연결할 수 있다.
도 19는 다양한 실시 예들에 따른 하드웨어(1900)의 블록도를 도시한다. 상기 하드웨어(1900)는, 예를 들면, 도 18에 도시된 전자 장치(1800)일 수 있다. 도 19를 참조하면, 상기 하드웨어(1900)는 하나 이상의 프로세서(1910), SIM(subscriber identification module) 카드(1914), 메모리(1920), 통신 모듈(1930), 센서 모듈(1940), 사용자 입력 모듈(1950), 디스플레이 모듈(1960), 인터페이스(270), 오디오 코덱(1980), 카메라 모듈(1991), 전력관리 모듈(1995), 배터리(1996), 인디케이터(1997)또는 모터(1998) 를 포함할 수 있다.
상기 프로세서(1910)(예: 상기 프로세서(1820))는 하나 이상의 애플리케이션 프로세서(AP: application processor)(1911) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor)(1913)를 포함할 수 있다. 상기 프로세서(1910)는, 예를 들면, 도 18에 도시된 프로세서(1820)일 수 있다. 도 19에서는 상기 AP(1911) 및 상기 CP(1913)가 프로세서(1910) 내에 포함된 것으로 도시되었으나, 상기 AP(1911)와 상기 CP(1913)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시 예에서는 상기 AP(1911) 및 상기 CP(1913)는 하나의 IC 패키지 내에 포함될 수 있다.
상기 AP(1911)는 운영체제 또는 응용 프로그램을 구동하여 상기 AP(1911)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(1911)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 상기 프로세서(1910)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 CP(1913)는 상기 하드웨어(1900)를 포함하는 전자 장치(예: 상기 전자 장치(1800))와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP (1913)는, 예를 들면, SoC로 구현될 수 있다. 한 실시 예에 따르면, 상기 CP(1913)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP(1913)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드(1914))을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP(1913)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, 상기 CP(1913)는 상기 통신 모듈(1930)의 데이터 송수신을 제어할 수 있다. 도 19에서는, 상기 CP(1913), 상기 전력관리 모듈(1995) 또는 상기 메모리(1920) 등의 구성요소들이 상기 AP(1911)와 별개의 구성요소로 도시되어 있으나, 한 실시 예에 따르면, 상기 AP(1911)가 전술한 구성요소들의 적어도 일부(예: 상기 CP(1913))를 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP(1911) 또는 상기 CP(1913)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(1911) 또는 상기 CP(1913)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 SIM 카드(1914)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(1914)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(1920)는 내장 메모리(1922) 또는 외장 메모리(1924)를 포함할 수 있다. 상기 메모리(1920)는, 예를 들면, 도 18에 도시된 메모리(1830)일 수 있다. 상기 내장 메모리(1922)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 내장 메모리 222는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 상기 외장 메모리(1924)는, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 memorystick 등을 더 포함할 수 있다.
상기 통신 모듈(1930)은 무선 통신 모듈(1931) 또는 RF 모듈(1934)을 포함할 수 있다. 상기 통신 모듈(1930)은, 예를 들면, 도 18에 도시된 통신 모듈(1860)일 수 있다. 상기 무선 통신 모듈(1931)은, 예를 들면, WiFi 233, BT(bluetooth)(1935), GPS(1937) 또는 NFC(near field communication)(1939)를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈(1931)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가로 또는 대체적으로, 상기 무선 통신 모듈(1931)은 상기 하드웨어(1900)를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
상기 RF 모듈(1934)은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 상기RF 모듈(1934)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈(1934)은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
상기 센서 모듈(1940)은, 예를 들면, 제스처 센서(1940A), 자이로 센서(1940B), 기압 센서(1940C), 마그네틱 센서(1940D), 가속도 센서(1940E), 그립 센서(1940F), 근접 센서(1940G), RGB(red, green, blue) 센서(1940H), 생체 센서(1940I), 온/습도 센서(1940J), 조도 센서(1940K) 또는 UV(ultra violet) 센서(1940M) 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈(1940)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 상기 센서 모듈(1940)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈(1940)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 사용자 입력 모듈(1950)은 터치 패널(touch panel)(1952), (디지털) 펜 센서(pen sensor)(1954), 키(key)(1956) 또는 초음파 입력 장치(1958)를 포함할 수 있다. 상기 사용자 입력 모듈(1950)은, 예를 들면, 도 18에 도시된 사용자 입력 모듈(1840)일 수 있다. 상기 터치 패널1(952)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널(1952)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널(1952)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(1952)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(1954)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키(1956)로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 상기 초음파 입력 장치(1958)는 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크(1988))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시 예에 따르면, 상기 하드웨어(1900)는 상기 통신 모듈(1930)을 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 모듈(1960)은 패널(1962) 또는 홀로그램 264을 포함할 수 있다. 상기 디스플레이 모듈(1960)은, 예를 들면, 도 18에 도시된 디스플레이 모듈(1950)일 수 있다. 상기 패널(1962)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널(1962)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널262은 상기 터치 패널(1952)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램(1964)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 한 실시 예에 따르면, 상기 디스플레이 모듈(1960)은 상기 패널(1962) 또는 상기 홀로그램(1964)을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 인터페이스(1970)는, 예를 들면, HDMI(high-definition multimedia interface)(1972), USB(universal serial bus)(1974), 프로젝터(1976) 또는 D-sub(D-subminiature)(1978)를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(1970)는, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
상기 오디오 코덱(1980)은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱(1980)은, 예를 들면, 스피커(1982), 리시버(1984), 이어폰(1986) 또는 마이크(1988) 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
상기 카메라 모듈(1991)은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.
상기 전력관리 모듈(1995)은 상기 하드웨어(1900)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈(1995)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(1996)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(1996)는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.
상기 인디케이터(1997)는 상기 하드웨어(1900) 혹은 그 일부(예: 상기 AP 1911)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(1998)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 MCU(1999)은, 상기 센서 모듈(1940)을 제어할 수 있다.
도시되지는 않았으나, 상기 하드웨어(1900)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 개시에 따른 하드웨어의 전술한 구성요소들의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 20은 한 실시 예에 따른 프로그래밍 모듈(2000)의 블록도를 도시한다. 상기 프로그래밍 모듈(2000)은 도 18에 도시된 전자 장치(1800)(예: 상기 메모리(1830))에 포함(예: 저장)될 수 있다. 상기 프로그래밍 모듈(2000)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 상기 프로그래밍 모듈(2000)은 하드웨어(예: 상기 하드웨어(1900))에 구현되어 전자 장치(예: 상기 전자 장치(1800))에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제 상에서 구동되는 다양한 어플리케이션(예: 상기 애플리케이션(2070)을 포함할 수 있다. 예를 들면, 상기 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 20을 참조하면, 상기 프로그래밍 모듈(2000)은 커널(2010), 미들웨어(2030), API(application programming interface)(2060) 또는 어플리케이션(2070)을 포함할 수 있다.
상기 커널(2010)(예: 상기 커널 131)은 시스템 리소스 매니저(2011) 또는 디바이스 드라이버 312를 포함할 수 있다. 상기 시스템 리소스 매니저(2011)는, 예를 들면, 프로세스관리부(2013), 메모리관리부(2015) 또는 파일시스템관리부 (2017) 등을 포함할 수 있다. 상기 시스템 리소스 매니저(2011)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 상기 디바이스 드라이버(2012)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버 또는 오디오 드라이버를 포함할 수 있다. 또한, 한 실시 예에 따르면, 상기 디바이스 드라이버(2012)는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.
상기 미들웨어(2030)는 상기 애플리케이션(2070)이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 상기 미들웨어(2030)는 상기 어플리케이션(2070)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 API(2060)를 통해 기능을 제공할 수 있다. 예를 들면, 도 20에 도시된 바와 같이, 상기 미들웨어(2030)(예: 상기 미들웨어 1832)는 런타임 라이브러리(2035), 이미지 인식 매니저(3136), 어플리케이션 매니저(application manager)(2041), 윈도우 매니저(window manager)(2042), 멀티미디어 매니저(multimedia manager)(2043), 리소스 매니저(resource manager) (2044), 파워 매니저(power manager)(2045), 데이터베이스 매니저(database manager)(2046), 패키지 매니저(2047), 연결 매니저(connectivity manager) (2048), 통지 매니저(notification manager)(2049), 위치 매니저(location manager)(2050), 그래픽 매니저(graphic manager)(2051) 또는 보안 매니저(security manager)(2052) 중 적어도 하나를 포함할 수 있다.
상기 런타임 라이브러리(2035)는, 예를 들면, 상기 어플리케이션(2070)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 한 실시 예에 따르면, 상기 런타임 라이브러리(2035)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
상기 어플리케이션 매니저(2041)는, 예를 들면, 상기 어플리케이션(2070) 중 적어도 하나의 어플리케이션의 생명주기(life cycle)를 관리할 수 있다. 상기 윈도우 매니저(2042)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저(2043)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 상기 리소스 매니저 (2044)는 상기 어플리케이션(2070) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
상기 파워 매니저(2045)는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저(2046)는 상기 어플리케이션(2070) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 상기 패키지 매니저(2047)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
상기 연결 매니저(2048)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저(2049)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저(2050)는 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저(2051)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저(2052)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 상기 전자 장치(1800))가 전화 기능을 구비한 경우에는, 상기 미들웨어(2030)는 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.
상기 이미지 인식 매니저(2136)는, 본 개시의 이미지 내의 객체영역 선택 및 객체인식모듈 선택과 관련한 사용자 인터페이스를 관리할 수 있다.
한 실시 예에 따르면, 촬영된 이미지에서 인물, 사물, 얼굴, 배경 등과 같은 개체나 영역들을 추출, 분리하고 각각의 객체나 각각의 영역에 해당하는 주요 속성(이미지 내 객체 위치, 객체/영역간 상대 위치 혹은 위상, 형상, 색상, 화자관련 정보, 메타데이터 등)을 하나 이상 식별하는 기능을 수행하는 모듈임. 식별된 객체나 영역의 주요 속성을 메모리에 전달하여 저장함으로써, 상기 이미지에 포함된 개체나 영역에 대하여 정보 질의가 발생하였을 때, 프로세스가 메모리에서 이에 대응하는 하나 이상의 속성 정보를 수신하고 처리할 수 있다. 상기 정보 질의는 이미지, 오디오, 사용자 입력 인터페이스에 의한 좌표나 영역 지정, 키워드에 의한 질의 등이 가능함
상기 이미지 인식 매니저(2136)는, 전처리, 영상분할(segmentation), 특징 추출(feature extraction), 인식(recognition), 인식(recognition) 같은 다양한 영상처리를 관리할 수 있다.
예컨대, 아래 기술된 이미지 처리 기법들이 이용될 수 있다.
이진화(binarization), 회색조 변환(gray-level scaling), 컬러 변환(color conversion) 등과 같은 속성 변환 기법을 이용함으로써 불필요한 정보를 제거하거나 프로세싱 속도를 빠르게 할 수 있다. 한 예로 영상에서 특정 객체의 형상을 추출하기 위해서 컬러 이미지를 사용하는 것보다는 이진화된 흑백이미지를 사용하는 것이 처리 속도 측면에서 이득을 얻을 수 있다. 예를 들어 문자, 숫자, 1차원 바코드, 2차원 흑백 바코드, 얼굴 영역 등은 우선 이진화를 통해 흑백화를 하여 패턴 정보나 경계선 추출 연산시 연산량을 줄일 수 있다.
다음 푸리에 변환(Fourier Transformation), 이산 코사인 변환(Discrete Cosine Transformation), 웨이블릿 변환(Wavelet Transformation) 등과 같은 디지털 영상변환 기법을 사용할 시, high-pass filtering, Low-pass filtering 등의 기법을 적용하기 용이하므로 영상 개선 및 관심 영역 추출 등을 처리할 수 있다.
영상을 구성하는 픽셀들의 정보를 분석하여 블러링(Blurring), 샤프닝(sharpening), 확장, 감축, 잡영제거(noise reduction), 평활화(smoothing), 밝기 조정 등의 영상 개선 기법 (Digital Image Enhancement)을 이용함으로써 영상에서 객체의 형상, 위치, 색상 등과 같은 주요 속성들의 손실을 줄이거나 복원함으로써 특징 추출과 인식에 이용할 수 있다.
경계선 추출(edge detection), 외곽선 추적(boundary following), 특징점(feature point) 추출, 실루엣 추출, 색상 분리, 영역 컬러링 알고리즘 등을 통해 디지털 영상의 크기나 특정 영역의 크기와 객체의 형태를 파악하는 과정이 필요하다. 이 밖에 디지털 영상의 윤곽선을 찾고, 색상 및 무늬를 구별하며, 질감을 알아내는 작업 등을 통해 영상의 추출 및 구분, 인식에 이용할 수 있다.
모션, 제스처 인식을 위해 두 개 이상의 이미지를 분석하여 두 이미지간 차분 영상을 구하고 이를 통해 객체의 움직임 패턴이나 변화량을 조사하여 움직임, 모션, 제스처 등을 판별할 수 있다.
상기 이미지 인식 매니저(2136)는, 이미지 영역 추출 및 사용자 입력을 위한 이미지 영역을 설정할 수 있다. 상기 이미지 처리 기법들을 하나 이상 적용하여 얼굴영역, 인물이나 사물의 실루엣, 객체의 움직임(모션)과 같은 객체의 영역을 추출할 수 있다. 그리고, 해당 영역의 범위, 좌표, 경계선 데이터, 실루엣 데이터 등의 정보를 메모리에 저장되도록 관리할 수 있다.
상기 이미지 인식 매니저(2136)는, 증강현실(augmented reality), VR(Virtual Reality), MR(Mixed Reality) 기법을 이용하여 처리된 인식 결과 표시할 수 있다. 예를 들어, 2차원 이미지 코드의 경우, finder pattern, alignment pattern, 혹은 코드의 패턴의 분포에 따라 카메라나 객체의 pitch, yaw, roll 정보를 얻을 수 있다.
한 예로 QR 코드의 경우, finder pattern이 코드 이미지의 네 귀퉁이 중 좌상, 우상, 좌하에 존재하고, 우하에는 존재하지 않으므로 코드 이미지가 회전되더라도 쉽게 코드의 회전된 각도를 판별할 수 있다. 또 다른 예로 데이터 매트릭스의 경우 코드 이미지의 경계부들 중 좌와 하는 굵은 실선이고, 상과 하는 1:1의 흑백 패턴으로 구성되므로 코드의 회전 각도를 판별할 수 있다. 1차원 바코드나 PDF-417 등의 경우도 시작 패턴, 종료 패턴의 형태, 그리고 패턴의 스캔 방향에 따라서 패리티 정보를 이용하면 방향 탐지가 가능하다.
이와 함께 이러한 코드 이미지의 (x, y) 평면에 배치된 모양에 따라서 코드 이미지의 수직방향 법선 벡터를 추정할 수 있으므로 증강현실이나 가상현실의 가상 객체의 3차원 공간상의 위치와 모양 등을 쉽게 계산할 수 있다. 따라서 이러한 포즈 정보를 이용하여 3D나 2D의 가상적인 객체(리스트 메뉴, 사진, 아바타, 3D 캐릭터 등의 GUI 정보)를 상기 이미지의 패턴에 부합하여 정합(match)하여 표시할 수도 있다.
상기 미들웨어(2030)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 상기 미들웨어(2030)는 차별화된 기능을 제공하기 위해 운영체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 상기 미들웨어(2030)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 개시의 실시예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
상기 API 360(예: 상기 API(1833))는 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.
상기 어플리케이션(2070)(예: 상기 어플리케이션(1834))은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다. 예를 들어, 상기 어플리케이션(2070)은 홈(2071), 다이얼러(2072), SMS/MMS(2073), IM(2074), 브러우저(2075), 카메라(2076), 알람(2077), 컨택트(2078), 음성다이얼(2079), 이메일(2080), 달력(2081), 미디어 플레이어(2082), 앨범(2083), 시계(2084) 등을 포함할 수 있다.
상기 프로그래밍 모듈(2000)의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(1910))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(1920)가 될 수 있다. 상기 프로그래밍 모듈(2000)의 적어도 일부는, 예를 들면, 상기 프로세서(1910)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈(2000)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 개시에 따른 프로그래밍 모듈(예: 상기 프로그래밍 모듈(2000))의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 또한, 본 개시에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
본 발명의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금, 본 발명의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM, Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM, Compact Disc-ROM), 디지털 다목적 디스크(DVDs, Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 전자 장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 전자 장치에 접속할 수 있다.
또한, 통신 네트워크상의 별도의 저장장치가 휴대용 전자 장치에 접속할 수도 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
1800: 전자장치,
1801: 버스,
1820: 프로세서,
1830: 메모리,
1840: 사용자 입력 모듈,
1850: 디스플레이 모듈,
1860: 통신 모듈.

Claims (28)

  1. 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법에 있어서,
    적어도 하나 이상의 이미지를 디스플레이하는 동작;
    적어도 하나의 제스처를 검출하는 동작;
    상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 연관된 인식기능을 선택하는 동작;
    상기 선택된 인식기능을 이용하여, 상기 적어도 하나 이상의 객체를 인식하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 인식기능은 문자인식, 바코드인식, 얼굴인식, 또는 2차원 이미지 코드 인식 중 최소 하나인 것을 포함하는 방법.
  3. 제1항에 있어서,
    상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 관련된 인식기능을 선택하는 동작은,
    제1 제스처에 따라, 상기 적어도 하나 이상의 이미지에서 적어도 하나 이상의 객체영역을 지정하는 동작;
    제2 제스처에 따라, 상기 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 동작을 포함하는 방법.
  4. 제3항에 있어서,
    상기 객체영역은 상기 제1 제스처가 입력된 위치정보 혹은 상기 제1 제스처의 패턴에 기반하여 소정의 영역판단기준에 의해 선택되는 것을 포함하는 방법.
  5. 제4항에 있어서,
    상기 소정의 영역판단기준은 상기 이미지 내의 객체의 크기, 촬상장치와 상기 객체 사이의 거리, 위치, 패턴 밀도, 밝기, 경계선의 길이 중 하나 이상의 것을 포함하는 방법.
  6. 제3항에 있어서,
    상기 제2 제스처는 특정 객체 인식모듈과 매핑되어 있는 것을 포함하는 방법.
  7. 제3항에 있어서,
    상기 지정된 객체영역을 기준으로 초점을 맞추는 동작을 더 포함하는 방법.
  8. 제3항에 있어서,
    상기 지정된 객체영역을 기준으로 밝기, 선명도, 대비(contrast) 또는 노출시간 중 적어도 하나를 조절하여 화질을 개선시키는 동작을 더 포함하는 방법.
  9. 제3항에 있어서,
    상기 객체영역이 지정되었음을 알리는 사용자 인터페이스를 디스플레이하는 동작 및
    상기 지정된 객체영역의 위치를 추적하는 동작하는 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 관련된 인식기능을 선택하는 동작은,
    상기 제스처가 입력된 위치정보 혹은 상기 제스처의 패턴에 기반하여,
    상기 적어도 하나 이상의 이미지에서 적어도 하나 이상의 객체영역을 지정하는 동작;
    상기 지정된 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 동작을 포함하는 방법.
  11. 제10항에 있어서,
    상기 지정된 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 동작은,
    상기 지정된 객체영역 위의 상기 제스처의 패턴 경로에 대응하는 객체의 패턴을 분석하는 동작 및
    상기 분석한 패턴에 대응하는 객체 인식모듈을 선택하는 동작을 더 포함하는 방법.
  12. 제10항에 있어서,
    상기 지정된 객체영역을 지정하는 동작은,
    상기 지정된 객체영역 위의 상기 제스처의 패턴 경로에 대응하는 객체의 패턴을 분석하는 동작 및
    분석한 패턴에 대응하여 객체의 방향, 기울임, 혹은 영역을 추론하는 동작을 더 포함하는 방법.
  13. 제10항에 있어서,
    상기 지정된 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 동작은,
    상기 지정된 객체영역 위의 상기 제스처의 패턴에 대응하는 객체 인식모듈을 선택하는 것을 포함하는 방법.
  14. 제1항에 있어서,
    상기 적어도 하나 이상의 객체를 인식하는 동작 전에,
    상기 적어도 하나 이상의 객체와 연관된 인식기능의 목록을 디스플레이하는 동작;
    디스플레이된 인식기능의 목록 중 하나를 선택하는 동작을 더 포함하는 방법.
  15. 제1항에 있어서,
    상기 적어도 하나 이상의 객체를 인식한 후, 상기 인식 결과를 디스플레이하거나,
    상기 인식 결과에 기반하여 적어도 하나의 관련 애플리케이션의 목록을 디스플레이하는 더 동작을 포함하는 방법.
  16. 적어도 하나의 프로세서;
    적어도 하나의 메모리; 및
    상기 메모리에 저장되며, 상기 적어도 하나의 프로세서에 의해 실행 가능하도록 구성되는 적어도 하나의 프로그램(program)을 포함하며,
    상기 프로그램은,
    적어도 하나 이상의 이미지를 디스플레이하고,
    적어도 하나의 제스처를 검출하고,
    상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 연관된 인식기능을 선택하고,
    상기 선택된 인식기능을 이용하여, 상기 적어도 하나 이상의 객체를 인식하는 명령어들을 포함하는 전자장치.
  17. 제16항에 있어서,
    상기 인식기능은 문자인식, 바코드인식, 얼굴인식, 혹은 2차원 이미지 코드 인식 중 최소 하나인 것을 포함하는 전자장치.
  18. 제16항에 있어서,
    상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 관련된 인식기능을 선택하는 명령어는,
    제1 제스처에 따라, 상기 적어도 하나 이상의 이미지에서 적어도 하나 이상의 객체영역을 지정하고,
    제2 제스처에 따라, 상기 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 명령어를 포함하는 전자장치.
  19. 제18항에 있어서,
    상기 객체영역은 상기 제1 제스처가 입력된 위치정보 혹은 상기 제1 제스처의 패턴에 기반하여 소정의 영역판단기준에 의해 선택되는 것을 포함하는 전자장치.
  20. 제19항에 있어서,
    상기 소정의 영역판단기준은 상기 이미지 내의 객체의 크기, 촬상장치와 상기 객체 사이의 거리, 위치, 패턴 밀도, 밝기, 경계선의 길이 중 하나 이상의 것을 포함하는 전자장치.
  21. 제18항에 있어서,
    상기 제2 제스처는 특정 객체 인식모듈과 매핑되어 있는 것을 포함하는 전자장치.
  22. 제18항에 있어서,
    상기 프로그램은,
    상기 지정된 객체영역을 기준으로 초점을 맞추는 명령어를 더 포함하는 전자장치.
  23. 제18항에 있어서,
    상기 프로그램은,
    상기 지정된 객체영역을 기준으로 밝기, 선명도, 대비(contrast) 또는 노출시간 중 적어도 하나를 조절하여 화질을 개선시키는 명령어를 더 포함하는 전자장치.
  24. 제16항에 있어서,
    상기 제스처에 따라, 상기 적어도 하나 이상의 이미지에 있는 적어도 하나 이상의 객체와 관련된 인식기능을 선택하는 명령어는,
    상기 제스처가 입력된 위치정보 혹은 상기 제스처의 패턴에 기반하여,
    상기 적어도 하나 이상의 이미지에서 적어도 하나 이상의 객체영역을 지정하고,
    상기 지정된 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 명령어를 포함하는 전자장치.
  25. 제24항에 있어서,
    상기 지정된 객체영역을 분석하기 위한 객체 인식모듈을 선택하는 동작은,
    상기 지정된 객체영역 위의 상기 제스처의 패턴에 대응하는 객체 인식모듈을 선택하는 것을 포함하는 전자장치.
  26. 제16항에 있어서,
    상기 프로그램은,
    상기 적어도 하나 이상의 객체를 인식하는 동작 전에,
    상기 적어도 하나 이상의 객체와 연관된 인식기능의 목록을 디스플레이하고,
    디스플레이된 인식기능의 목록 중 하나를 선택하는 명령어를 더 포함하는 전자장치.
  27. 제16항에 있어서,
    상기 프로그램은,
    상기 적어도 하나 이상의 객체를 인식한 후, 상기 인식 결과를 디스플레이하는 명령어를 더 포함하거나,
    상기 인식 결과에 기반하여 적어도 하나의 관련 애플리케이션의 목록을 디스플레이하는 명령어를 더 포함하는 전자장치.

  28. 제27항에 있어서,
    상기 디스플레이하는 명령어는,
    표시할 상기 인식 결과나 상기 목록을 가상의 3차원 모델로 생성하고,
    객체 이미지의 분포 형태를 이용하여 카메라 포즈 정보를 인식하고,
    카메라 포즈 정보와 코드 이미지의 분포 형태에 기초하여 상기 3차원 모델을 변형하고,
    상기 모델을 상기 코드 이미지의 인접 혹은 그 위에 반투명 혹은 불투명하게 표시하는 명령어를 더 포함하는 전자장치.
KR1020130143096A 2013-11-22 2013-11-22 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 KR102173123B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130143096A KR102173123B1 (ko) 2013-11-22 2013-11-22 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US14/551,861 US9767359B2 (en) 2013-11-22 2014-11-24 Method for recognizing a specific object inside an image and electronic device thereof
US15/686,861 US10115015B2 (en) 2013-11-22 2017-08-25 Method for recognizing a specific object inside an image and electronic device thereof
US16/169,127 US11113523B2 (en) 2013-11-22 2018-10-24 Method for recognizing a specific object inside an image and electronic device thereof
KR1020200140483A KR102303206B1 (ko) 2013-11-22 2020-10-27 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130143096A KR102173123B1 (ko) 2013-11-22 2013-11-22 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140483A Division KR102303206B1 (ko) 2013-11-22 2020-10-27 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150059466A KR20150059466A (ko) 2015-06-01
KR102173123B1 true KR102173123B1 (ko) 2020-11-02

Family

ID=53182699

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130143096A KR102173123B1 (ko) 2013-11-22 2013-11-22 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치

Country Status (2)

Country Link
US (3) US9767359B2 (ko)
KR (1) KR102173123B1 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013623B2 (en) * 2012-06-29 2018-07-03 Blackberry Limited System and method for determining the position of an object displaying media content
JP6105903B2 (ja) * 2012-11-09 2017-03-29 キヤノン株式会社 画像処理装置、画像処理方法、放射線撮影システム及びプログラム
US9659201B2 (en) * 2012-12-19 2017-05-23 Denso Wave Incorporated Information code, information code producing method, information code reader, and system which uses information code
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
KR20160074288A (ko) * 2014-12-18 2016-06-28 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
TWI533240B (zh) * 2014-12-31 2016-05-11 拓邁科技股份有限公司 資料顯示方法及系統，及相關電腦程式產品
US10503361B2 (en) 2015-09-30 2019-12-10 Samsung Electronics Company, Ltd. Interactive graphical object
US20180342078A1 (en) * 2015-10-08 2018-11-29 Sony Corporation Information processing device, information processing method, and information processing system
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
KR102456953B1 (ko) * 2016-03-11 2022-10-21 한국전자통신연구원 이미지 제공 장치 및 방법
US11250492B2 (en) * 2016-03-22 2022-02-15 Paypal, Inc. Automatic population of data on an internet web page via a browser plugin
CN106126053B (zh) * 2016-05-27 2019-08-27 努比亚技术有限公司 移动终端控制装置及方法
US11042906B2 (en) * 2016-08-15 2021-06-22 Yieldmo, Inc. Method for serving interactive content to a user
CN111610858B (zh) * 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
US10114999B1 (en) * 2016-12-02 2018-10-30 Koupon Media, Inc. Using dynamic occlusion to protect against capturing barcodes for fraudulent use on mobile devices
US10902276B2 (en) 2016-12-22 2021-01-26 Samsung Electronics Co., Ltd. Apparatus and method for processing image
KR102407815B1 (ko) * 2016-12-22 2022-06-13 삼성전자주식회사 영상 처리 장치 및 방법
KR102616403B1 (ko) * 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
US10249044B2 (en) * 2016-12-30 2019-04-02 Facebook, Inc. Image segmentation with touch interaction
US10324621B2 (en) * 2017-03-02 2019-06-18 Adobe Inc. Facilitating analysis of use interface gesture patterns
CN107609446B (zh) * 2017-07-31 2020-07-31 努比亚技术有限公司 一种码图识别方法、终端及计算机可读存储介质
USD857712S1 (en) * 2017-08-18 2019-08-27 Qondado Llc Display screen or portion thereof with a graphical user interface
KR102431817B1 (ko) * 2017-10-12 2022-08-12 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 서버
US10445608B2 (en) * 2017-10-25 2019-10-15 Motorola Mobility Llc Identifying object representations in image data
US20190139280A1 (en) * 2017-11-06 2019-05-09 Microsoft Technology Licensing, Llc Augmented reality environment for tabular data in an image feed
CN108109100B (zh) * 2017-12-19 2019-11-22 维沃移动通信有限公司 一种图像处理方法、移动终端
CN109960957B (zh) 2017-12-26 2022-12-16 阿里巴巴集团控股有限公司 残缺二维码及其生成、修复和识别方法、装置及系统
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10712901B2 (en) 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
US10783712B2 (en) * 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
US20200026943A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC System and method for identification and prioritization of one or more attributes in an image
US10604274B1 (en) * 2018-08-06 2020-03-31 Rockwell Collins, Inc. System and method for data transfer via a display device including a bezel light sensor
CN109299912B (zh) * 2018-08-27 2020-08-04 百度在线网络技术（北京）有限公司 多人协作创作方法、装置及存储介质
WO2020081080A1 (en) * 2018-10-18 2020-04-23 Hewlett-Packard Development Company, L.P. Relative gestures
SG10201810001YA (en) * 2018-11-09 2020-06-29 Mastercard International Inc Payment methods and systems by scanning qr codes already present in a user device
CN110166842B (zh) * 2018-11-19 2020-10-16 深圳市腾讯信息技术有限公司 一种视频文件操作方法、装置和存储介质
WO2020116677A1 (ko) * 2018-12-05 2020-06-11 코어다 주식회사 촬영 이미지를 이용한 모션 인식 기기의 제어 및 이를 이용한 모션 인식 방법, 서버 및 프로그램
US10558831B1 (en) * 2018-12-10 2020-02-11 Zebra Technologies Corporation Method and apparatus for decoding spatially related indicia
USD954719S1 (en) * 2019-01-17 2022-06-14 Bruin Biometrics, Llc Display screen or portion thereof with a graphical user interface
US10963675B2 (en) 2019-01-30 2021-03-30 Realnetworks, Inc. Method for selecting images in video of faces in the wild
KR20200100918A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법
KR102748681B1 (ko) 2019-03-25 2024-12-31 삼성전자 주식회사 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
WO2020205981A1 (en) 2019-04-05 2020-10-08 Realnetworks, Inc. Adaptive learning and matching of face modalities
US10949671B2 (en) * 2019-08-03 2021-03-16 VIRNECT inc. Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
US11385526B2 (en) * 2019-11-15 2022-07-12 Samsung Electronics Co., Ltd. Method of processing image based on artificial intelligence and image processing device performing the same
KR20210092588A (ko) * 2020-01-16 2021-07-26 삼성전자주식회사 영상 처리 장치 및 방법
WO2021183438A1 (en) * 2020-03-09 2021-09-16 Layer Jot, Inc. Electronic-device interaction via a remote user interface
CN111626035B (zh) * 2020-04-08 2022-09-02 华为技术有限公司 一种版面分析方法及电子设备
USD931899S1 (en) 2020-09-03 2021-09-28 Etla, Llc Display screen portion with animated graphical user interface
USD930702S1 (en) 2020-09-03 2021-09-14 Wepay Global Payments Llc Display screen portion with animated graphical user interface
USD931330S1 (en) 2020-09-05 2021-09-21 Wepay Global Payments Llc Display screen portion with animated graphical user interface
CN112099892B (zh) * 2020-09-22 2023-10-31 青岛海信移动通信技术有限公司 一种通信终端及快速扫描二维码的方法
EP3985486B1 (en) * 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal
CN112306347B (zh) * 2020-10-30 2022-05-13 维沃移动通信有限公司 图像编辑方法、图像编辑装置及电子设备
CN113093960B (zh) * 2021-04-16 2022-08-02 南京维沃软件技术有限公司 图像编辑方法、编辑装置、电子设备和可读存储介质
WO2023287250A1 (en) * 2021-07-16 2023-01-19 Samsung Electronics Co., Ltd. Brightness adjustment method and apparatus thereof
US12003859B2 (en) 2021-07-16 2024-06-04 Samsung Electronics Co., Ltd. Brightness adjustment method, and apparatus thereof
US11966517B2 (en) * 2021-08-12 2024-04-23 Richard Terrell Graphical menu structure
USD991955S1 (en) 2021-09-16 2023-07-11 ACH Direct LLC Display screen portion with animated graphical user interface
USD989097S1 (en) 2021-09-16 2023-06-13 FedNow Cash Consortium Display screen portion with animated graphical user interface
USD945453S1 (en) 2021-09-16 2022-03-08 Fintech Innovation Associates Llc Display screen portion with animated graphical user interface
USD997185S1 (en) 2021-09-16 2023-08-29 7ollar Corp FedNow IP Holdings Display screen portion with animated graphical user interface
USD1001153S1 (en) 2021-09-16 2023-10-10 PocktBank Corporation Display screen portion with animated graphical user interface
USD993265S1 (en) 2021-09-20 2023-07-25 CardPay NCUA Licensing Group Display screen portion with animated graphical user interface
KR102575743B1 (ko) * 2021-10-14 2023-09-06 네이버 주식회사 이미지 번역 방법 및 시스템
CN117998253A (zh) * 2022-11-07 2024-05-07 神基科技股份有限公司 语音活动检测装置及方法
WO2025018538A1 (ko) * 2023-07-18 2025-01-23 삼성전자주식회사 객체에 기초한 피드백을 출력하는 장치, 그 동작 방법, 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138830A1 (en) 2005-06-20 2009-05-28 Shekhar Ramachandra Borgaonkar Method, article, apparatus and computer system for inputting a graphical object
US9075520B2 (en) 2011-11-08 2015-07-07 Samsung Electronics Co., Ltd. Apparatus and method for representing an image in a portable terminal

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6961912B2 (en) * 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
US20030048280A1 (en) * 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US8144990B2 (en) 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
KR100919818B1 (ko) 2007-06-26 2009-10-01 주식회사 더존씨앤티 이동통신 단말기에 사용하기 위한 분할형 2차원 바코드의인코딩 방법
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8154428B2 (en) * 2008-07-15 2012-04-10 International Business Machines Corporation Gesture recognition control of electronic devices using a multi-touch device
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US20110050640A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
WO2011038669A1 (zh) * 2009-09-29 2011-04-07 北京联想软件有限公司 确定对象方法、对象显示方法、对象切换方法及电子设备
US8515185B2 (en) 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
KR101729938B1 (ko) 2010-08-09 2017-04-26 에스케이플래닛 주식회사 통합 영상 검색 시스템 및 그 서비스 방법
US9349063B2 (en) 2010-10-22 2016-05-24 Qualcomm Incorporated System and method for capturing token data with a portable computing device
US8717381B2 (en) * 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US9619567B2 (en) * 2011-06-06 2017-04-11 Nfluence Media, Inc. Consumer self-profiling GUI, analysis and rapid information presentation tools
CN107643828B (zh) * 2011-08-11 2021-05-25 视力移动技术有限公司 车辆、控制车辆的方法
KR101832372B1 (ko) 2011-09-02 2018-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101590386B1 (ko) 2011-09-07 2016-02-01 네이버 주식회사 검색 서비스 제공 장치 및 방법
US8718369B1 (en) * 2011-09-20 2014-05-06 A9.Com, Inc. Techniques for shape-based search of content
US9245051B2 (en) * 2011-09-20 2016-01-26 Nokia Technologies Oy Method and apparatus for conducting a search based on available data modes
US20130106892A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
WO2013104054A1 (en) * 2012-01-10 2013-07-18 Smart Technologies Ulc Method for manipulating a graphical object and an interactive input system employing the same
US8763908B1 (en) * 2012-03-27 2014-07-01 A9.Com, Inc. Detecting objects in images using image gradients
US9916514B2 (en) * 2012-06-11 2018-03-13 Amazon Technologies, Inc. Text recognition driven functionality
KR102068604B1 (ko) * 2012-08-28 2020-01-22 삼성전자 주식회사 휴대단말기의 문자 인식장치 및 방법
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US9619488B2 (en) * 2014-01-24 2017-04-11 Microsoft Technology Licensing, Llc Adaptable image search with computer vision assistance
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
US9448704B1 (en) * 2015-04-29 2016-09-20 Dropbox, Inc. Navigating digital content using visual characteristics of the digital content
CN109997111A (zh) * 2016-11-15 2019-07-09 微软技术许可有限责任公司 跨应用的内容处理

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138830A1 (en) 2005-06-20 2009-05-28 Shekhar Ramachandra Borgaonkar Method, article, apparatus and computer system for inputting a graphical object
US9075520B2 (en) 2011-11-08 2015-07-07 Samsung Electronics Co., Ltd. Apparatus and method for representing an image in a portable terminal

Also Published As

Publication number Publication date
US20190057256A1 (en) 2019-02-21
US11113523B2 (en) 2021-09-07
US20170351917A1 (en) 2017-12-07
US20150146925A1 (en) 2015-05-28
US10115015B2 (en) 2018-10-30
US9767359B2 (en) 2017-09-19
KR20150059466A (ko) 2015-06-01

Similar Documents

Publication Publication Date Title
US11113523B2 (en) Method for recognizing a specific object inside an image and electronic device thereof
US10366519B2 (en) Operating method for image and electronic device supporting the same
KR102240279B1 (ko) 컨텐트 처리 방법 및 그 전자 장치
US10244177B2 (en) Method for processing image to generate relevant data based on user inputs and electronic device supporting the same
US11158057B2 (en) Device, method, and graphical user interface for processing document
US20160349936A1 (en) Method for outputting screen and electronic device supporting the same
CN115097981B (zh) 处理内容的方法及其电子设备
US10786196B2 (en) Display apparatus and control method thereof for skin care analysis
KR102488563B1 (ko) 차등적 뷰티효과 처리 장치 및 방법
US20150177903A1 (en) Method and apparatus for controlling scale resolution in electronic device
EP3510517B1 (en) Method of displaying user interface related to user authentication and electronic device for implementing same
KR20160103398A (ko) 이미지의 품질 측정 방법 및 장치
CN104036476A (zh) 用于提供增强现实的方法以及便携式终端
EP3831044B1 (en) Multi-region detection for images
US11523063B2 (en) Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
KR20160027862A (ko) 이미지 데이터를 처리하는 방법과 이를 지원하는 전자 장치
US20140348398A1 (en) Electronic apparatus and display control method
KR20230011349A (ko) 디바이스의 후면 부분 상의 트랙패드
US10909420B2 (en) Method and apparatus for continuously displaying images on basis of similarity of images
KR102303206B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
CN113273167B (zh) 数据处理设备、方法和存储介质
KR20180111242A (ko) 채색 가능한 콘텐트를 제공하는 전자 장치 및 그 방법
US10091436B2 (en) Electronic device for processing image and method for controlling the same
EP3834404B1 (en) A server for providing multiple services respectively corresponding to multiple external objects included in image
KR20230000932A (ko) 이미지를 분석하는 방법 및 분석 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131122

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181017

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20131122

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200121

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200730

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20201027

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201027

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201028

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230926

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240927

Start annual number: 5

End annual number: 5