KR20210032643A - 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법 - Google Patents

음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법 Download PDF

Info

Publication number
KR20210032643A
KR20210032643A KR1020190113902A KR20190113902A KR20210032643A KR 20210032643 A KR20210032643 A KR 20210032643A KR 1020190113902 A KR1020190113902 A KR 1020190113902A KR 20190113902 A KR20190113902 A KR 20190113902A KR 20210032643 A KR20210032643 A KR 20210032643A
Authority
KR
South Korea
Prior art keywords
information
smart terminal
photo
microphone
text
Prior art date
Application number
KR1020190113902A
Other languages
English (en)
Inventor
송혜선
Original Assignee
송혜선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송혜선 filed Critical 송혜선
Priority to KR1020190113902A priority Critical patent/KR20210032643A/ko
Priority to US16/860,099 priority patent/US20210082423A1/en
Publication of KR20210032643A publication Critical patent/KR20210032643A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명 음성 정보를 이용한 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법은 사진 촬영 시에 사용자가 홍길동과 같은 음성 정보를 제공하고 제공된 음성 정보를 문자 정보로 변환한 후 변환된 문자 정보와 촬영된 사진 정보를 매칭시켜 저장하는 단계와, 스마트 단말기를 활성화하고 사진 검색 어플을 활성화하여 스마트 단말기에 부착된 마이크를 구동하는 단계와, 사용자가 검색하고자 하는 사진 관련 정보를 음성으로 마이크에 입력하는 단계와 스마트 단말기에 저장된 문자 변환 모듈이 스마트 단말기의 마이크를 통하여 입력된 음성 정보를 문자 정보로 변환하는 단계와, 변환된 문자를 스마트 단말기의 제어부로 전송하는 단계와, 스마트 단말기 제어부가 메모리부에 저장된 사진 DB에서 수신된 문자 정보와 매칭하는 사진들을 검색하는 단계와, 스마트 단말기의 제어부가 검색된 사진 정보들을 표시부를 통하여 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

Description

음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법{Imagfe Checking system of Smart Terminal by Using Voice Data and Method Thereof}
본 발명은 음성 정보를 이용하여 스마트 단말기 또는 PC에 기저장된 사진을 검색하여 표출하는 것에 관한 것이다. 일반적으로 스마트 단말기는 카메라가 부착되어 있어서 스마트 단말기 소지자가 자연 풍경이나 인물 사진 등을 촬영하여 저장하지만 시간이 지난 후에는 기저장된 사진이 무엇이 있는지 알지 못하여 사진을 정리하거나 저장된 사진 정보를 제대로 이용할수 없는 것이다.
본 발명과 관련된 종래 기술은 대한민국 등록특허 제10-1264797호(2013. 5. 15일 공고)에 게시되어 있는 것이다. 도 1은 상기 종래의 휴대 단말기에서 얼굴 인식을 통한 사진 검색 방법 흐름도이다. 상기도 1에서 종래의 휴대 단말기에서 얼굴 인식을 통한 사진 검색 방법은 키 입력부(150)를 통한 기능키(또는 단축키) 또는 메뉴에서의 선택에 따라 사진 검색 메뉴를 표시하는 것으로부터 출발한다(301) 이후 사진 검색 메뉴로부터 얼굴인식을 통한 사진 검색이 요청되면, 상기 제어부(125)는 이를 인식하고(303), 얼굴인식 모드 전환 기능이 설정되어 있는지의 여부를 판단한다(305) 그리고 상기 판단 결과, 얼굴인식 모드 전환 기능이 설정되어 있지 않으면, 상기 제어부(125)는 얼굴인식 모드 전환 기능을 설정하고(306), 얼굴인식 모드 전환 기능이 설정되어 있으면, 상기 제어부(125)는 다음 단계를 진행한다. 한편 사진 검색 메뉴를 표시한 이후에, 사용자에 의한 요청에 따라 일반 모드로 사진을 검색할 수도 있다(304). 이어서 비교얼굴을 등록하는데 있어서, 사전 등록된 비교얼굴을 선택하기 위한 요구가 발생하면, 상기 제어부(125)는 이를 인식하고(307), 상기 메모리부(120)에 저장된 비교얼굴 사진폴더를 검색한다(309) 그리고 상기 검색을 통하여 비교얼굴이 선택되면, 상기 제어부(125)는 이를 인식하고(311), 얼굴인식 모드로 전환한다(313). 계속해서 얼굴인식 모드에서, 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 선택된 비교얼굴을 인식한다(315). 즉 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 선택된 비교얼굴로부터 얼굴의 동일성 인식에 유용한 분류자들에 해당하는 부분 이미지들을 추출한다. 그리고 상기 제어부(125)는 인식된 비교얼굴과 상기 메모리부(120)에 사전 저장된 앨범의 사진들에 포함된 얼굴들을 비교한다(317). 마지막으로 상기 비교 결과에 따라 상기 제어부(125)는 앨범으로부터 인식된 비교얼굴과 일치하는 얼굴이 포함된 사진이 검출되었는지의 여부를 판단한다(319) 그리고 상기 판단 결과, 인식된 비교얼굴과 일치하는 얼굴이 포함된 사진이 검출되면, 상기 제어부(125)는 검출된 사진을 상기 표시부(145)를 통해 표시한다(321) 즉 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 추출된 인식된 비교얼굴의 부분 이미지들과 유사한 이미지들을 갖는 얼굴이 포함된 사진을 앨범으로부터 검출하여 표시한다. 이 때 상기 제어부(125)는 하나 이상의 사진을 검출하여 검출된 사진을 리스트로서 표시할 수 있다. 더욱이 상기 제어부(125)는 표시된 리스트 중 사용자로부터 선택되는 사진을 풀스크린으로 표시할 수 있는 것이다.
상기와 같은 종래 기술은 얼굴 인식을 기반으로 사진 정보를 검색하므로 시스템에 부하 부담이 증가하는 문제점이 있는 것이다. 또한, 상기와 같이 구성된 종래 기술은 얼굴 정보를 비교하므로 검색 오류 가능성이 큰 것이다. 따라서 본 발명의 목적은 시스템이 부하 부담을 작게 하면서 사진 단말기 검색을 용이하게 하기 위한 것이다. 또한, 사진 검색에서 검색 오류 가능성을 줄이도록 하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 음성 정보를 이용한 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법은 사진 촬영 시에 사용자가 홍길동과 같은 음성 정보를 제공하고 제공된 음성 정보를 문자 정보로 변환한 후 변환된 문자 정보와 촬영된 사진 정보를 매칭시켜 저장하는 단계와, 스마트 단말기를 활성화하고 사진 검색 어플을 활성화하여 스마트 단말기에 부착된 마이크를 구동하는 단계와, 사용자가 검색하고자 하는 사진 관련 정보를 음성으로 마이크에 입력하는 단계와 스마트 단말기에 저장된 문자 변환 모듈이 스마트 단말기의 마이크를 통하여 입력된 음성 정보를 문자 정보로 변환하는 단계와, 변환된 문자를 스마트 단말기의 제어부로 전송하는 단계와, 스마트 단말기 제어부가 메모리부에 저장된 사진 DB에서 수신된 문자 정보와 매칭하는 사진들을 검색하는 단계와, 스마트 단말기의 제어부가 검색된 사진 정보들을 표시부를 통하여 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 음성 정보를 이용한 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법은 스마트 단말기 또는 PC에 저장된 수많은 사진들 중에서 키 워드를 이용하여 원하는 사진들을 선택하여 찾을 수 있는 효과가 있는 것이다. 또한, 본 발명은 음성 정보를 이용하므로 노인이나 어린이 등과 같이 문자를 쓰지 못하는 사용자에게 편리성을 제공할 수 있는 효과가 있는 것이다. 또한, 본 발명의 다른 효과는 사진 정보 저장 시에도 음성 정보를 이용하여 카테로리 별로 저장할 수 있어서 저장된 사진 정보의 활용도를 높일 수 있는 효과가 있는 것이다.
도 1은 종래의 휴대 단말기에서 얼굴 인식을 통한 사진 검색 방법 흐름도,
도 2는 본 발명 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 구성도,
도 3은 본 발명에 적용되는 스마트 단말기 상세 구성도,\
도 4는 본 발명에 적용되는 음성 정보를 이용한 스마트 단말기의 촬영 사진 저장방법 제1실시 예에 대한 제어 흐름도,
도 5는 본 발명에 적용되는 음성 정보를 이용한 스마트 단말기의 촬영 사진 저장방법 제2실시 예에 대한 제어 흐름도,
도 6은 본 발명 음성 정보를 이용한 스마트 단말기의 저장된 사진 검색 방법 제1실시 예에 대한 제어 흐름도,
도 7은 본 발명 음성 정보를 이용한 스마트 단말기의 저장된 사진 검색 방법 제2실시 예에 대한 제어 흐름도이다.
상기와 같은 목적을 가진 본 발명 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법을 도 2 내지 도 7을 기초로 설명하면 다음과 같다.
도 2는 본 발명 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 구성도이다. 상기도 2에서 본 발명 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템은 비밀번호 입력으로 활성화되고 사진 검색 앱 모듈(10)을 활성화하면 부착된 마이크(20)가 구동되고, 사용자가 마이크를 이용하여 검색하고자 하는 카테고리를 음성으로 입력하면, 입력된 음성 정보를 문자 정보로 변환하고, 변화된 문자 정보를 기초로 DB(30)를 검색하여 변환된 문자 정보에 매칭하는 사진 정보를 추출하여 표시부(60)를 통하여 제공하는 스마트 단말기(100)로 구성된 것을 특징으로 하는 것이다.
도 3은 본 발명에 적용되는 스마트 단말기의 상세 구성도이다. 상기도 3에서 본 발명에 적용되는 스마트 단말기(100)는 사진을 촬영하고 촬영된 사진 영상 정보를 메인 제어부(70)로 전송하는 카메라부(50)와, 사용자에 의하여 활성화되고 마이크를 구동하는 사진 검색 앱 모듈(10)과, 사진 검색 앱 모듈이 활성화되면 제어 신호를 수신하여 구동되고 사용자의 음성 정보를 수신하고 수신된 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 문자 변환모듈로 전송하는 마이크(20)와, 메모리부에 저장된 문자 정보(비밀번호 설정하도록 하는 문자 정보)를 메인 제어부의 제어에 따라 음성으로 제공하도록 하는 스피커(40)와, 마이크로부터 수신된 전기 신호를 문자 정보로 변환하는 문자 변환모듈(80)과, 촬영된 사진 정보를 카테고리별로 구분하여 저장하고 있는 사진 영상 DB(30)와, 카메라부(50)로터 촬영된 사진 영상 정보를 수신하고 검색어(또는 검색어 및 비밀 번호)와 매칭시켜 DB에 저장하도록 제어하고, 사용자의 비밀번호 정보를 수신받고 스마트 단말기를 활성화하며, 표시부(60)에 제공되는 사진 검색 앱 모듈을 사용자의 클릭 신호로 활성화하고 제어 신호를 마이크(20)로 전송하여 마이크를 구동하도록 제어하여 사용자의 음성 정보를 입력받도록 하고, 마이크로부터 음성 정보에 해당하는 전기 신호를 문자 변환모듈(80)로 전송하도록 제어하고, 변환된 문자 정보를 기초로 사진 영상 DB(30)에서 문자 정보에 매칭하는 사진 영상을 검색하고 메모리부(90)에 저장하며, 검색된 사진 영상 정보를 표시부(60)를 통하여 제공하도록 제어하고, 메모리부에 저장된 문자 정보를 음성으로 변환하여 스피커로 제공하도록 하는 메인 제어부(70)와, 검색된 문자 정보에 매칭하는 사진 영상 정보를 저장하는 메모리부(90)와, 검색된 사진 영상 정보를 표출하는 표시부(60)로 구성된 것을 특징으로 하는 것이다.
도 4는 본 발명에 적용되는 음성 정보를 이용한 스마트 단말기의 사진 저장방법 제1실시 예에 대한 제어 흐름도이다. 상기도 4에서 본 발명에 적용되는 음성 정보를 이용한 스마트 단말기의 촬영 사진 저장방법 제1실시 예는 스마트 단말기에 대하여 비밀번호를 입력하여 스마트 단말기를 활성화하는 단계(S11)와, 스마트 단말기의 표시부에 표시된 촬영 사진 저장 앱을 활성화하는 단계(S12)와, 촬영 사진 저장 앱(모듈)이 카메라 앱과 마이크 앱을 활성화하여 사진 촬영과 동시에 음성 정보를 입력받는 단계(S13)와, 스마트 단말기의 문자 변환모듈이 입력받은 음성정보를 문자 정보로 변환하는 단계(S14)와, 스마트 단말기 제어부가 입력된 영상 정보와 변환된 문자 정보를 매칭시켜서 사진 영상 DB에 저장하는 단계(S15)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기에서 영상 정보는 카메라가 전송하는 촬영 영상 및 촬영시간 정보일 수 있는 것이다. 또한, 상기에서 스마트 단말기로 입력되는 음성 정보는 스마트 단말기 사용자가 지정할 수 있는 것으로 사진촬영의 대상이 되는 사람 이름이 될 수도 있고, 풍경 촬영의 경우 사진 촬영 장소일 수 있으며, 생일과 같은 시간이 중요한 경우에는 사진 촬영 시간 정보일 수 있는 것이다.
도 5는 본 발명에 적용되는 음성 정보를 이용한 스마트 단말기의 촬영 사진 저장방법 제2실시 예에 대한 제어 흐름도이다. 상기도 5에서 본 발명에 적용되는 음성 정보를 이용한 스마트 단말기의 촬영 사진 저장방법 제2실시 예는 스마트 단말기에 대하여 비밀번호를 입력하여 스마트 단말기를 활성화하는 단계(S21)와, 스마트 단말기의 표시부에 표시된 촬영 사진 저장 앱을 활성화하는 단계(S22)와, 촬영 사진 저장 앱 모듈이 카메라 앱과 마이크 앱을 활성화하여 사진 촬영과 동시에 촬영 관련 음성 정보를 입력받는 단계(S23)와, 스마트 단말기의 문자 변환모듈가 입력받은 촬영 관련 음성정보를 문자 정보로 변환하는 단계(S24)와, 스마트 단말기의 제어부가 스피커를 통하여 메모리에 저장된 문자 메시지 "촬영 사진 저장를 위하여 비밀 번호를 설정하세요."를 음성정보로 제공하는 단계(S25)와, 스마트 단말기 사용자가 비밀 번호를 마이크에 음성으로 입력하는 단계(S26)와, 스마트 단말기의 문자 변환모듈이 비밀번호 음성을 문자로 변환하는 단계(S27)와, 스마트 단말기 제어부가 촬영사진, 문자로 변환된 촬영관련 음성정보 및 문자로 변환된 비밀 번호를 매칭시켜 DB에 저장하는 단계(S28)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기에서 음성 비밀 번호는 숫자, 영어 알파벳, 한글과 같이 음성으로 제공될 수 있는 다양한 형태가 될 수 있는 것이다.
도 6은 본 발명 음성 정보를 이용한 스마트 단말기의 저장된 사진 검색 방법 제1실시 예에 대한 제어 흐름도 이다. 상기도 6에서 본 발명 음성 정보를 이용한 스마트 단말기의 저장된 사진 검색 방법 제1실시 예는 스마트 단말기에 비밀 번호를 입력하여 스마트 단말기를 활성화하는 단계(S31)와, 스마트 단말기의 표시부를 통하여 제공되는 저장사진 검색 앱을 활성화하는 단계(S32)와, 스마트 단말기의 저장 사진 검색 앱 모듈이 스마트 단말기에 부착된 마이크를 활성화하는 단계(S33)와, 스마트 단말기 사용자가 마이크를 통하여 사진 검색어를 음성으로 입력하는 단계(S34)와, 스마트 단말기 마이크가 입력된 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 스마트 단말기 제어부로 전송하는 단계(S35)와, 스마트 단말기 제어부가 수신된 전기 신호를 문자 변환모듈로 전송하여 문자로 변환하도록 하는 단계(S36)와, 스마트 단말기 제어부가 변환된 문자를 수신하고 수신된 문자를 기초로 DB에 저장된 사진을 검색하는 단계(S37)와, 스마트 단말기 제어부가 검색된 사진 영상 정보를 표시부를 통하여 제공하는 단계(S38)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기 S37 단계에서 사진 검색에 실패하는 경우, 검색 실패 정보를 마이크를 통하여 음성으로 제공하는 단계 후 S34 단계로 이행되어 다른 사진 검색어를 입력하여 처리할 수 있는 것을 특징으로 하는 것이다.
도 7은 본 발명 음성 정보를 이용한 스마트 단말기의 저장된 사진 검색 방법 제2실시 예에 대한 제어 흐름도 이다. 상기도 7에서 본 발명 음성 정보를 이용한 스마트 단말기의 저장된 사진 검색 방법 제2실시 예는 스마트 단말기에 비밀 번호를 입력하여 스마트 단말기를 활성화하는 단계(S41)와, 스마트 단말기의 표시부를 통하여 제공되는 저장사진 검색 앱을 활성화하는 단계(S42)와, 스마트 단말기의 저장 사진 검색 앱 모듈이 스마트 단말기에 부착된 마이크를 활성화하는 단계(S43)와, 스마트 단말기 사용자가 마이크를 통하여 사진 검색 비밀 정보를 음성으로 입력하는 단계(S44)와, 스마트 단말기의 마이크가 음성 비밀 번호 정보를 전기 신호로 변환하여 제어부로 전송하는 단계(S45)와, 스마트 단말기 제어부가 수신된 전기 신호를 문자 변환모듈로 하여금 문자 정보로 변환하도록 하는 단계(S46)와, 스마트 단말기 제어부가 변환된 문자 정보를 수신하여 문자 정보를 검색하여 인증하는 단계(S47)와, 인증이 완료되면, 스마트 단말기의 제어부가 스피커를 통하여 비밀번호 인증 "오케이 정보"를 스피커를 통하여 음성으로 제공하고 검색할 사진에 대한 검색어를 요청하는 단계(S48)와, 스마트 단말기 사용자가 사진 검색어를 음성으로 마이크에 입력하는 단계(S49)와, 스마트 단말기 마이크가 입력된 사진 검색어 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 제어부로 전송하는 단계(S50)와, 제어부가 수신된 전기 신호를 문자 변환모듈로 전송하여 사진 검색어 문자로 변환하도록 하는 단계(S51)와, 제어부가 변환된 사진 검색어 문자를 수신하고 수신된 사진 검색어 문자를 기초로 사진 영상 DB에 저장된 사진을 검색하는 단계(S52)와, 스마트 단말기 제어부가 검색된 사진 영상 정보를 표시부를 통하여 제공하는 단계(S53)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기에서 S47 단계에서 인증에 실패하면 종료하는 것을 특징으로 하는 것이고, 또한, S52 단계에서 사진 검색에 실패하면 실패 정보를 마이크를 통하여 음성으로 제공하고 S48 단계로 이행되어 처리될 수 있는 것을 특징으로 하는 것이다.
10 : 사진 검색 앱 모듈, 20 : 마이크,
20 : 사진 영상 DB, 50 : 카메라부, 60 : 표시부, 70 : 메인 제어부, 80 : 문자 변환모듈, 90 : 메모리부

Claims (7)

  1. 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법은,
    스마트 단말기에 비밀 번호를 입력하여 스마트 단말기를 활성화하는 단계(S31)와;
    스마트 단말기의 표시부를 통하여 제공되는 저장사진 검색 앱을 활성화하는 단계(S32)와;
    스마트 단말기의 저장 사진 검색 앱 모듈이 스마트 단말기에 부착된 마이크를 활성화하는 단계(S33)와;
    스마트 단말기 사용자가 마이크를 통하여 사진 검색어를 음성으로 입력하는 단계(S34)와;
    스마트 단말기 마이크가 입력된 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 스마트 단말기 제어부로 전송하는 단계(S35)와;
    스마트 단말기 제어부가 수신된 전기 신호를 문자 변환모듈로 전송하여 문자로 변환하도록 하는 단계(S36)와;
    스마트 단말기 제어부가 변환된 문자를 수신하고 수신된 문자를 기초로 DB에 저장된 사진을 검색하는 단계(S37);
    및 스마트 단말기 제어부가 검색된 사진 영상 정보를 표시부를 통하여 제공하는 단계(S38)를 포함하여 이루어지는 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
  2. 제1항에 있어서,
    스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법은,
    상기 S37 단계에서 사진 검색에 실패하는 경우, 검색 실패 정보를 마이크를 통하여 음성으로 제공하는 단계 후 S34 단계로 이행되어 다른 사진 검색어를 입력하여 처리할 수 있는 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 스마트 단말기는,
    사진을 촬영하고 촬영된 사진 영상 정보를 메인 제어부(70)로 전송하는 카메라부(50)와;
    사용자에 의하여 활성화되고 마이크를 구동하는 사진 검색 앱 모듈(10)과;
    사진 검색 앱 모듈이 활성화되면 제어 신호를 수신하여 구동되고 사용자의 음성 정보를 수신하고 수신된 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 문자 변환모듈로 전송하는 마이크(20)와;
    메모리부에 저장된 문자 정보를 메인 제어부의 제어에 따라 음성으로 제공하도록 하는 스피커(40)와';
    마이크로부터 수신된 전기 신호를 문자 정보로 변환하는 문자 변환모듈(80)과;
    촬영된 사진 정보를 카테고리별로 구분하여 저장하고 있는 사진 영상 DB(30)와;
    카메라부(50)로터 촬영된 사진 영상 정보를 수신하고 검색어와 매칭시켜 사진영상 DB에 저장하도록 제어하고, 사용자의 비밀번호 정보를 수신받고 스마트 단말기를 활성화하며, 표시부(60)에 제공되는 사진 검색 앱 모듈을 사용자의 클릭 신호로 활성화하고, 제어 신호를 마이크(20)로 전송하여 마이크를 구동하도록 제어하여 사용자의 음성 정보를 입력받도록 하고, 마이크로부터 음성 정보에 해당하는 전기 신호를 문자 변환모듈(80)로 전송하도록 제어하고, 변환된 문자 정보를 기초로 사진 영상 DB(30)에서 문자 정보에 매칭하는 사진 영상을 검색하고 메모리부(90)에 저장하며, 검색된 사진 영상 정보를 표시부(60)를 통하여 제공하도록 제어하는 메인 제어부(70)와;
    검색된 문자 정보에 매칭하는 사진 영상 정보를 저장하는 메모리부(90);
    및 검색된 사진 영상 정보를 표출하는 표시부(60)로 구성된 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
  4. 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법은,
    스마트 단말기에 비밀 번호를 입력하여 스마트 단말기를 활성화하는 단계(S41)와;
    스마트 단말기의 표시부를 통하여 제공되는 저장사진 검색 앱을 활성화하는 단계(S42)와;
    스마트 단말기의 저장 사진 검색 앱 모듈이 스마트 단말기에 부착된 마이크를 활성화하는 단계(S43)와;
    스마트 단말기 사용자가 마이크를 통하여 사진 검색 비밀 정보를 음성으로 입력하는 단계(S44)와;
    스마트 단말기의 마이크가 음성 비밀 번호 정보를 전기 신호로 변환하여 제어부로 전송하는 단계(S45)와;
    스마트 단말기 제어부가 수신된 전기 신호를 문자 변환모듈로 하여금 문자 정보로 변환하도록 하는 단계(S46)와;
    스마트 단말기 제어부가 변환된 문자 정보를 수신하여 문자 정보를 검색하여 인증하는 단계(S47)와;
    인증이 완료되면, 스마트 단말기의 제어부가 스피커를 통하여 비밀번호 인증 "오케이 정보"를 스피커를 통하여 음성으로 제공하고 검색할 사진에 대한 검색어를 요청하는 단계(S48)와;
    스마트 단말기 사용자가 사진 검색어를 마이크에 음성으로 입력하는 단계(S49)와;
    스마트 단말기 마이크가 입력된 사진 검색어 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 제어부로 전송하는 단계(S50)와;
    스마트 단말기 제어부가 수신된 전기 신호를 문자 변환모듈로 전송하여 사진 검색어 문자로 변환하도록 하는 단계(S51)와;
    스마트 단말기 제어부가 변환된 사진 검색어 문자를 수신하고 수신된 사진 검색어 문자를 기초로 사진 영상 DB에 저장된 사진을 검색하는 단계(S52);
    및 스마트 단말기 제어부가 검색된 사진 영상 정보를 표시부를 통하여 제공하는 단계(S53)를 포함하여 이루어지는 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
  5. 제4항에 있어서,
    상기 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법은,
    S52 단계에서 사진 검색에 실패하면 실패 정보를 마이크를 통하여 음성으로 제공하고 S48 단계로 이행되어 처리될 수 있는 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
  6. 제4항에 있어서,
    상기 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법은,
    상기 S47 단계에서 인증에 실패하면 종료하는 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
  7. 제4항 또는 제5항 또는 제6항에 있어서,
    상기 스마트 단말기는,
    사진을 촬영하고 촬영된 사진 영상 정보를 메인 제어부(70)로 전송하는 카메라부(50)와;
    사용자에 의하여 활성화되고 마이크를 구동하는 사진 검색 앱 모듈(10)과;
    사진 검색 앱 모듈이 활성화되면 제어 신호를 수신하여 구동되고 사용자의 음성 정보를 수신하고 수신된 음성 정보를 전기 신호로 변환하고 변환된 전기 신호를 문자 변환모듈로 전송하는 마이크(20)와;
    메모리부에 저장된 문자 정보(비밀번호 설정하도록 하는 문자 정보)를 메인 제어부의 제어에 따라 음성으로 제공하도록 하는 스피커(40)와;
    마이크로부터 수신된 전기 신호를 문자 정보로 변환하는 문자 변환모듈(80)과;
    촬영된 사진 정보를 카테고리별로 구분하여 저장하고 있는 사진 영상 DB(30)와;
    카메라부(50)로터 촬영된 사진 영상 정보를 수신하고 검색어(또는 검색어 및 비밀 번호)와 매칭시켜 DB에 저장하도록 제어하고, 사용자의 비밀번호 정보를 수신받고 스마트 단말기를 활성화하며, 표시부(60)에 제공되는 사진 검색 앱 모듈을 사용자의 클릭 신호로 활성화하고 제어 신호를 마이크(20)로 전송하여 마이크를 구동하도록 제어하여 사용자의 음성 정보를 입력받도록 하고, 마이크로부터 음성 정보에 해당하는 전기 신호를 문자 변환모듈(80)로 전송하도록 제어하고, 변환된 문자 정보를 기초로 사진 영상 DB(30)에서 문자 정보에 매칭하는 사진 영상을 검색하고 메모리부(90)에 저장하며, 검색된 사진 영상 정보를 표시부(60)를 통하여 제공하도록 제어하고, 메모리부에 저장된 문자 정보를 음성으로 변환하여 스피커로 제공하도록 하는 메인 제어부(70)와;
    검색된 문자 정보에 매칭하는 사진 영상 정보를 저장하는 메모리부(90);
    및 검색된 사진 영상 정보를 표출하는 표시부(60)로 구성된 것을 특징으로 하는 스마트 단말기에 부착된 카메라부를 이용하여 촬영하고 저장한 사진 영상정보를 음성 정보를 검색하는 방법.
KR1020190113902A 2019-09-17 2019-09-17 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법 KR20210032643A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190113902A KR20210032643A (ko) 2019-09-17 2019-09-17 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법
US16/860,099 US20210082423A1 (en) 2019-09-17 2020-04-28 Image checking system of smart terminal by using voice data and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190113902A KR20210032643A (ko) 2019-09-17 2019-09-17 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법

Publications (1)

Publication Number Publication Date
KR20210032643A true KR20210032643A (ko) 2021-03-25

Family

ID=74868705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190113902A KR20210032643A (ko) 2019-09-17 2019-09-17 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법

Country Status (2)

Country Link
US (1) US20210082423A1 (ko)
KR (1) KR20210032643A (ko)

Also Published As

Publication number Publication date
US20210082423A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US11778032B2 (en) Using voice commands from a mobile device to remotely access and control a computer
US8615395B2 (en) Generating a display screen in response to detecting keywords in speech
US8462231B2 (en) Digital camera with real-time picture identification functionality
US20100165119A1 (en) Method, apparatus and computer program product for automatically taking photos of oneself
US10477265B2 (en) Method and apparatus for requesting data, and method and apparatus for obtaining data
CN112929557A (zh) 一种拍摄方法、装置、终端及存储介质
EP1717717B1 (en) Method of storing pictures and apparatus for the same
JP2017200179A (ja) 映像記録装置および映像記録方法
KR20210032643A (ko) 음성 정보를 이용한 스마트 단말기의 사진 검색 시스템 및 이를 이용한 사진 검색 방법
KR102144492B1 (ko) 음성 정보를 이용하여 촬영사진을 저장하고 검색하는 스마트 단말기 및 이를 이용한 스마트 단말기의 촬영사진 저장 및 검색 방법
JP2003069925A (ja) 付帯情報入力方法および装置並びにプログラム
KR101449862B1 (ko) 촬영 영상을 음성 인식된 정보와 매칭시켜 저장하기 위한 촬영 장치, 그 제어방법 및, 기록 매체
KR20080034248A (ko) 휴대 단말기에서 얼굴인식을 통한 사진 검색 방법
CN105871905B (zh) 认证方法和装置
KR101619091B1 (ko) 영상 전송 방법 및 이를 적용한 촬영장치
KR101132112B1 (ko) 주제별 앨범 관리 기능을 가지는 무선통신 단말기 및 그방법
KR20090011153A (ko) 이동통신 단말기 및 그의 데이터 전송 방법
KR20220121667A (ko) 스마트폰에서 사진 자동 레이블링 및 녹음 장치 및 방법
JP2022144053A (ja) オンライン申請サポートシステム
KR19990054504A (ko) 음성 인식이 가능한 카메라 및 그 제어 방법
KR20050077682A (ko) 명함 관리장치
KR20070023182A (ko) 음성안내를 통한 멀티미디어 메시지 전송이 가능한이동통신 단말기 및 그 방법
TW201523417A (zh) 螢幕按鍵控制方法及系統
KR20110020579A (ko) 컨텐츠 수신 방법, 컨텐츠 송신 방법 및 이를 적용한 멀티미디어 기기

Legal Events

Date Code Title Description
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101001492; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20200603

Effective date: 20210513