KR20150092390A - 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법 - Google Patents

음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법 Download PDF

Info

Publication number
KR20150092390A
KR20150092390A KR1020140012154A KR20140012154A KR20150092390A KR 20150092390 A KR20150092390 A KR 20150092390A KR 1020140012154 A KR1020140012154 A KR 1020140012154A KR 20140012154 A KR20140012154 A KR 20140012154A KR 20150092390 A KR20150092390 A KR 20150092390A
Authority
KR
South Korea
Prior art keywords
image
image file
voice
unit
tagging
Prior art date
Application number
KR1020140012154A
Other languages
English (en)
Other versions
KR101592981B1 (ko
Inventor
이혁
황해연
Original Assignee
주식회사 엠앤엘솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠앤엘솔루션 filed Critical 주식회사 엠앤엘솔루션
Priority to KR1020140012154A priority Critical patent/KR101592981B1/ko
Publication of KR20150092390A publication Critical patent/KR20150092390A/ko
Application granted granted Critical
Publication of KR101592981B1 publication Critical patent/KR101592981B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers

Abstract

본 발명에 따른 음성기반 이미지 파일 태깅 장치는, 마이크와 카메라와 메모리와 통신부를 포함하는 휴대용 통신 단말기에 탑재되는 음성기반 이미지 파일 태깅장치로서, 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하는 음성 처리부와 카메라에서 출력되는 영상신호를 프레임 단위로 신호 처리하여 출력하는 영상신호 처리부와 영상신호 처리부에서 출력되는 프레임 단위의 원 영상 이미지를 캡쳐하여 이미지 파일을 생성하고 음성 처리부에서 처리된 상기 이미지에 대한 설명데이터를 이미지 파일 내에 삽입하는 이미지 태깅부와 이미지에 대한 설명데이터가 삽입된 이미지 파일을 압축하여 메모리에 저장하는 정지영상 저장부와 메모리로부터 이미지 파일을 독출하여 통신부를 통해 이미지 공유 서비스 서버로 전송하는 영상파일 전송부를 포함한다.

Description

음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법{Apparatus for tagging image file based in voice and method for searching image file based in cloud services using the same}
본 발명은 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법에 관한 것으로, 보다 상세하게는 카메라로 촬영한 이미지에 대한 설명데이터를 이미지 파일의 표준포맷규격에 맞춰 저장 및 이미지 공유 서비스 서버로 전송하고, 또한 사용자가 확실한 키워드를 입력하지 못했더라도 사용자가 원하는 이미지를 정확하게 검색하여 제공할 수 있는 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법에 관한 것이다.
사진, 도면 등과 같은 이미지 정보를 갖는 이미지 파일은 다양한 포맷(즉, 데이터 구조)과 확장자를 가지며, 이러한 이미지 파일은 이미지 정보뿐만 아니라, 사용자 정보 또는 이미지와 관련된 부가 정보를 포함하기도 한다. 그러나 종래의 이미지 파일에 추가되는 부가 정보는 사용자 정보 내지는 이미지 메타 정보에 국한되어 있다.
한국공개특허 제10-2013-0094401호는 이미지 파일의 종류(JPEG, PNG, GIF 등)에 상관없이 이미지 파일 내에 애니메이션 데이터를 추가 및 저장하고 이를 활용할 수 있는 방법에 대하여 기재되어 있다. 한국공개특허 제10-2013-0078376호는 촬상된 이미지 데이터에 위치정보와 함께 추가정보를 입력하여 저장한 후 그 저장된 이미지와 추가정보를 목적지 이메일주소로 전송하고 그 전송받은 단말기에서 전용뷰어를 통해 그 전송받은 이미지와 추가정보를 동시에 표시하는 영상물의 이미지에 텍스트정보를 결합하여 전송하는 기술이 기재되어 있다.
그러나, 선행문헌들은 사용자가 사진을 촬영하고 사용자로 하여금 이미지에 대한 설명데이터를 쉽게 입력할 수 있고, 또한 이미지 저장공간 및 데이터 전송량을 줄일 수 있고, 사용자가 확실한 키워드를 입력하지 못했더라도 사용자가 원하는 이미지를 정확하게 검색하여 제공할 수 있는 기술은 기재되어 있지 않다.
한편, 일반적으로 사람들은 국내 또는 해외 여행을 하다면서 카메라 또는 카메라가 장착된 스마트폰, 태블릿 PC를 이용하여 사진을 촬영하게 된다. 그런데, 이러한 사진들을 분류하여 저장하지 않으면 나중에 정리하기도 힘들고, 소중한 장소들에 대하여 정확히 기억 하기도 힘든 상황에 처하게 된다. 또한, 이미지 파일들은 저장공간을 많이 차지함으로 저장공간 확보를 위해 사용자는 오래된 사진들을 저장공간에서 삭제하거나 다른 곳에 저장해야 하는데, 이러한 작업 역시 사용자가 일일히 사진을 확인하면서 해야 함으로 번거롭고 시간이 많이 소요되는 문제점이 있다.
한국공개특허 제10-2013-0094401호(공개일 2013.08.26) 한국공개특허 제10-2013-0078376호(공개일 2013.07.10)
본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 카메라로 촬영한 이미지에 대한 설명데이터를 이미지 파일의 표준포맷규격에 맞춰 저장 및 미리 지정된 외부 서버로 전송함으로서, 이미지 저장공간 및 데이터 전송량을 줄일 수 있는 음성기반 이미지 파일 태깅장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 자동으로 오래된 사진들부터 미리 지정된 외부 서버로 전송하고 메모리에서 삭제하는 음성기반 이미지 파일 태깅장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 사용자가 확실한 키워드를 입력하지 못했더라도 사용자가 원하는 이미지를 정확하게 검색하여 제공할 수 있는 클라우드 서비스 기반 이미지 파일 검색방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 음성기반 이미지 파일 태깅 장치는 마이크와 카메라와 메모리와 통신부를 포함하는 휴대용 통신 단말기에 탑재되는 음성기반 이미지 파일 태깅장치로서, 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하는 음성 처리부와, 카메라에서 출력되는 영상신호를 프레임 단위로 신호 처리하여 출력하는 영상신호 처리부와, 영상신호 처리부에서 출력되는 프레임 단위의 원 영상 이미지를 캡쳐하여 이미지 파일을 생성하고 음성 처리부에서 처리된 이미지에 대한 설명데이터를 이미지 파일 내에 삽입하되 이미지에 대한 설명데이터가 삽입될 이미지 파일의 특정 필드의 표준포맷규격 크기보다 큰 경우 이미지에 대한 설명데이터 중 일부만을 이미지 파일 내에 삽입하는 이미지 태깅부와, 이미지에 대한 설명데이터가 삽입된 이미지 파일을 압축하여 메모리에 저장하는 정지영상 저장부와, 메모리로부터 이미지 파일을 독출하여 통신부를 통해 미리 지정된 외부 서버로 전송하는 영상파일 전송부를 포함한다.
상기 음성 처리부는 음절 복원 규칙에 따라 복원 문자열을 생성하는 것을 특징으로 한다. 영상파일 전송부는 메모리에 저장된 이미지 파일들 중 시간적으로 가장 오래된 이미지 파일들을 미리 지정된 외부 서버로 전송하고 메모리에서 삭제하는 것을 특징으로 한다.
본 발명의 다른 양상에 따른 클라우드 서비스 기반 이미지 공유 서비스 서버에서 실행되는 이미지 파일 검색방법은, 휴대용 통신 단말기로부터 이미지에 대한 설명데이터가 삽입된 이미지 파일을 입력받아 저장하는 단계와, 상기 이미지 파일에서 이미지에 대한 설명데이터를 검출하는 단계와, 상기 이미지에 대한 설명데이터에 대해 형태소 분석을 수행하여 상기 이미지에 대한 설명데이터에 포함된 단어를 획득하는 단계와, 상기 획득한 단어와 연관관계를 갖는 복수개의 단어를 연관모델 데이터베이스에서 검색하는 단계와, 상기 이미지에 대한 설명데이터에 포함된 단어와 상기 검색한 연관된 단어를 이미지 파일에 대한 색인정보로 저장하는 단계와,
네트워크로 연결된 휴대용 통신 단말기로부터 검색 키워드를 포함하는 이미지 검색요청정보가 입력되면, 상기 검색 키워드와 동일 또는 검색 키워드를 포함하는 단어 또는 상기 검색 키워드와 연관된 단어를 상기 인덱스 데이터베이스로부터 검색하고, 검색된 단어에 해당하는 이미지 파일을 이미지 데이터베이스에서 읽어들이는 단계와, 이미지 데이터베이스에서 읽어들인 이미지 파일을 휴대용 통신 단말기로 전송하는 단계를 포함한다.
본 발명의 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법에 따르면 다음과 같은 장점이 있다.
첫째, 카메라에서 출력되는 영상신호로부터 이미지 표준포맷(JPG, GIF, PNG, BMP 등) 규격으로 이미지 파일을 생성하고 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하여 이미지 파일에 삽입하도록 구현됨으로써, 사용자로 하여금 이미지에 대한 설명데이터를 쉽게 입력할 수 있도록 하는 장점이 있다.
둘째, 카메라로 촬영한 이미지에 대한 설명데이터를 이미지 표준포맷(JPG, GIF, PNG, BMP 등) 규격을 위배하지 않는 범위(256B 이내)에서 저장 및 이미지 공유 서비스 서버로 전송하도록 구현됨으로써, 장치의 이미지 저장공간 및 데이터 전송량을 줄일 수 있는 효과가 있다.
셋째, 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하면서 음절 복원 규칙에 따라 문자열을 복원, 예를 들어,‘목쩍찌’는‘목적지’,‘부사느로’는‘부산으로’정확히 복원하도록 구현됨으로써, 이미지 공유 서비스 서버의 키워드 검색 정확도를 높일 수 있다.
넷째, 음성기반 이미지 파일 태깅 장치는 오래된 이미지 파일들을 저장공간에서 외부 서버에 저장하고 해당 이미지들을 삭제함으로써, 메모리의 저장공간을 자동으로 조절할 수 있고 사용자가 일일히 사진을 확인하면서 이미지 파일을 정리해야했던 번거로움을 해소해 준다.
다섯째, 이미지에 대한 설명데이터에 대해 형태소 분석을 수행하여 이미지에 대한 설명데이터에 포함된 단어뿐만 아니라, 단어에 대한 연관 분석을 수행하여 얻은 연관된 단어를 이미지 파일에 대한 색인정보로 저장하도록 구현됨으로써, 이미지 공유 서비스 서버는 사용자가 확실한 검색 키워드를 입력하지 못했더라도 사용자가 원하는 이미지를 정확하게 검색하여 제공할 수 있다.
도 1은 본 발명에 따른 전체 시스템을 도시한다.
도 2 는 본 발명의 일 실시예에 따른 음성기반 이미지 파일 태깅장치의 구성 블록도이다.
도 3 은 본 발명에 따른 클라우드 서비스 기반 이미지 공유 서비스 서버의 구성 블록도이다.
도 4a, 도4b 는 본 발명에 따른 클라우드 서비스 기반 이미지 공유 서비스 서버에서 실행되는 이미지 파일 검색방법 흐름도이다.
이하, 첨부된 도면을 참조하여 전술한, 그리고 추가적인 양상을 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
본 발명에 따른 전체 시스템은 도 1에 도시한 바와 같이, 음성기반 이미지 파일 태깅장치(110)가 탑재된 휴대용 통신 단말기(100)와, 휴대용 통신 단말기(100)와 네트워크를 통해 연결되는 클라우드 서비스 기반 이미지 공유 서비스 서버(150)를 포함하여 구현된다. 휴대용 통신 단말기(100)는 일례로, 스마트폰, 노트북, 태블릿 PC, 또는 카메라 연결이 가능한 워치폰(Watch Phone) 중 어느 하나로 구현될 수 있다. 클라우드 서비스 기반 이미지 공유 서비스 서버(150)는 웹 서버 또는 앱 서버 또는 클라우드 서버로 구현될 수 있다.
휴대용 통신 단말기(100)는 유무선 인터넷 및 CDMA, W-CDMA, 블루투스(Bluetooth), IEEE 802.11 표준을 따르는 무선랜(Wireless LAN, WLAN), 와이파이(Wi-Fi), 와이브로(WiBro) 통신이 가능한 통신부와, 사용자 조작명령 및 데이터 입력이 가능한 수단, 예컨대 마이크, 숫자키와 기능키 등으로 이루어지는 키패드, 터치 패널, 필기체 입력수단, 음성 인식수단을 갖는다. 휴대용 통신 단말기(100)는 피사체 촬영시에 감지되는 광신호를 전기적 신호로 변환하는 카메라 센서와, 카메라 센서로부터 얻어지는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 포함하는 카메라부를 포함하여 구현된다. 카메라 센서는 CCD로 구현 가능하며 신호처리부는 DSP로 구현 가능하다. 이러한 카메라 센서와 신호 처리부는 일체형으로 구현할 수 있으며 분리구현도 가능하다.
휴대용 통신 단말기(100)는 단말기의 동작을 전반적으로 제어하기 위한 프로그램 데이터가 저장되는 프로그램 메모리, 단말기 제어 동작시 발생하는 데이터를 일시 저장하기 위한 데이터 메모리, 그리고 본 발명의 실시예에 따라 촬영된 원 영상 이미지 데이터들을 저장하는 메모리와, 메모리에 저장된 제어 프로그램 데이터에 기초하여 카메라 폰의 동작을 전반적으로 제어하는 제어부를 포함한다. 휴대용 통신 단말기(100)에는 일례로, 카메라에서 출력되는 영상신호로부터 이미지 표준포맷(JPG, GIF, PNG, BMP 등) 규격으로 이미지 파일을 생성하고 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하여 이미지 파일에 삽입하여 저장하며 이미지 공유 서비스 서버로 전송하도록 하는 전용 앱(APP)이 탑재될 수 있다.
본 발명의 일 실시예에 따른 음성기반 이미지 파일 태깅장치(110)는 도 2에 도시한 바와 같이, 음성 처리부(111)와 영상신호 처리부(112)와 이미지 태깅부(113)와 정지영상 저장부(114)와 영상파일 전송부(115)를 포함하여 구현된다. 음성기반 이미지 파일 태깅장치(110)는 물리적인 하드웨어로 구현될 수도 있고, 앱 스토어(APP STORE)를 통해 다운로드되는 단말기 전용 앱(APP)으로 구현될 수도 있다.
음성 처리부(111)는 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하는 STT(Sound-To-Text) 기능을 포함하여 구현될 수 있다. 일례로, 음성 처리부(111)는 음절 복원 규칙에 따라 복원 문자열을 생성한다. 한국어는 하나의 형태소 내부 또는 형태소와 형태소 사이에서 말소리가 바뀌는 음운 변동이 일어날 수 있다. 따라서, 음성 인식 과정에서 적용된 음운 변동을 역으로 해석하여 원래의 발화 문장으로 바꾸어주는 음절 복원 과정이 필요하다. 예를 들어,‘목적지’는‘목쩍찌’,‘길을’은‘기를’혹은‘?을’과 같이 인식될 수 있다. 이러한 경우, 인식된 정보는 음절 복원 규칙에 따라‘목쩍찌’는‘목적지’,‘부사느로’는‘부산으로’,‘설쩡함니다’는‘설정합니다’로 복원되어 복원 문자열을 생성할 수 있다. 또한 음성 처리부(111)는 복원 문자열에 대하여 추가적으로 형태소 분석을 통해 복원 문자열이 문법적으로 올바른 어절인지 여부를 판단하고 정확한 문자열을 결정할 수 있다.
영상신호 처리부(112)는 카메라에서 출력되는 영상신호를 프레임 단위로 신호 처리하여 출력한다. 이미지 태깅부(113)는 영상신호 처리부(112)에서 출력되는 프레임 단위의 원 영상 이미지를 캡쳐하여 적어도 JPEG, GIF, PNG, BMP 중 어느 하나의 포맷으로 이미지 파일을 생성하고, 음성 처리부(111)에서 처리된 이미지에 대한 설명데이터를 이미지 파일 내에 삽입한다. 예를 들어, JPEG의 경우 Application Marker 필드 내에 이미지에 대한 설명데이터가 삽입되며, GIF의 경우 Application Extension Block 필드 내에 이미지에 대한 설명데이터가 삽입된다.
이미지 태깅부(113)는 이미지에 대한 설명데이터가 삽입될 이미지 파일의 특정 필드의 표준포맷규격 크기보다 큰 경우, 상기 이미지에 대한 설명데이터 중 일부만을 이미지 파일 내에 삽입한다. 예를 들어, 사용자가 마이크로“성산 일출봉 해돋이”라고 입력한 경우, 이미지 태깅부(113)는“성산 일출봉 해돋이”가 JPEG의 Application Marker 필드의 크기(2byte)를 초과하는 경우,“성산 일출봉 해돋이”에서, 해돋이를 삭제하고 “성산 일출봉”을 삽입한다.
정지영상 저장부(114)는 이미지에 대한 설명데이터가 삽입된 이미지 파일을 압축하여 메모리에 저장한다. 영상파일 전송부(115)는 메모리로부터 이미지 파일을 독출하여 통신부를 통해 이미지 공유 서비스 서버(150)로 전송한다. 영상파일 전송부(115)는 메모리에 저장된 이미지 파일들 중 시간적으로 가장 오래된 이미지 파일들을 미리 지정된 외부 서버로 전송하고 메모리에서 삭제하도록 구현될 수 있다. 일례로, 미리 지정된 외부 서버는 다음 카페, SNS, 싸이월드, 이미지 공유 서비스 서버(150)일 수 있다.
본 발명에 따른 이미지 공유 서비스 서버(150)는 도 3에 도시한 바와 같이, 유무선 인터넷 및 CDMA, W-CDMA, 블루투스(Bluetooth), IEEE 802.11 표준을 따르는 무선랜(Wireless LAN, WLAN), 와이파이(Wi-Fi), 와이브로(WiBro) 통신이 가능한 통신부(151)와, 이미지 파일 분석부(152)와, 연관 단어 검색부(153)와, 이미지 검색 처리부(154)와, 이미지 데이터베이스(155)/연관모델 데이터베이스(156)/인덱스 데이터베이스(157)를 포함한다.
이미지 파일 분석부(152)는 이미지 파일에서 이미지에 대한 설명데이터를 검출한다. 일례로, 이미지에 대한 설명데이터는“성산 일출봉”이고, 이미지는 성산 일출봉인 것으로 가정한다. 이미지 파일 분석부(152)는 검출한 설명데이터에 대해 형태소 분석을 수행하여 이미지에 대한 설명데이터에 포함된 단어를 획득한다. 이미지에 대한 설명데이터가“성산 일출봉”인 경우,“성산”,“일출봉”이라는 단어를 획득한다.
연관 단어 검색부(153)는 단어에 대한 연관 분석을 수행하여 이미지 파일 분석부(152)서 획득한 단어와 연관관계를 갖는 복수개의 단어를 연관모델 데이터베이스(156)에서 검색한다(S414). 일례로,“성산”,“일출봉”이라는 단어와 연관관계를 갖는 단어로“제주도”,“서귀포”,“섭지코지”,“해녀촌”를 연관모델 데이터베이스(156)에서 검색할 수 있다.
연관모델이란 단어들 간의 연관관계를 기반으로 모델링(Modeling)한 데이터 구조로서, 그 대표적인 예로 온톨로지(Ontology)가 있다. 온톨로지란 지식의 특정 영역 내에 존재하는 실체 및 상호작용의 작업모델로서, 일정한 추론 규칙에 따라 특정 단어와 연관된 단어들이 계층적으로 연결된다. 연관모델 데이터베이스(156)에는 일정한 추론 규칙에 따라 특정 단어와 연관된 단어들이 계층적으로 저장되어 있다.
이미지 공유 서비스 서버(150)는 이미지에 대한 설명데이터에 포함된 단어와 연관된 단어를 이미지 파일에 대한 색인정보로 인덱스 데이터베이스(157)에 저장한다. 이미지 검색 처리부(154)는 휴대용 통신 단말기로부터 검색 키워드를 포함하는 이미지 검색요청정보가 입력되면, 검색 키워드와 동일 또는 검색 키워드를 포함하는 단어를 인덱스 데이터베이스(157)로부터 검색하고, 검색된 단어에 해당하는 이미지 파일을 이미지 데이터베이스(155)에서 읽어들인다. 이후, 이미지 검색 처리부(154)는 이미지 데이터베이스(155)에서 읽어들인 이미지 파일을 휴대용 통신 단말기로 전송한다.
본 발명에 따른 클라우드 서비스 기반 이미지 공유 서비스 서버에서 실행되는 이미지 파일 검색방법은 도 4a, 도4b 에 도시한 바와 같이, 먼저, 이미지 공유 서비스 서버는 휴대용 통신 단말기로부터 이미지에 대한 설명데이터가 삽입된 이미지 파일을 수신한다(S411). 이미지 파일은 JPEG, GIF, PNG, BMP 일 수 있으며, 예를 들어, JPEG의 경우 Application Marker 필드 내에 이미지에 대한 설명데이터가 삽입되며, GIF의 경우 Application Extension Block 필드 내에 이미지에 대한 설명데이터가 삽입된다.
이후, 이미지 공유 서비스 서버는 단계 S411에서 수신한 이미지 파일에서 이미지에 대한 설명데이터를 검출한다(S412). 일례로, 이미지에 대한 설명데이터는“성산 일출봉”이고, 이미지는 성산 일출봉인 것으로 가정한다. 이미지 공유 서비스 서버는 단계 S412에서 검출한 설명데이터에 대해 형태소 분석을 수행하여 상기 이미지에 대한 설명데이터에 포함된 단어를 획득한다(S413). 이미지에 대한 설명데이터가“성산 일출봉”인 경우,“성산”,“일출봉”이라는 단어를 획득한다.
이후, 이미지 공유 서비스 서버는 단계 S413에서 획득한 단어에 대한 연관 분석을 수행하여 단계 S413에서 획득한 단어와 연관관계를 갖는 복수개의 단어를 연관모델 데이터베이스에서 검색한다(S414). 일례로,“성산”,“일출봉”이라는 단어와 연관관계를 갖는 단어로“제주도”,“서귀포”,“섭지코지”,“해녀촌”를 연관모델 데이터베이스에서 검색할 수 있다.
이후, 이미지 공유 서비스 서버는 단계 S413에서 획득한 이미지에 대한 설명데이터에 포함된 단어와 단계 S414에서 검색한 연관된 단어를 단계 S411에서 수신한 이미지 파일에 대한 색인정보로 인덱스 데이터베이스에 저장한다(S415). 이에 따라 사용자는 음성기반 이미지 파일 태깅장치가 탑재된 휴대용 통신 단말기에서 사진을 촬영한 후,“성산 일출봉”이라는 음성을 마이크를 통해 입력하기만 하면, 이미지 공유 서비스 서버에 “성산 일출봉”이라는 텍스트에 포함된 “성산”,“일출봉”이라는 단어와 연관관계를 갖는“제주도”,“서귀포”,“섭지코지”,“해녀촌”이라는 연관 단어들을 이미지 파일에 대한 색인정보로 인덱스 데이터베이스에 자동으로 저장할 수 있게 되는 것이다.
이후, 이미지 공유 서비스 서버는 네트워크로 연결된 휴대용 통신 단말기로부터 검색 키워드를 포함하는 이미지 검색요청정보가 입력되면(S416), 검색 키워드와 동일 또는 검색 키워드를 포함하는 단어를 인덱스 데이터베이스로부터 검색하고(S417), 검색된 단어에 해당하는 이미지 파일을 이미지 데이터베이스에서 읽어들인다(S418). 이후, 이미지 공유 서비스 서버는 이미지 데이터베이스에서 읽어들인 이미지 파일을 상기 휴대용 통신 단말기로 전송한다(S419).
지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 본 발명의 실시예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (7)

  1. 마이크와 카메라와 메모리와 통신부를 포함하는 휴대용 통신 단말기에 탑재되는 음성기반 이미지 파일 태깅장치로서,
    상기 마이크를 통해 입력되는 사용자 음성신호를 텍스트로 변환하는 음성 처리부;
    상기 카메라에서 출력되는 영상신호를 프레임 단위로 신호 처리하여 출력하는 영상신호 처리부;
    상기 영상신호 처리부에서 출력되는 프레임 단위의 원 영상 이미지를 캡쳐하여 이미지 파일을 생성하고, 상기 음성 처리부에서 처리된 상기 이미지에 대한 설명데이터를 상기 이미지 파일 내에 삽입하되 상기 이미지에 대한 설명데이터가 삽입될 이미지 파일의 특정 필드의 표준포맷규격 크기보다 큰 경우, 상기 이미지에 대한 설명데이터 중 일부만을 상기 이미지 파일 내에 삽입하는 이미지 태깅부;
    상기 이미지에 대한 설명데이터가 삽입된 이미지 파일을 압축하여 상기 메모리에 저장하는 정지영상 저장부; 및
    상기 메모리로부터 이미지 파일을 독출하여 상기 통신부를 통해 미리 지정된 외부 서버로 전송하는 영상파일 전송부;
    를 포함함을 특징으로 하는 음성기반 이미지 파일 태깅장치.
  2. 청구항 1에 있어서,
    상기 음성 처리부는 음절 복원 규칙에 따라 복원 문자열을 생성하는 것,
    을 특징으로 음성기반 이미지 파일 태깅장치.
  3. 청구항 1에 있어서,
    상기 음성기반 이미지 파일 태깅장치는 스마트폰, 노트북, 태블릿 PC, 또는 카메라 연결이 가능한 워치폰(Watch Phone) 중 어느 하나에 탑재되는 것을 특징으로 음성기반 이미지 파일 태깅장치.
  4. 청구항 1에 있어서,
    상기 이미지 태깅부는, JPEG, GIF, PNG, BMP 중 어느 하나의 포맷으로 이미지 파일을 생성하는 것,
    을 특징으로 음성기반 이미지 파일 태깅장치.
  5. 청구항 1에 있어서,
    상기 영상파일 전송부는,
    상기 메모리에 저장된 이미지 파일들 중 시간적으로 가장 오래된 이미지 파일들을 미리 지정된 외부 서버로 전송하고 상기 메모리에서 삭제하는 것,
    을 특징으로 음성기반 이미지 파일 태깅장치.
  6. 청구항 1 내지 청구항 5 중 적어도 어느 한 항에 기재된 음성기반 이미지 파일 태깅장치가 탑재되는 휴대용 통신 단말기와 네트워크를 통해 연결되는 클라우드 서비스 기반 이미지 공유 서비스 서버에서 실행되는 이미지 파일 검색방법으로서,
    상기 이미지 공유 서비스 서버가 휴대용 통신 단말기로부터 이미지에 대한 설명데이터가 삽입된 이미지 파일을 입력받아 저장하는 단계;
    상기 이미지 파일에서 이미지에 대한 설명데이터를 검출하는 단계;
    상기 이미지에 대한 설명데이터에 대해 형태소 분석을 수행하여 상기 이미지에 대한 설명데이터에 포함된 단어를 획득하는 단계;
    상기 획득한 단어와 연관관계를 갖는 복수개의 단어를 연관모델 데이터베이스에서 검색하는 단계;
    상기 이미지에 대한 설명데이터에 포함된 단어와 상기 검색한 연관된 단어를 이미지 파일에 대한 색인정보로 저장하는 단계;
    네트워크로 연결된 휴대용 통신 단말기로부터 검색 키워드를 포함하는 이미지 검색요청정보가 입력되면, 상기 검색 키워드와 동일 또는 상기 검색 키워드를 포함하는 단어 또는 상기 검색 키워드와 연관된 단어를 상기 인덱스 데이터베이스로부터 검색하고, 검색된 단어에 해당하는 이미지 파일을 이미지 데이터베이스에서 읽어들이는 단계; 및
    상기 이미지 데이터베이스에서 읽어들인 이미지 파일을 상기 휴대용 통신 단말기로 전송하는 단계;
    를 포함하는 것을 특징으로 클라우드 서비스 기반 이미지 파일 검색방법.
  7. 청구항 6에 있어서, 상기 휴대용 통신 단말기는 스마트폰, 노트북, 태블릿 PC, 또는 카메라 연결이 가능한 워치폰(Watch Phone) 중 어느 하나인 것,
    을 특징으로 클라우드 서비스 기반 이미지 파일 검색방법.
KR1020140012154A 2014-02-03 2014-02-03 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법 KR101592981B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140012154A KR101592981B1 (ko) 2014-02-03 2014-02-03 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140012154A KR101592981B1 (ko) 2014-02-03 2014-02-03 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법

Publications (2)

Publication Number Publication Date
KR20150092390A true KR20150092390A (ko) 2015-08-13
KR101592981B1 KR101592981B1 (ko) 2016-02-12

Family

ID=54056696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140012154A KR101592981B1 (ko) 2014-02-03 2014-02-03 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법

Country Status (1)

Country Link
KR (1) KR101592981B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016109A (zh) * 2017-04-14 2017-08-04 维沃移动通信有限公司 一种照片电影制作方法及移动终端
KR20190066537A (ko) * 2017-12-05 2019-06-13 라이브픽쳐스(주) 음성인식 기반의 사진 공유 방법, 장치 및 시스템
US10347296B2 (en) 2014-10-14 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for managing images using a voice tag
KR102144492B1 (ko) * 2020-01-16 2020-08-13 송혜선 음성 정보를 이용하여 촬영사진을 저장하고 검색하는 스마트 단말기 및 이를 이용한 스마트 단말기의 촬영사진 저장 및 검색 방법
KR20220138512A (ko) 2021-04-05 2022-10-13 이피엘코딩 주식회사 모바일 기기에서의 음성 태깅을 이용한 영상 학습 및 인식 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595790B1 (ko) * 2018-01-26 2023-10-30 삼성전자주식회사 전자 장치 및 그의 제어방법
KR20200054350A (ko) 2018-11-02 2020-05-20 (주)구름연구소 클라우드 기반의 음성정보 서비스 운용방법 및 음성정보 서비스 운용시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276187A (ja) * 2004-02-26 2005-10-06 Sharp Corp 画像識別方法および端末装置
KR20070115194A (ko) * 2006-06-01 2007-12-05 (주) 엘지텔레콤 태그기반 사진파일 관리방법
KR20080004772A (ko) * 2006-07-06 2008-01-10 삼성전자주식회사 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법
KR20100013172A (ko) * 2008-07-30 2010-02-09 삼성디지털이미징 주식회사 동영상 대표 이미지 설정 방법 및 장치
KR20130078376A (ko) 2011-12-30 2013-07-10 김시복 영상물의 이미지에 텍스트정보를 결합하여 전송하는 정보결합장치 및 그 제어방법
KR20130094401A (ko) 2012-02-16 2013-08-26 삼성전자주식회사 이미지 파일의 인코딩 및 디코딩 방법, 기계로 읽을 수 있는 저장 매체 및 멀티미디어 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276187A (ja) * 2004-02-26 2005-10-06 Sharp Corp 画像識別方法および端末装置
KR20070115194A (ko) * 2006-06-01 2007-12-05 (주) 엘지텔레콤 태그기반 사진파일 관리방법
KR20080004772A (ko) * 2006-07-06 2008-01-10 삼성전자주식회사 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법
KR20100013172A (ko) * 2008-07-30 2010-02-09 삼성디지털이미징 주식회사 동영상 대표 이미지 설정 방법 및 장치
KR20130078376A (ko) 2011-12-30 2013-07-10 김시복 영상물의 이미지에 텍스트정보를 결합하여 전송하는 정보결합장치 및 그 제어방법
KR20130094401A (ko) 2012-02-16 2013-08-26 삼성전자주식회사 이미지 파일의 인코딩 및 디코딩 방법, 기계로 읽을 수 있는 저장 매체 및 멀티미디어 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347296B2 (en) 2014-10-14 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for managing images using a voice tag
CN107016109A (zh) * 2017-04-14 2017-08-04 维沃移动通信有限公司 一种照片电影制作方法及移动终端
CN107016109B (zh) * 2017-04-14 2018-11-30 维沃移动通信有限公司 一种照片电影制作方法及移动终端
KR20190066537A (ko) * 2017-12-05 2019-06-13 라이브픽쳐스(주) 음성인식 기반의 사진 공유 방법, 장치 및 시스템
WO2019112145A1 (ko) * 2017-12-05 2019-06-13 라이브픽쳐스(주) 음성인식 기반의 사진 공유 방법, 장치 및 시스템
KR102144492B1 (ko) * 2020-01-16 2020-08-13 송혜선 음성 정보를 이용하여 촬영사진을 저장하고 검색하는 스마트 단말기 및 이를 이용한 스마트 단말기의 촬영사진 저장 및 검색 방법
KR20220138512A (ko) 2021-04-05 2022-10-13 이피엘코딩 주식회사 모바일 기기에서의 음성 태깅을 이용한 영상 학습 및 인식 방법

Also Published As

Publication number Publication date
KR101592981B1 (ko) 2016-02-12

Similar Documents

Publication Publication Date Title
KR101592981B1 (ko) 음성기반 이미지 파일 태깅장치 및 그를 이용한 클라우드 서비스 기반 이미지 파일 검색방법
KR101782923B1 (ko) 유사성 확정 방법, 장치, 단말, 프로그램 및 저장매체
US20120062766A1 (en) Apparatus and method for managing image data
US20080320033A1 (en) Method, Apparatus and Computer Program Product for Providing Association of Objects Using Metadata
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
KR102196199B1 (ko) 음성인식 기반의 사진 공유 방법, 장치 및 시스템
JP2008083863A (ja) コンテンツ管理装置、ウェブサーバ、ネットワークシステム、コンテンツ管理方法、コンテンツ情報管理方法およびプログラム
CN104158945A (zh) 通话信息获取方法、装置及系统
US20150278248A1 (en) Personal Information Management Service System
KR20130072138A (ko) 촬상장치, 정보처리장치, 및 제어 방법
CN116415594A (zh) 问答对生成的方法和电子设备
KR101871779B1 (ko) 사진 촬영 및 관리 어플리케이션을 구비한 단말기
JP2007018166A (ja) 情報検索装置、情報検索システム、情報検索方法及び情報検索プログラム
US20110305406A1 (en) Business card recognition system
KR20140060217A (ko) 오디오 신호에 의해 메시지를 포스팅하는 시스템 및 방법
CN113408208B (zh) 模型训练方法、信息提取方法、相关装置及存储介质
US20160335500A1 (en) Method of and system for generating metadata
JP6056375B2 (ja) 情報処理システム、情報処理方法、及び、コンピュータプログラム
CN104252475A (zh) 定位图片中文本信息的方法及装置
JP2007052581A (ja) メタデータ生成装置、メタデータ生成システム、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
CN108255917B (zh) 图像管理方法、设备及电子设备
US20120179676A1 (en) Method and apparatus for annotating image in digital camera
JP5059080B2 (ja) 音声情報検索システム及び音声情報検索方法
CN114239501A (zh) 合同生成方法、装置、设备及介质
JP6107003B2 (ja) 辞書更新装置、音声認識システム、辞書更新方法、音声認識方法、および、コンピュータ・プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 5