KR20130133872A - 자동화된 대화 지원 - Google Patents

자동화된 대화 지원 Download PDF

Info

Publication number
KR20130133872A
KR20130133872A KR1020137027289A KR20137027289A KR20130133872A KR 20130133872 A KR20130133872 A KR 20130133872A KR 1020137027289 A KR1020137027289 A KR 1020137027289A KR 20137027289 A KR20137027289 A KR 20137027289A KR 20130133872 A KR20130133872 A KR 20130133872A
Authority
KR
South Korea
Prior art keywords
user
words
profile information
search query
user profile
Prior art date
Application number
KR1020137027289A
Other languages
English (en)
Inventor
사미르 에스. 솔리만
소함 브이 세스
비자야라크쉬미 알. 라빈드란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130133872A publication Critical patent/KR20130133872A/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • G06F16/337Profile generation, learning or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936Speech interaction details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4938Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2207/00Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/40Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place terminals with audio html browser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

자동화된 대화 지원(automated conversation assistance)을 제공하기 위한 방법들, 장치들, 시스템들, 및 컴퓨터-판독가능 매체가 제시된다. 하나 또는 그 초과의 양상들에 따르면, 컴퓨팅 디바이스는 컴퓨팅 디바이스의 사용자와 관련된 사용자 프로파일 정보를 획득할 수 있고, 상기 사용자 프로파일 정보는 사용자와 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트를 포함한다. 후속하여, 컴퓨팅 디바이스는, 사용자 프로파일 정보에 기초하여, 탐색 질의에 포함시키기 위해 캡쳐된 스피치로부터 하나 또는 그 초과의 단어들을 선택할 수 있다. 다음으로, 컴퓨팅 디바이스는 선택된 하나 또는 그 초과의 단어들에 기초하여 탐색 질의를 생성할 수 있다.

Description

자동화된 대화 지원{AUTOMATED CONVERSATION ASSISTANCE}
관련 출원들에 대한 상호-참조
본 특허 출원은, 본원에 그 전체가 인용에 의해 모든 목적들을 위해 포함되는, 발명의 명칭이 "Mobile Device Acting As Automated Information Assistant During Audio Processing"인 2011년 3월 16일에 출원된 미국 가특허 출원 제61/453,532호, 및 발명의 명칭이 "Automated Conversation Assistance"인 2011년 12월 9일에 출원된 미국 가특허 출원 제61/569,068호의 우선권을 주장한다.
본 개시물의 양상들은 컴퓨팅 기술들에 관한 것이다. 특히, 본 개시물의 양상들은 이동 컴퓨팅 디바이스 기술들, 예컨대, 자동화된 대화 지원(automated conversation assistance)을 제공하기 위한 시스템들, 방법들, 장치들, 및 컴퓨터-판독가능 매체에 관한 것이다.
몇몇 현재 시스템들은 스피치-텍스트 기능들을 제공할 수 있고/있거나 사용자들로 하여금 캡쳐된 오디오에 기초하여 탐색들(예컨대, 인터넷 탐색들)을 수행하도록 허용할 수 있다. 그러나, 이러한 현재 시스템들은, 이들이 탐색 단어들 및 문구들을 수락할 수 있는 범위뿐만 아니라 사용자가 탐색 단어 및 문구들 및/또는 탐색되어야 하는 다른 정보를 수동으로 선택 및/또는 편집하는 것이 필요할 수 있는 정도로 종종 제한된다. 본 개시물의 양상들은 자동화된 대화 지원을 제공하기 위해 탐색하는 지적 콘텐츠(intelligent content)와 결합하여 강화된 스피치-텍스트 기능들을 구현함으로써 컴퓨팅 디바이스들, 예컨대, 이동 컴퓨팅 디바이스들의 사용자에게 더욱 많은 편리성 그리고 더 많은 기능을 제공한다.
자동화된 대화 지원을 제공하기 위한 시스템들, 방법들, 장치들, 및 컴퓨터-판독가능 매체가 제시된다. 앞서 언급된 바와 같이, 몇몇 현재 시스템들은 스피치-텍스트 기능들을 제공할 수 있고/있거나 사용자들로 하여금 캡쳐된 오디오에 기초하여 탐색들(예컨대, 인터넷 탐색들을 수행하도록 허용할 수 있으며, 이러한 현재 기술들은 이러한 탐색들이 캡쳐된 단일 단어들 또는 짧은 문구들로 제한되도록 한정된다. 사실상, 더 긴 스피치와 관련된 오디오가 이러한 현재 시스템들 중 하나에 의해 캡쳐되었다면, 사용자는 어떤 단어들 및/또는 문구들이 탐색될지 수동으로 특정해야만 할 수도 있다.
그러나, 본 개시물의 양상들을 구현함으로써, 디바이스는 더 긴 스피치(예컨대, 전화기 호출, 라이브 프리젠테이션, 대면형(face-to-face) 또는 직접(in-person) 논의, 라디오 프로그램, 텔레비전 프로그램의 오디오 부분 등)를 캡쳐할 수 있을 뿐만 아니라, 스피치에서 논의되는 하나 또는 그 초과의 토픽들에 관한 관련 정보를 사용자에게 제공하도록 탐색될 스피치로부터 단어들을 현명하게 선택할 수 있다. 유리하게, 본원에 설명된 이러한 특징들 및/또는 다른 특징들은 이동 디바이스들 및/또는 다른 컴퓨팅 디바이스들의 사용자들에게 증가된 기능 및 개선된 편리성을 제공할 수 있다. 추가적으로 또는 대안적으로, 본원에 설명된 이러한 특징들 및/또는 다른 특징들은 캡쳐된 스피치로부터 사용자에 의해 흡수된 정보의 양 및/또는 품질을 증가시키고/증가시키거나 그렇지 않으면 강화할 수 있다.
본 개시물의 하나 또는 그 초과의 양상들에 따르면, 컴퓨팅 디바이스는 컴퓨팅 디바이스의 사용자와 관련된 사용자 프로파일 정보를 획득할 수 있고, 사용자 프로파일 정보는 사용자와 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트를 포함할 수 있다. 후속하여, 컴퓨팅 디바이스는, 사용자 프로파일 정보에 기초하여, 탐색 질의에 포함시키기 위해 캡쳐된 스피치로부터 하나 또는 그 초과의 단어들을 선택할 수 있다. 다음으로, 컴퓨팅 디바이스는 선택된 하나 또는 그 초과의 단어들에 기초하여 탐색 질의를 발생시킬 수 있다.
하나 또는 그 초과의 배열들에서, 하나 또는 그 초과의 단어들을 선택하기 전에, 컴퓨팅 디바이스는 캡쳐된 스피치에 대응하는 오디오 데이터를 수신할 수 있고, 오디오 데이터는 전화기 호출, 라이브 프리젠테이션, 대면형 논의, 라디오 프로그램, 및 텔레비전 프로그램 중 하나와 관련될 수 있다. 다른 배열들에서, 사용자 프로파일 정보는 사용자에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들의 리스트를 더 포함할 수 있다.
적어도 하나의 배열에서, 컴퓨팅 디바이스는 하나 또는 그 초과의 사전 캡쳐된 스피치들에서 사전에 검출되었던 하나 도는 그 초과의 단어들의 리스트에 캡쳐된 스피치로부터의 적어도 하나의 단어를 부가할 수 있다. 이러한 방식으로, 사전에 직면된, 검출된 및/또는 탐색된 단어들의 데이터베이스가, 예를 들어 일정 시간의 기간 동안 설계될 수 있다. 유리하게, 이는 컴퓨팅 디바이스로 하여금 탐색될 단어들을 현명하게 선택하게 하도록 인에이블할 수 있어서, (그리고, 예를 들어, 이에 따라 사용자가 친숙할 수 있는) 사전에 직면된, 검출된, 및/또는 탐색된 정보가 다시 탐색되지 않을 수 있으며, (그리고, 예를 들어, 이에 따라 사용자가 친숙하지 않을 수 있는) 새로운 및/또는 사전에 직면된, 검출된, 및/또는 탐색되지 않은 정보가 (예컨대, 이러한 다른 정보보다 더욱 두드러지게 디스플레이됨으로써) 탐색될 수 있고 그리고/또는 다른 정보에 비해 우선순위화될 수 있다.
하나 또는 그 초과의 추가적인 및/또는 대안적인 배열들에서, 사용자 프로파일 정보는 사용자의 직업, 교육, 또는 관심들에 관한 정보를 포함할 수 있다. 일부 배열들에서, 컴퓨팅 디바이스는 사용자 프로파일 정보와 유사한 프로파일 정보를 갖는 하나 또는 그 초과의 다른 사용자들에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들에 더 한 하나 또는 그 초과의 단어들을 선택할 수 있다. 예를 들어, 이하 논의되는 바와 같이, 키워드들의 리스트는 유사한 프로파일 정보를 갖는 사용자들이 관심을 갖는 하나 또는 그 초과의 단어들을 정의할 수 있으며, 키워드들의 리스트는 탐색 질의들을 실행시키기 위해 생성하고 결정하는데 이용될 수 있다. 추가로 또는 대안적으로, 이하 논의되는 바와 같이, 제외 리스트는, 특정 사용자들(예컨대, 유사한 프로파일 정보를 갖는 특정 사용자들)이 관심을 갖지 않는 하나 또는 그 초과의 단어들을 정의할 수 있고, 제외 리스트는 탐색 질의들을 생성하고 및/또는 탐색 질의들을 실행시키도록 결정하는데 이용될 수 있다.
적어도 하나의 추가적인 및/또는 대안적인 배열에서, 탐색 질의를 생성하는 것에 응답하여, 컴퓨팅 디바이스는 탐색 질의를 실행할 수 있다. 후속하여, 컴퓨팅 디바이스는 탐색 질의의 결과들을 사용자에게 디스플레이하게 할 수 있고, 결과들은 캡쳐된 스피치에 포함된 적어도 하나의 토픽에 관한 정보를 포함할 수 있다. 추가적으로 도는 대안적으로, 결과들은 캡쳐된 스피치가 결론을 내렸음을 검출하는 것에 응답하여 사용자에게 디스플레이될 수 있다. 다른 배열들에서, 결과들은 실시간으로(예컨대, 스피치가 캡쳐됨에 따라서) 사용자에게 디스플레이될 수 있다. 이하 논의되는 바와 같이, 단어들, 문구들, 문장들, 및/또는 문단들의 수와 같은 팩터들은 실시간 결과들이 디스플레이될지 여부 및/또는 방법에 영향을 줄 수 있다.
본 개시물의 양상들은 첨부 도면들을 예시의 방법으로 예시되며, 유사한 참조 번호들은 유사한 엘리먼트들을 나타낸다.
도 1a는 본 개시물의 하나 또는 그 초과의 양상들을 구현하는 예시의 시스템을 나타낸다.
도 1b는 본 개시물의 하나 또는 그 초과의 양상들을 구현하는 다른 예시의 시스템을 예시한다.
도 2a는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따라서 자동화된 대화 지원을 제공하는 예시의 방법을 예시한다.
도 2b는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따라서 탐색 질의에 포함시키기 위한 하나 또는 그 초과의 단어들을 선택하는 예시의 방법을 예시한다.
도 3a, 도 3b, 도 3c, 및 도 3d는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따라서 콘텐츠 데이터 세트들의 예들을 예시한다.
도 4는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따른 사용자 프로파일의 예를 예시한다.
도 5는, 본 개시물의 하나 또는 그 초과의 양상들이 구현될 수 있는 예시의 컴퓨팅 시스템을 예시한다.
이제, 몇몇 예시적인 실시예들이 그 일부를 형성하는 첨부된 도면들과 관련하여 설명될 것이다. 본 개시물의 하나 또는 그 초과의 양상들이 구현될 수 있는 특정 실시예들이 이하 설명되지만, 다른 실시예들이 이용될 수 있고, 본 개시물의 범위 또는 첨부된 청구항들의 사상으로부터 벗어나지 않고 다양한 변형들이 이루어질 수 있다.
본 개시물의 다양한 양상들이 구현되는 예시의 시스템이 도 1a에 예시된다. 도 1a에서 관찰되는 바와 같이, 이동 컴퓨팅 디바이스일 수 있는 사용자 디바이스(110)는 서버(100)와 통신하고 있을 수 있다. 서버(100)는, 오디오 데이터(예컨대, 사용자 디바이스에 의해 캡쳐된 스피치에 대응하는 오디오 데이터)를 수신하여 텍스트 및/또는 문자 데이터로 변환하도록 함께 동작할 수 있는 오디오 컨버터(120) 및 스피치-텍스트 엔진(125)을 포함할 수 있다. 서버(100)는 또한 사용자 프로파일 데이터베이스(130)(예컨대, 여기서 다양한 사용자들과 관련된 정보가 저장될 수 있음) 및 탐색 인터페이스(135)(예컨대, 이를 통해서, 하나 또는 그 초과의 인터넷 탐색 질의들이 실행될 수 있고, 이를 통해서 하나 또는 그 초과의 데이터베이스 질의들이 실행될 수 있는 식임)를 포함할 수 있다.
본 개시물의 하나 또는 그 초과의 양상들을 구현하는 시스템의 대안적인 예가 도 1b에 예시된다. 도 1b에서 관찰되는 바와 같이, 하나 또는 그 초과의 추가적인 및/또는 대안적인 배열들에서, 이동 디바이스(150)는, 이동 디바이스(150)가 스피치를 프로세싱하고 인식하기 위해 그리고/또는 탐색 질의들을 생성하고 실행하기 위해 서버(예컨대, 서버(100), 서버(175) 등)에 의존하는 대신에 스피치를 프로세싱하고 인식하고 그리고 탐색 질의들(예컨대, 이하 더욱 상세하게 설명된 바와 같이)을 생성하고 실행할 수 있도록 조합하여 또는 단독으로 동작할 수 있는 하나 또는 그 초과의 컴포넌트들 및/또는 모듈들을 포함할 수 있다. 예를 들어, 이동 디바이스(150)는 오디오 데이터(예컨대, 이동 디바이스(150)에 의해 캡쳐된 스피치에 대응하는 오디오 데이터)를 수신하고 텍스트 및/또는 문자 데이터로 변환하기 위해 함께 동작할 수 있는 오디오 컨버터(155) 및 스피치-텍스트 엔진(160)을 포함할 수 있다. 이동 디바이스(150)는 또한 사용자 프로파일 정보 모듈(165)(예컨대, 그 내부에 이동 디바이스(150)의 하나 또는 그 초과의 사용자들에 관한 정보가 저장될 수 있음) 및 탐색 인터페이스(170)(예컨대, 이를 통해서 하나 또는 그 초과의 인터넷 탐색 질의들이 실행될 수 있고, 이를 통해서 하나 또는 그 초과의 데이터베이스 질의들이 실행될 수 있는 식임)를 포함할 수 있다. 추가적으로 또는 대안적으로, 몇몇 이러한 배열들에서, 서버는 (예컨대, 이동 디바이스(150) 내에 포함된 유사한 컴포넌트들 및/또는 모듈들에 대한 리던던시를 제공하도록) 서버(100)에 포함된 임의의 및/또는 모든 컴포넌트들 및/또는 모듈들을 포함할 수 있고, 이러한 배열들 이외의 다른 배열들에서는, 서버(175)는 (예를 들어, 복수의 디바이스들에 무선 통신 서비스들의 제공을 용이하게 하기 위해) 무선 프로세싱 스택(180), 사용자 프로파일 정보 데이터베이스(185)(예컨대, 그 내부에서 이동 디바이스(150) 및/또는 다른 유사 디바이스들의 하나 또는 그 초과의 사용자들에 관한 정보가 저장될 수 있음), 및/또는 (예컨대, 하나 또는 그 초과의 인터넷 탐색 질의들, 하나 또는 그 초과의 데이터베이스 질의들 등을 실행하는데 있어서 하나 또는 그 초과의 이동 디바이스들을 실행 및/또는 지원할 수 있는) 탐색 인터페이스(190)만을 포함할 수 있다. 앞서 논의된 바와 같이, 이러한 배열들에서, 이동 디바이스(150)과 같은 사용자 디바이스들 자체는 스피치를 인식할 수 있고 서버(175) 대신에 탐색 질의들을 생성할 수 있다.
본 개시물의 하나 또는 그 초과의 양상들에 따르면, 도 1a 및/또는 도 1b의 예시의 시스템의 하나 또는 그 초과의 엘리먼트들이 자동화된 대화 지원을 제공하는데 있어서 도 2a에 예시된 예시의 방법의 임의의 및/또는 모든 단계들을 수행할 수 있다. 예를 들어, 단계(200)에서, 사용자 디바이스(110)(예컨대, 스마트 폰, 태블릿 컴퓨터, 개인용 디지털 보조기구 등과 같은 이동 디바이스)는 스피치를 (예컨대, 마이크로폰을 통해서 스피치를 나타내는 오디오 데이터를 기록함으로써) 캡쳐할 수 있다.
후속하여, 사용자 디바이스(110)는 캡쳐된 스피치에 대응하는 오디오 데이터를 송신할 수 있고, 서버(100)는 단계(205)에서 캡쳐된 스피치에 대응하는 오디오 데이터를 수신할 수 있다.
후술하는 단계들 중 몇몇에서, 도 1a의 서버(100)는 다양한 단계들을 수행하는 것으로서 설명되며, 하나 또는 그 초과의 추가적인 및/또는 대안적인 실시예들(예컨대, 서버(100) 이외에 이동 디바이스(150)가 스피치를 프로세싱하고 인식하며 탐색 질의들을 생성하고 실행시킴)에서, 동일한 및/또는 유사한 단계들이 도 1b의 이동 디바이스(150)에 의해 수행될 수 있다.
서버(100)가 오디오 데이터를 수신하면, 서버(100)는 단계(210)에서 사용자 프로파일 정보(예컨대, 스피치를 캡쳐한 사용자 디바이스(110)의 사용자와 관련된 사용자 프로파일 정보)를 로딩할 수 있다. 하나 또는 그 초과의 배열들에서, 사용자 프로파일 정보는 사전에 탐색되었던 단어들(예컨대, 방법의 사전 반복들 동안 사용자에 의해 탐색되었던 단어들)의 리스트를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 프로파일 정보는 사용자의 직업, 교육, 또는 관심들에 관한 정보를 포함할 수 있다.
앞서 논의된 바와 같이, 단계(210)에서 로딩된 사용자 프로파일 정보는, 사용자에 의해 사전에 직면되었던 및/또는 사용자 디바이스(110)(및/또는 사용자를 수반하는 스피치들을 분석하는데 있어서 서버(100))에 의해 식별된 및/또는 다른 방식으로 캡쳐된 단어들과 같은, 사용자와 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트를 포함하는 사용자와 관련된 정보(예컨대, 사용자 디바이스(110)의 사용자에 관한 정보)를 포함할 수 있다. 예를 들어, 사용자가 문장 "퀄컴사의 엔지니어입니다"라고 사전에 듣고(그리고 사용자 디바이스(110)가 그 문장에 대응하는 오디오를 사전에 캡쳐했고), 그후, 그 자체의 문구 및/또는 전체 문구에 포함된 단어들 각각이 캡쳐된 스피치들에서 사전에 검출되었던 단어들의 리스트에 저장될 수 있다. 후속하여, (디바이스가 이 문구를 다시 검출할 수 있도록) 사용자가 이 문구에 다시 직면하는 경우, 사용자와 관련된 사용자 프로파일 정보에 기초하여, 디바이스는, 사용자가 그 문구 그리고 그 안에 포함된 단어들 모두에 사전에 직면하였으며 이에 따라 후속 탐색 질의를 형성하는데 있어서 그 문구(또는 그 문구에 포함된 임의의 단어들)를 포함하지 않을 수 있는 것으로 결정할 수 있다. 이하 논의되는 바와 같이, 임의의 캡쳐된 단어들이 사용자 프로파일과 관련된 키워드들의 리스트 및/또는 사용자 프로파일과 관련된 제외 리스트에 포함되는지의 여부와 같은 추가적인 요인들도 또한 고려될 수 있다.
다음으로, 단계(215)에서, 서버(100)는 오디오 데이터(구체적으로는, 오디오 데이터에 포함된 스피치)를 텍스트 및/또는 문자 데이터(예를 들어, 하나 또는 그 초과의 스트링들)로 변환할 수 있다. 후속하여, 단계(220)에서, 서버(100)는 탐색 질의에 포함시킬 (예컨대, 변환된 오디오 데이터로부터) 하나 또는 그 초과의 단어들을 선택할 수 있다. 특히, 서버(100)는, 탐색 질의가 특정 사용자의 배경 및 지식에 적응되도록, 사용자 프로파일 정보에 기초하여 단어들을 선택할 수 있다. 일 배열에서, 예를 들어, 서버(100)는 사용자로서 유사한 프로파일 정보를 갖는 다른 사용자들(예컨대, 사용자로서 동일한 직업, 교육, 또는 관심들을 갖는 다른 사용자들)에 의해 탐색되었던 단어들에 기초하여 탐색 질의에 포함시키기 위한 단어들을 선택할 수 있다. 하나 또는 그 초과의 배열들에서, 서버(100)는 단계(220)에서 이하 더욱 상세하게 설명될 도 2b에 예시된 예시의 방법의 하나 또는 그 초과의 단계들을 수행함으로써 탐색 질의에 포함시키기 위한 하나 또는 그 초과의 단어들을 선택할 수 있다.
다음으로, 탐색 질의에 포함시키기 위한 하나 또는 그 초과의 단어들을 선택하는 도 2a를 다시 참조하여, 서버(100)는 단계(225)에서 (예컨대, 하나 또는 그 초과의 접속사들 및/또는 다른 탐색 수식어(search modifier)들을 이용하여 선택된 단어들을 함게 스트링함으로써) 탐색 질의를 생성할 수 있다. 다음으로, 단계(230)에서, 서버(100)는 (예컨대, 탐색 질의를 인터넷 탐색 엔진, 뉴스 및/또는 저널 탐색 인터페이스 등으로 통과시킴으로써) 탐색 질의를 실행할 수 있다. 서버(100)가 실행된 탐색 질의의 결과들을 수신하면, 서버(100)는 단계(235)에서 사용자 디바이스(110)에 탐색 결과들을 전송하고, 다음으로 단계(240)에서 탐색 결과들을 사용자에게 디스플레이할 수 있다. 하나 또는 그 초과의 양상들에 따르면, 탐색 결과들은 캡쳐된 스피치에 포함된 적어도 하나의 토픽에 관한 더욱 상세한 정보, 예컨대, 사용자가 익숙하지 않을 수 있는 단어 또는 문구의 정의, 사용자가 이전에 노출되지 않았을 수도 있는 스피치에서 언급된 기술적 개념들을 설명하는 저널 아티클(journal article) 등을 포함할 수 있다.
하나 또는 그 초과의 배열들에서, 탐색 질의의 생성 및 실행은 실시간으로(예를 들어, 캡쳐된 스피치가 사용자 디바이스(110)에 의해 발생하고/하거나 캡쳐됨에 따라서) 수행될 수 있고, 마찬가지로 서버(100)는 이러한 탐색 결과들이 수신됨에 따라서 사용자 디바이스(110)에 탐색 결과들을 전달할 수 있다. 그러나, 적어도 하나의 배열에서, 사용자 디바이스(110)는, 사용자 디바이스(110)가 캡쳐된 스피치가 종료되었음을 검출할 때까지 (예를 들어, 특정 임계치를 초과하는 침묵 기간에 기초하여 및/또는 다른 표시들, 예컨대, 라이브 프리젠테이션의 경우에 박수의 검출 또는 대면형 논의 또는 전화기 호출의 경우에서 "안녕(goodbye)" 또는 "잘 지내(take care)"와 같은 작별 인사의 검출에 기초하여) 임의의 이러한 탐색 결과들을 디스플레이하기 위해 대기하도록 구성될 수 있다.
탐색 질의의 생성 및 실행이 실시간으로 (예를 들어, 서버(100)에 의해 또는 이동 디바이스(150)에 의해) 수행되는 배열들에서, 탐색 질의가 생성되고 실행되어야만 하는 시기를 (예를 들어, 캡쳐된 스피치 동안 어떤 특정 시점) 결정하는 것은 캡쳐된 스피치의 길이 및/또는 특성에 의존할 수 있다. 예를 들어, 탐색 질의가 실시간으로 생성되고 실행되는 일부 배열들에서, 서버(100) 또는 이동 디바이스(150)는, 단어들, 문구들, 문장들, 또는 문단들의 임계 개수가 캡쳐된 이후에 (예를 들어, 도 2b를 참조하여 이하 논의된 바와 같이, 하나 또는 그 초과의 선택된 단어들을 이용하여) 탐색 질의를 자동으로 생성 및 실행하도록 구성될 수 있다. 예를 들어, 서버(100) 또는 이동 디바이스(150)는, 전체 문장이 캡쳐될 때 언제든지, 2개의 전체 문장들이 캡쳐될 때 언제든지, 전체 문단이 캡쳐될 때 언제든지 캡쳐된 단어들의 선택된 단어들을 이용하여 탐색 질의를 자동으로 생성하고 실행하도록 구성될 수 있다. 탐색 질의가 실시간으로 생성되고 실행되는 다른 배열들에서, 서버(100) 또는 이동 디바이스(150)는 새로운 개념(예를 들어, 새로운 유형의 기술)이 캡쳐된 스피치에 포함될 때 언제든지 탐색 질의를 자동으로 생성 및 실행하도록 구성될 수 있으며, 이는 캡쳐중인 대화 또는 스피치에서 시프트(shift)를 나타낼 수 있고 이에 따라 사용자가 탐색 결과들을 관찰하기 희망할 수 있는 시점일 수 있다.
탐색 질의가 실시간으로 생성 및 실행되는 또 다른 배열들에서, 서버(100) 또는 이동 디바이스(150)는 검출된 단어 또는 문구와 관련된 사용자-정의된 및/또는 사전정의된 우선순위 레벨에 의존하여 탐색 질의를 자동으로 생성 및 실행하도록 구성될 수 있다. 예를 들어, 일부 단어들은 이러한 단어들이 검출되면 그 단어들에 기초하는 탐색이 즉시 생성 및 실행되도록 "높은" 우선순위를 갖는 것으로 고려될 수 있고, 다른 단어들은 이러한 단어들이 검출되면 그 단어들에 기초하는 탐색이 미리결정된 시간량 이내(예컨대, 30초 이내, 1분 이내 등)에 및/또는 단어들 및/또는 문구들의 임계 개수 이후에 (예컨대,2개의 추가적인 문장들이 캡쳐된 후, 2개의 문단들이 캡쳐된 후 등) 생성 및 실행되도록 "보통" 우선순위를 갖는 것으로 고려될 수 있다. 추가적으로 또는 대안적으로, 상이한 사용자들의 상이한 사용자 프로파일 정보에 기초하여, 상이한 단어들이 상이한 유형의 사용자들에 대해 "높은" 우선순위 및 "보통" 우선순위로 고려될 수 있다. 상이한 유형들의 사용자들에 대한 상이한 단어들과 관련된 상이한 유형들의 우선순위 레벨들의 예들은 이하의 표에 예시된다.
표 A
Figure pct00001
도 2b는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따라서 탐색 질의에 포함시키기 위해 하나 또는 그 초과의 단어들을 선택하는 예시의 방법을 예시한다. 본 개시물의 하나 또는 그 초과의 양상들에 따르면, 본 명세서에 설명된 임의의 및/또는 모든 방법들 및/또는 방법 단계들은 컴퓨팅 디바이스 및/또는 컴퓨터 시스템, 예컨대, 이하 설명되는 컴퓨터 시스템(500)에 의해 수행될 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 설명된 임의의 및/또는 모든 방법들 및/또는 방법 단계들은 컴퓨터-판독가능 명령들 및/또는 컴퓨터-실행가능 명령들, 예컨대, 이러한 명령들을 실행하기 위해 하나 또는 그 초과의 프로세서들을 포함할 수 있는 장치의 메모리에 저장된 컴퓨터-판독가능 명령들, 및/또는 하나 또는 그 초과의 컴퓨터-판독가능 매체에 저장된 컴퓨터-판독가능 명령들로 구현될 수 있다.
앞서 논의된 바와 같이, 도 2b에 예시된 예시의 방법의 하나 또는 그 초과의 단계들이 탐색 질의에 포함시키기 위해 하나 또는 그 초과의 단어들을 선택하는데 있어서 서버(100)에 의해 수행될 수 있다. 이에 따라, 하나 또는 그 초과의 배열들에서, 도 2b에 예시된 예시의 방법의 임의의 및/또는 모든 단계들은 스치피 및/또는 오디오 데이터가 텍스트 및/또는 문자 데이터로 변환된 후, 및/또는 탐색 질의가 생성 및/또는 실행되기 전에 서버(100)에 의해 수행될 수 있다. 하나 또는 그 초과의 추가적인 및/또는 대안적인 배열들에서, 도 2b에 예시된 예시의 방법의 하나 또는 그 초과의 단계들이 탐색 질의에 포함시키기 위해 하나 또는 그 초과의 단어들을 선택하는데 있어서 이동 디바이스(150)에 의해 수행될 수 있다. 따라서, 이러한 배열들에서, 도 2b에 예시된 예시의 방법의 임의의 및/또는 모든 단계들은, 스피치 및/또는 오디오 데이터가 텍스트 및/또는 문자 데이터로 변환된 후, 및/또는 탐색 질의가 생성되고 및/또는 실행되기 전에 이동 디바이스(150)에 의해 수행될 수 있다.
단계(250)에서, 특정 단어 또는 문구가 사전에 직면되었는지 여부가 결정될 수 있다. 예를 들어, 단계(250)에서, 서버(100)는 (캡쳐된 오디오 데이터를 나타낼 수 있는) 텍스트 및/또는 문자 데이터에 포함된 특정 단어 또는 문구가 사용자 디바이스(110)의 사용자에 의해 사전에 직면되었는지 여부를 결정할 수 있다. 대안적인 예시에서, 단계(250)에서, 이동 디바이스(150)는, (캡쳐된 오디오 데이터를 나타내는) 텍스트 및/또는 문자 데이터에 포함된 특정 단어 또는 문구가 이동 디바이스(150)의 사용자에 의해 사전에 직면되었는지 여부를 결정할 수 있다. 하나 또는 그 초과의 배열들에서, 서버(100) 또는 이동 디바이스(150)는, 특정 단어 또는 문구가 서버(100) 또는 이동 디바이스(150)에 의해 유지된 및/또는 저장된 콘텐츠 데이터 세트에 포함되는지 여부에 기초하여 이 결정을 행할 수 있다. 하나 또는 그 초과의 배열들에서, 이러한 콘텐츠 데이터 세트는 예를 들어 사용자에 의해 사전에 직면된 단어들 및/또는 문구들의 리스팅뿐만 아니라, 예컨대, 사용자가 그 단어들 및/또는 문구들 각각에 얼마나 많이 직면되는지, 만약 직면된다면 사용자가 그 단어 및/또는 문구들의 각각에 관한 더 이상의 정보에 대해 얼마나 많이 탐색되는지와 같은 추가적인 정보, 및/또는 다른 정보를 포함할 수 있다. 추가적으로 또는 대안적으로, 이러한 콘텐츠 데이터 세트는 사용자 디바이스(110) 또는 이동 디바이스(150)의 특정 사용자와 관련된 사용자 프로파일 정보의 전부 또는 일부를 형성할 수 있다. 게다가, 일부 배열들에서, 다수의 콘텐츠 데이터 세트들이 단일 사용자에 대해 유지될 수 있고 및/또는 그렇지 않으면 단일 사용자에 대응할 수 있다.
적어도 하나의 배열에서, 스피치 또는 대화가 사용자 디바이스(110) 또는 이동 디바이스(150)에 의해 발행하고 및/또는 캡쳐됨에 따라서 실시간으로 서버(100) 또는 이동 디바이스(150)가 단어들을 수신할 수 있기 때문에, 단계(250)의 결정에서 서버(100) 또는 이동 디바이스(150)에 의해 이용된 특정 단어 또는 문구는 스피치 또는 대화에서 가장 최근에 캡쳐된 및/또는 변환된 단어 또는 문구를 나타낼 수 있다. 추가적으로 또는 대안적으로, 서버(100) 또는 이동 디바이스(150)는, 캡쳐된 스피치 및/또는 대화가 결론을 낼 때까지 및/또는 캡쳐된 스피치 및/또는 대화에 포함된 모든 단어들 및/또는 문구들이 서버(100) 또는 이동 디바이스(150)에 의해 프로세싱될 때까지 도 2b의 방법을 연속적으로 (예컨대, 루프로) 실행할 수 있다.
서버(100) 또는 이동 디바이스(150)에 의해 평가되는 단어 및/또는 문구가 사전에 직면된 것으로 단계(250)에서 (예컨대, 서버(100) 또는 이동 디바이스(150)에 의해) 결정되면, 다음으로 단계(255)에서, 서버(100) 또는 이동 디바이스(150)는 카운트 값을 증가시킬 수 있고, 이 카운트 값은 특정 단어 및/또는 문구가 사용자 디바이스(110) 또는 이동 디바이스(150)의 사용자에 의해 직면되는 횟수를 나타낼 수 있다. 하나 또는 그 초과의 배열들에서, 이러한 카운트 값은 예를 들어 콘텐츠 데이터 세트에 저장될 수 있다.
한편, 서버(100) 또는 이동 디바이스(150)에 의해 평가되는 단어 및/또는 문구가 사전에 직면되지 않은 것으로 단계(250)에서 (예컨대, 서버(100) 또는 이동 디바이스(150)에 의해) 결정되면, 다음으로 단계(260)에서, 서버(100) 또는 이동 디바이스(150)는 사용자와 관련된 사용자 프로파일 정보(예컨대, 단계(210)에서 서버(100) 또는 이동 디바이스(150)에 의해 로딩된 사용자 프로파일 정보)가 사용자가 그 단어 및/또는 문구에 관한 더 이상의 정보를 나타내는데 관심이 있을 수 있다는 것을 제안할지 여부를 결정할 수 있다. 하나 또는 그 초과의 배열들에서, 서버(100) 또는 이동 디바이스(150)는 사용자와 유사한 사용자 프로파일 정보를 갖는 다른 사용자들(예컨대, 사용자와 유사한 직업, 교육, 또는 관심들을 갖는 사용자들)이 그 단어 및/또는 문구와 관련된 더 이상의 정보에 대해 사전에 직면되거나 및/또는 사전에 탐색되는지 여부에 기초하여 이 결정을 행할 수 있다. 이러한 정보는, 다른 사용자들과 관련된 사용자 프로파일 정보 및/또는 콘텐츠 데이터 세트들이 저장될 수 있는 데이터베이스, 예컨대, 사용자 프로파일 데이터베이스(130) 또는 사용자 프로파일 데이터베이스(185)에 액세스함으로써 서버(100) 또는 이동 디바이스(150)에 이용가능할 수 있다.
새로운 단어들이 직면됨에 따라서, 예를 들어, 새로운 단어들 중 몇몇은 (예컨대, 서버(100) 또는 이동 디바이스(150)에 의해) "중요한" 것으로 고려될 수 있고, 이에 따라 사용자가 관심이 있는(탐색 질의에 포함시키기 위한) 단어인 것으로 결정될 수 있으며, 다른 단어들은 "중요한" 것으로 고려되지 않을 수 있고 이에 따라 사용자가 관심이 있을 수 있는 단어들이 되는 것으로 결정되지 않을 수 있다. 적어도 하나의 배열에서, 단어가 "중요한"지 아닌지 여부는 단어가 사용자의 프로파일과 관련된 키워드들의 리스트에 포함되는지 여부에 의존할 수 있다. 이러한 리스트는 사용자-정의될 수 있고(예컨대, 사용자는 리스트에 단어들을 부가할 수 있고 및/또는 리스트로부터 단어들을 제거할 수 있음) 및/또는 사용자의 직업, 교육 및/또는 관심들(뿐만 아니라 다른 사용자 프로파일 정보)에 기초하여 하나 또는 그 초과의 미리결정된 단어들을 포함할 수 있다. 추가적으로 또는 대안적으로, 리스트가 사용자 프로파일 정보가 (예컨대, 앞서 설명된 바와 같이 단계(210)에) 저장될 때 (예컨대, 서버(100) 또는 이동 디바이스(150)에 의해) 로딩될 수 있도록, 이러한 리스트는 사용자의 프로파일과 관련하여 저장될 수 있고 및/또는 그렇지 않으면 관련될 수 있다. 특정 프로파일의 사용자와 관련될 수 있는 키워드들의 예들이 이하의 표에 예시된다.
표 B
Figure pct00002
일부 배열들에서, 사용자의 프로파일과 관련된 키워드에 실질적으로 관련되는 경우, 단어는 "중요한" 것으로 고려될 수 있다. 예를 들어, 특정 사용자가 "무선 엔지니어(Wireless Engineer)" 프로파일과 관련되고 그의 디바이스가 문구 "Kennelly-Heaviside Layer"를 캡쳐하면, 디바이스는 이 문구가 "신호 전파(Signal Propagation)" 키워드와 실질적으로 관련된 것으로 결정할 수 있고, 이에 따라 라디오 신호 전파에 영향을 주는 지구의 이온층(Earth's ionosphere)의 층인 Kennelly-Heaviside Layer에 관한 추가적인 정보를 탐색할 수 있고 및/또는 디스플레이할 수 있다. 앞서 예시된 것과 유사한 데이터 표는 키워드들과 관련된 단어들을 저장하는데 이용될 수 있다.
하나 또는 그 초과의 추가적인 및/또는 대안적인 배열들에서, 사용자의 프로파일과 관련된 키워드들의 리스트를 저장하는 것에 더해, 제외 단어들의 리스트는 또한 사용자의 프로파일과 관련하여 저장될 수 있다. 이러한 제외 리스트는 예를 들어 사용자가 "중요한"것으로 고려하지 않을 수 있고 더 이상의 정보를 수신하는 것에 관심이 없는 하나 또는 그 초과를 정의할 수 있다. 키워드들의 리스트에서와 같이, 제외 리스트는 사용자-정의될 수 있고 및/또는 사용자의 직업, 교육, 및/또는 관심들(뿐만 아니라 다른 사용자 프로파일 정보)에 기초하여 하나 또는 그 초과의 미리결정된 단어들을 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 프로파일 정보가 (예를 들어, 앞서 설명된 바와 같이 단계(210)에서) 로딩될 때 이 제외 리스트가 (예컨대, 서버(100) 또는 이동 디바이스(150)에 의해) 로딩될 수 있도록, 제외 리스트는 사용자의 프로파일과 관련하여 저장될 수 있고 및/또는 그렇지 않으면 관련될 수 있다. 특정 프로파일들의 사용자들과 관련될 수 있는 키워드들의 실시예들은 이하의 표에 예시된다:
표 C
Figure pct00003
사용자와 관련된 사용자 프로파일 정보가 사용자가 단어 및/또는 문구에 관한 그 이상의 정보를 나타내는 것에 관심이 있을 수 있다는 것을 제안하지 않는 것으로 (예를 들어, 서버(100) 또는 이동 디바이스(150)에 의해) 결정되면, 다음으로 단계(265)에서, 서버(100) 또는 이동 디바이스(150)는 사용자와 관련된 기존의 콘텐츠 데이터 세트에 그 단어 및/또는 문구를 부가할 수 있다. 하나 또는 그 초과의 배열들에서, 기존의 콘텐츠 데이터 세트는 사용자가 사전에 직면된 및/또는 사용자가 탐색되는데 관심이 없을 수 있는 단어들 및/또는 문구들을 포함할 수 있고 및/또는 그렇지 않으면 나타낼 수 있다. 추가적으로 또는 대안적으로, 기존의 콘텐츠 데이터 세트는, 사용자와 관련하여 서버(100) 또는 이동 디바이스(150)에 의해 저장된 및/또는 그렇지 않으면 유지된 하나 또는 그 초과의 콘텐츠 데이터 세트들일 수 있고, 사용자와 관련된 사용자 프로파일 정보에 포함될 수 있고 및/또는 사용자와 관련된 사용자 프로파일 정보를 형성할 수 있다. 유리하게, 이 방식으로 기존의 콘텐츠 데이터 세트에 단어들 및/또는 문구들을 추가함으로써, 서버(100) 또는 이동 디바이스(150)는 미래에 탐색 질의들에 포함시키기 위해 이러한 단어들 및/또는 문구들을 선택하는 것이 불가능할 수 있고(그렇지 않으면 전체적으로 방지될 수 있음), 이에 의해 서버(100) 또는 이동 디바이스(150)에 의해 탐색된 미래의 단어들 및/또는 문구들이 사용자가 그 이상의 정보에 관해 습득하는데 진심으로 관심이 있을 수 있는 단어들 및/또는 문구들일 가능성을 증가시킨다.
한편, 사용자와 관련된 사용자 프로파일 정보가 사용자가 그 단어 및/또는 문구에 관한 그 이상의 정보를 나타내는 것에 관심이 있는 것으로 제안하는 것으로 단계(260)에서 (예컨대, 서버(100) 도는 이동 디바이스(150)에 의해) 결정되면, 다음으로 단계(270)에서, 서버(100) 또는 이동 디바이스(150)는 그 단어 및/또는 문구를 탐색 질의에(및/또는 캡쳐된 스프치 또는 대화의 결론 이후에 예를 들어 서버(100) 또는 이동 디바이스(150)에 의해 생성될 탐색 질의에 포함되는 단어들의 리스트에) 부가될 수 있다. 유리하게, 사용자가 사전에 직면되지 않은 그리고 사용자가 (예를 들어, 다른 유사한 사용자들이 또한 단어 및/또는 문구에 관심이 있기 때문에) 관심이 있는 탐색 질의에 단어 및/또는 문구에 부가함으로써, 다음으로 서버(100) 또는 이동 디바이스(150)가 관련있는 및/또는 바람직한 탐색 겨로가들을 사용자에게 제공할 가능성은 증가될 수 있다.
후속하여, 단계(275)에서, 서버(100) 또는 이동 디바이스(150)는 사용자와 관련된 기존의 콘텐츠 데이터 세트에 단어 및/또는 문구를 부가할 수 있다. 하나 또는 그 초과의 배열들에서, 단어 및/또는 문구가 과다하게 탐색되는 것으로부터 및/또는 그렇지 않으면 미래에 사용자에게 다시 나타내는 것의 가능성을 감소시킬 수 있기 때문에 (그렇지 않으면 전체적으로 방지할 수 있음), 단어를 탐색 질의에 부가한 후 단어 및/또는 문구를 기존의 콘텐츠 데이터 세트에 부가하는 것이 바람직할 수 있다.
그후, 도 2b의 방법이 종료할 수 있다. 그러나, 앞서 논의된 바와 같이, 하나 또는 그 초과의 배열들에서, 흐름은 도 2a 의 방법으로 돌아올 수 있으며, 서버(100) 또는 이동 디바이스(150)는 도 2b의 방법을 이용하여 선택된 단어들에 기초하여 탐색 질의(예를 들어, 단계(225) 및 단계(230) 각각에서)를 생성하고 실행하는 것으로 진행할 수 있다.
도 3a, 도 3b, 도 3c, 및 도 3d는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따라서 콘텐츠 데이터 세트들의 예시를 예시한다. 앞서 설명된 바와 같이, 콘텐츠 데이터 세트는 사용자의 사용자 프로파일 정보의 일부일 수 있고 사용자에 의해 사전에 직면된 및/또는 탐색되었던 단어 및/또는 문구들을 추적하는데 이용될 수 있다. 추가적으로 또는 대안적으로, 2개의 유형들의 콘텐츠 데이터 세트들: (1) 사용자에 의해 사전에 직면된 및/또는 탐색된 단어들 및/또는 문구들이 저장된, 기존의 콘텐츠 데이터 세트들; 및 (2) 사전에 직면되고 및/또는 탐색되지 않은 캡쳐된 단어들 및/또는 문구들이 저장될 수 있는, 새로운 콘텐츠 데이터 세트들일 수 있다. 하나 또는 그 초과의 배열들에서, 새로운 콘텐츠 데이터 세트에 저장된 단어들 및/또는 문구들은, 그 단어 및/또는 문구가 탐색되면 특정 단어 및/또는 문구가 기존의 콘텐츠 데이터 세트에 부가되는 것 대신에 새로운 콘텐츠 데이터 세트로부터 제거될 수 있도록, 새로운 콘텐츠 데이터 세트에 임시로 유지할 수 있다. 이러한 방식으로, 어느 주어진 시점에서, 사용자는 그들의 사용자 프로파일 정보와 관련된 기존의 콘텐츠 데이터 세트 및 새로운 콘텐츠 데이터 세트 모두를 가질 수 있다.
예를 들어, 도 3a 및 도 3b는 어느 제 1 시점에서 새로운 콘텐츠 데이터 세트(300) 및 기존의 콘텐츠 데이터 세트(310) 각각을 예시한다. 이러한 어느 제 1 시점에서, 기존의 콘텐츠 데이터 세트(310)는 비어있고, 예를 들어, 문구 "퀄킴사의 엔지니어입니다(This is an Engineer at Qualcomm)"가 사용자 디바이스(110)에 의해 캡쳐되어 서버(100)에 송신된 후, 새로운 콘텐츠 데이터 세트(300)가 (예컨대, 서버(100)에 의해) 생성되었다.
나중의 어느 제 2 시점에서, 문구 "퀄컴사의 엔지니어입니다(This is an Engineer at Qualcomm)"(및 그 문구를 형성하는 단어들)은 도 3c 및 도 3d에 예시된 바와 같이 기존의 콘텐츠 데이터 세트에 위치되는 대신에 새로운 콘텐츠 데이터 세트로부터 제거될 수 있다. 예를 들어, 제 2 시점에서, 문구 "퀄컴사의 WiFi 엔지니어입니다(This is a WiFi Engineer at Qualcomm)"가 사용자 디바이스(110)에 의해 캡쳐되어 서버(100)로 송신될 수 있고, 이에 따라 도 3c에서 관찰되는 바와 같이 새로운 콘텐츠 데이터 세트(320)는 단어 "WiFi"만을 포함할 수 있는 반면에, 도 3d에서 관찰되는 기존의 콘텐츠 데이터 세트(330)는 그 문구의 다른 단어들을 포함할 수 있다. 이 예시에서, 서버가 후속하여 캡쳐된 단어들 및/또는 문구들의 탐색을 수행하는 것으로 (예컨대, 앞서 설명된 바와 같이, 사용자가 탐색의 결정들에 관심을 가질 수 있는 것으로 결정하는 것에 기초하여) 결정하면, 서버는 탐색 질의에 문구 "퀄컴사의 WiFi 엔지니어입니다"를 포함하는 것 대신에 탐색 질의에 단어 "WiFi"만을 포함할 수 있다.
앞서 예시들은 2개의 콘텐츠 데이터 세트들(예를 들어, 새로운 콘텐츠 데이터 세트 및 기존의 콘텐츠 데이터 세트)을 논의하며, 일부 배열들에서는, 단일의 데이터 세트(또는 다른 데이터베이스 도는 데이터 표)가 이용될 수 있고, 새로운 단어들이 초기에 캡쳐되고 인식된 후에 새로운 단어들이 미리결정된 시간량 동안 데이터 세트 내에 "새로운" 표시자로 간단하게 마크될 수 있다. 추가적으로 또는 대안적으로, 이러한 데이터 세트(및/또는 앞서 설명된 새로운 콘텐츠 데이터 세트 및 기존의 콘텐츠 데이터 세트)는 어떤 특정 시간(들) 및/또는 날짜(들)에 데이터 세트에 포함된 각각의 단어가 캡쳐되었는지 나타내는 타임스탬프 정보를 포함할 수 있다. 이 데이터 세트는 검출 이력을 나타낼 수 있고, 예를 들어, 이러한 데이터 세트의 예는 이하의 표에 예시된다:
표 D
Figure pct00004
도 4는 본 개시물의 하나 또는 그 초과의 예시적인 양상들에 따라서 사용자 프로파일의 예를 예시한다. 도 4에서 관찰되는 바와 같이, 사용자 프로파일(400)은 앞서 설명된 사용자 프로파일 정보의 유형들에 더해 다양한 유형들의 사용자 프로파일 정보를 포함할 수 있다. 임의의 및/또는 모든 이 정보는, 탐색을 수행할지 여부를 결정할 때, (예컨대, 서버(100)에 의해) 탐색 질의에 포함시키기 위해 단어들 및/또는 문구들을 선택하는 것, 탐색 질의를 실행하는 것, 및/또는 탐색의 결과들을 사용자에게 디스플레이하는 것을 고려할 수 있다. 하나 또는 그 초과의 배열들에서, 사용자 프로파일(400)은, 예를 들어, 특정 사용자의 관심들을 설명하고 그렇지 않으면 이들에 관련된 키워드들뿐만 아니라, 그들의 사용자 디바이스(예컨대, 사용자 디바이스(110))에 사용자에 의해 저장될 수 있는 다른 키워드들을 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 프로파일(400)은 사용자 및/또는 사용자의 디바이스(예컨대, 사용자 디바이스(110))의 현재 상황에 관한 정보, 예컨대, 사용자 및/또는 사용자 디바이스의 현재 시간, 현재 위치, (예컨대, 사용자의 전자 캘린더 정보에 기초하여 결정되는 것과 같이) 사용자가 참석할 수 있는 이벤트 등을 포함할 수 있다.
하나 또는 그 초과의 배열들에서, 사용자 프로파일(400)은 또한 사전에 이용된 필터 기준, 에컨대 사용자가 과거의 탐색 결과들을 필터링하는데 및/또는 그렇지 않으면 분류하는데 이용되었을 수 있는 필터 기준을 포함할 수 있는 필터 구성 정보를 포함할 수 있다. 추가적으로 또는 대안적으로 사용자 프로파일(400)은 특정 토픽들 및/또는 사용자의 관심 분야들(예컨대, 엔지니어링, 예술, 재무 등), 및/또는 사용자에 관한 개념적 정보, 사용자 디바이스(예컨대, 사용자 디바이스(110)), 및/또는 사용자에 의해 구해진 정보의 유형을 포함할 수 있다. 사용자 프로파일의 이러한 상이한 요인들을 고려함으로써, 서버(100)는 사용자에게 강화된 기능성 및 편리성을 제공할 수 있다.
자동화된 대화 지원의 수많은 양상들을 설명하여, 본 개시물의 다양한 양상들이 구현될 수 있는 컴퓨팅 시스템의 일 예시가 도 5를 참조하여 설명될 것이다. 하나 또는 그 초과의 양상들에 따르면, 도 5에 예시된 것과 같은 컴퓨터 시스템은 본원에 설명된 임의의 및/또는 모든 특징들, 방법들, 및/또는 방법 단계들을 구현, 수행 및/또는 실행할 수 있는, 컴퓨팅 디바이스의 일부로서 통합될 수 있다. 예를 들어, 컴퓨터 시스템(500)은 핸드-헬드 디바이스의 컴포넌트들의 일부를 나타낼 수 있다. 핸드-헬드 디바이스는 입력 감각 단위, 예컨대, 카메라 및/또는 디스플레이 유닛을 갖는 임의의 컴퓨팅 디바이스일 수 있다. 핸드-헬드 디바이스의 예시들은 비디오 게임 콘솔들, 태블릿들, 스마트 폰들, 및 이동 디바이스들을 포함하지만 이에 한정하지 않는다. 일 실시예에서, 시스템(500)은 앞서 설명된 서버(100) 및/또는 사용자 디바이스(110)를 구현하도록 구성된다. 도 5는, 본원에 설명된 바와 같이 다양한 다른 실시예들에 의해 제공된 방법들을 수행할 수 있고, 및/또는 호스트 컴퓨터 시스템, 원격 키오스크/단말, 매장(point-of-sale) 디바이스, 이동 디바이스, 셋-톱 박스, 및/또는 컴퓨터 시스템으로서 기능할 수 있는 컴퓨터 시스템(500)의 일 실시예의 개략적인 예시를 제공한다. 도 5는 오직 다양한 컴포넌트들의 일반화된 예시를 제공하는 것을 의미하고 그 일부 및/또는 전부는 적절하게 활용될 수 있다. 따라서, 도 5는 개별적인 시스템 엘리먼트들이 상대적으로 분리된 또는 상대적으로 더욱 집적된 방식으로 어떻게 구현될 수 있는지를 광범위하게 예시한다.
버스(505)를 통해서 전기적으로 커플링될 수 있는(또는 그렇지 않으면 적절하게 통신할 수 있는) 하드웨어 엘리먼트들을 포함하는 컴퓨터 시스템(500)이 도시된다. 하드웨어 엘리먼트들은, 제한하지 않고 하나 또는 그 초과의 범용 프로세서들 및/또는 하나 또는 그 초과의 특수-목적 프로세서들(예컨대, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등)을 포함하는 하나 또는 그 초과의 프로세서들(510); 제한하지 않고 카메라, 마우스, 키보드 등을 포함할 수 있는 하나 또는 그 초과의 입력 디바이스들(515); 및 제한하지 않고 디스플레이 유닛, 프린터 등을 포함할 수 있는 하나 또는 그 초과의 출력 디바이스들(520)을 포함할 수 있다.
컴퓨터 시스템(500)은, 제한하지 않고 로컬 및/또는 네트워크 액세스가능한 스토리지를 포함할 수 있는, 및/또는 제한하지 않고, 디스크 드라이브, 드라이브 어레이, 광 저장 디바이스, 고체-상태 저장 디바이스, 예컨대, 프로그래밍가능한, 플래시-업데이트가능한 등의 판독-전용 메모리("ROM") 및/또는 랜덤 액세스 메모리("RAM")를 포함할 수 있는, 하나 또는 그 초과의 비-일시적 저장 디바이스들(525)(및/또는 이들과 통신할 수 있다)을 더 포함할 수 있다. 이러한 저장 디바이스들은, 제한하지 않고, 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하는 임의의 적절한 데이터 스토리지를 구현하도록 구성될 수 있다.
또한, 컴퓨터 시스템(500)은, 제한하지 않고, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋(예컨대, Bluetooth® 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등) 등을 포함할 수 있는 통신 서브시스템(530)을 포함할 수 있다. 통신 서브시스템(530)은 네트워크(예컨대, 하나의 예시를 명시하자면, 이하 설명된 네트워크), 다른 컴퓨터 시스템들, 및/또는 본원에 설명된 임의의 다른 디바이스들과 데이터가 교환하도록 허용할 수 있다. 수많은 실시예들에서, 컴퓨터 시스템(500)은 앞서 설명된 바와 같은 RAM 또는 ROM 디바이스를 포함할 수 있는 비-일시적 작업 메모리(535)를 더 포함할 것이다.
본원에 설명된 바와 같이, 컴퓨터 시스템(500)은 또한, 동작 시스템(540), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다른 코드, 예컨대, 다양한 실시예들에 의해 제공된 컴퓨터 프로그램들을 포함할 수 있는, 및/또는 방법들을 구현하고 및/또는 시스템들을 구성하도록 설계될 수 있는, 다른 실시에들에 의해 제공된 컴퓨터 프로그램들을 포함할 수 있는, 하나 또는 그 초과의 애플리케이션 프로그램들(545)을 포함하는, 작업 메모리(535) 내에 현재 위치된 것으로 도시된 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예시에 의해, 예컨대, 도 2a 및/또는 도 2b와 관련하여 설명된 것과 같이 앞서 논의된 방법(들)과 관련하여 설명된 하나 또는 그 초과의 절차들은 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고; 일 양상에서, 다음으로, 이러한 코드 및/또는 명령들은 설명된 방법들을 따라서 하나 또는 그 초과의 동작들을 수행하기 위해 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응시키는데 이용될 수 있다.
이러한 명령들의 세트 및/또는 코드는 컴퓨터-판독가능 저장 매체, 예컨대, 앞서 설명된 저장 디바이스(525)에 저장될 수 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템, 예컨대, 컴퓨터 시스템(500)에 통합될 수 있다. 다른 실시예들에서, 저장 매체가 범용 컴퓨터를 저장된 명령들/코드로 프로그래밍, 구성 및/또는 적응시키는데 이용될 수 있도록, 저장 매체는 컴퓨터 시스템(예컨대, 콤팩트 디스크와 같은 탈착식 매체)과는 분리될 수 있고, 및/또는 설치 패키지 내에 제공될 수 있다. 이러한 명령들은 컴퓨터 시스템(500)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고, 및/또는 컴퓨터 시스템(500)(예컨대, 대양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등) 상에 컴필레이션(compilation) 및/또는 설치시에, 이후에 실행가능한 코드의 형태를 취할 수 있는 소스 및/또는 설치가능 코드의 형태를 취할 수 있다.
특정 요건들에 따라서 상당한 변화들이 행해질 수 있다. 예를 들어, 고객맞춤형 하드웨어가 또한 이용될 수 있고, 및/또는 특정 엘리먼트들이 하드웨어, 소프트웨어(예컨대, 애플릿 등과 같은 포터블 소프트웨어를 포함함), 또는 이들 모두에서 구현될 수 있다. 게다가, 네트워크 입/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 접속이 이용될 수 있다.
몇몇 실시예들은 본 개시물에 따른 방법들을 수행하기 위해 컴퓨터 시스템(예컨대, 컴퓨터 시스템(500))을 이용할 수 있다. 예를 들어, 설명된 방법들의 절차들의 일부 또는 전부는 작업 메모리(535)에 포함된 (동작 시스템(540) 및/또는 다른 코드, 예컨대 애플리케이션 프로그램(545)으로 통합될 수 있는) 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 프로세서(510)에 응답하여 컴퓨터 시스템(500)에 의해 수행될 수 있다. 이러한 명령들은 하나 또는 그 초과의 저장 디바이스(들)(525)와 같은 다른 컴퓨터-판독가능 매체로부터 작업 메모리(535)로 판독될 수 있다. 오직 예시에 의해, 작업 메모리(535)에 포함된 명령들의 시퀀스들의 실행은 프로세서(들)(510)로 하여금 본원에 설명된 방법들, 예컨대, 도 2a 및/또는 도 2b와 관련하여 설명된 방법의 하나 또는 그 초과의 절차들을 수행하게 할 수 있다.
본원에 이용된 바와 같이, 용어들 "머신-판독가능 매체" 및 "컴퓨터-판독가능 매체"는 특정 방식으로 머신을 동작하게 하는 데이터를 제공하는데 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템(500)을 이용하여 구현된 실시예에서, 다양한 컴퓨터-판독가능 매체는 실행을 위해 명령들/코드를 프로세서(들)(510)에 제공하는데 수반될 수 있고 및/또는 이러한 명령들/코드(예컨대, 신호들로서)를 저장 및/또는 운반하는데 이용될 수 있다. 수많은 구현들에서, 컴퓨터-판독가능 매체는 물리적 및/또는 유형의(tangible) 저장 매체이다. 이러한 매체는, 비-휘발성 매체, 휘발성 매체, 및 송신 매체를 포함하지만 이에 한정하지 않는 수많은 형태들을 취할 수 있다. 비-휘발성 매체는, 예를 들어, 광학 및/또는 자기 디스크들, 예컨대, 저장 디바이스(들)(525)을 포함한다. 휘발성 매체는, 제한하지 않고, 동적 메모리, 예컨대, 작업 메모리(535)를 포함할 수 있다. 송신 매체는, 제한하지 않고, 동축 케이블들, 구리 배선 및 버스(505)를 포함하는 배선들을 포함하는 광섬유들뿐만 아니라 통신 서브시스템(530)의 다양한 컴포넌트들(및/또는 통신 서브시스템(530)이 다른 디바이스들과의 통신을 제공하는 매체)을 포함한다. 이러한 이유로, 송신 매체는 또한 (제한하지 않고, 라디오, 음향 및/또는 빛의 파동들, 예컨대, 전파(radio-wave) 및 적외선 데이터 통신들 동안 발생된 것들을 포함하는) 파형들의 형태를 취할 수 있다.
물리적 및/또는 유형의 컴퓨터-판독가능 매체의 공통의 형태들은, 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들, 페이퍼테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트릿지, 이하 설명된 것과 같은 반송파, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터-판독가능 매체는 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행을 위해 프로세서(들)(510)로 운반하는데 수반될 수 있다. 오직 예시에 의해, 명령들은 원격 컴퓨터의 자기적 디스크(disk) 및/또는 광학적 디스크(disc) 상에 초기에 운반될 수 있다. 원격 컴퓨터는 명령들을 자신의 동적 메모리로 로딩할 수 있고 컴퓨터 시스템(500)에 의해 수신되고 및/또는 실행될 신호들로서의 명령들을 송신 매체를 통해서 전송할 수 있다. 본 발명의 다양한 실시에들에 따라서, 전자기 신호들, 음향 신호들, 광학 신호들 등의 형태일 수 있는 이러한 신호들이 인코딩될 수 있다.
통신 서브시스템(530)(및/또는 그 컴포넌트들)은 일반적으로 신호들을 수신할 것이며, 그후 버스(505)는 신호들(및/또는 그 신호들에 의해 운반된 데이터, 명령 등)을 프로세서(들)(510)이 명령들을 리트리브하고 실행하는 작업 메모리(535)로 운반할 수 있다. 작업 메모리(535)에 의해 수신된 명령들은 프로세서(들)(510)에 의한 실행 이전 또는 이후 둘 다 비-일시적 저장 디바이스(525) 상에 선택적으로 저장될 수 있다.
앞서 논의된 방법들, 시스템들, 디바이스들은 예시들이다. 다양한 실시예들은 적절하게 다양한 절차들 또는 컴포넌트들을 생략하고, 대체하고, 또는 부가할 수 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고, 및/또는 다양한 단계들이 부가, 생략, 및/또는 결합될 수 있다. 또한, 특정 실시예들과 관련하여 설명된 특징들은 다양한 다른 실시예들에 조합될 수 있다. 실시예들의 다양한 양상들 및 엘리먼트들은 유사한 방식으로 조합될 수 있다. 또한, 기술들은, 이에 따라 수많은 엘리먼트들은 이러한 특정 예시들에 본 개시물의 범위를 한정하지 않는 예시들을 수반한다.
실시예들의 전반적인 이해를 제공하기 위해 상세한 설명에 특정 세부사항들이 제공된다. 그러나, 실시예들은 이러한 특정 세부사항들 없이 실행될 수 있다. 예를 들어, 잘-알려진 회로들, 프로세스들, 알고리즘들, 구조들, 기법들이 실시에들을 방해하는 것을 회피하기 위해 불필요한 세부사항 없이 나타난다. 이러한 설명은 오직 예시적인 실시예들을 제공하며, 본 발명의 범위, 적용가능성, 또는 구성을 제한하는 것으로 의도되지 않는다. 오히려, 실시예들의 선행하는 설명은 본 발명의 실시예들을 구현하기 위한 가능한 설명을 당업자에게 제공할 것이다. 본 발명의 사상 및 범위로부터 벗어나지 않고 엘리먼트들의 기능 및 배열에 있어서 다양한 변화들이 행해질 수 있다.
또한, 몇몇 실시예들은 흐름도들 또는 블록도들로서 도시된 프로세스들이 설명되었다. 각각은 순차적인 프로세스로서 동작들을 설명하지만, 수많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 게다가, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 관련 태스크들을 수행하기 위해 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드, 프로그램 코드 또는 코드 세그먼트들이 저장 매체와 같은 컴퓨터-판독가능 매체에 저장될 수 있다. 프로세서들은 관련 태스크들을 수행할 수 있다.
몇몇 실시예들을 설명하여, 본 개시물의 사상으로부터 벗어나지 않고 다양한 변형들, 대안적인 구성들, 및 등가물들이 이용될 수 있다. 예를 들어, 전술한 엘리먼트들은 오직 더 큰 시스템의 컴포넌트일 수 있고, 여기서 다른 규칙들은 본 발명의 애플리케이션보다 우선할 수 있거나 또는 그렇지 않으면 그 애플리케이션을 변형할 수 있다. 또한, 전술한 엘리먼트가 고려되기 이전, 동안 또는 이후에 수많은 단계들이 고려될 수 있다. 이에 따라, 전술한 설명은 본 개시물의 범위를 제한하지 않는다.

Claims (34)

  1. 방법으로서,
    사용자에 관련된 사용자 프로파일 정보를 획득하는 단계 ― 상기 사용자 프로파일 정보는 상기 사용자에 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들 중 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트를 포함함 ―;
    상기 사용자 프로파일 정보에 기초하여, 탐색 질의에 포함시키기 위해 캡쳐된 스피치로부터 하나 또는 그 초과의 단어들을 선택하는 단계; 및
    선택된 하나 또는 그 초과의 단어들에 기초하여 상기 탐색 질의를 생성하는 단계를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    하나 또는 그 초과의 단어들을 선택하기 전에, 상기 캡쳐된 스피치에 대응하는 오디오 데이터를 수신하는 단계를 더 포함하고,
    상기 오디오 데이터는 전화기 호출, 라이브 프리젠테이션, 대면형(face-to-face) 논의, 라디오 프로그램, 및 텔레비전 프로그램 중 하나와 관련되는,
    방법.
  3. 제 1 항에 있어서,
    상기 사용자 프로파일 정보는 상기 사용자에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들의 리스트를 또한 포함하는,
    방법.
  4. 제 1 항에 있어서,
    하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 상기 리스트에 상기 캡쳐된 스피치로부터 적어도 하나의 단어를 추가하는 단계를 더 포함하는,
    방법.
  5. 제 1 항에 있어서,
    상기 사용자 프로파일 정보는 사용자의 직업, 교육, 또는 관심들에 관한 정보를 포함하는,
    방법.
  6. 제 5 항에 있어서,
    상기 하나 또는 그 초과의 단어들을 선택하는 단계는, 상기 사용자 프로파일 정보와 유사한 프로파일 정보를 갖는 하나 또는 그 초과의 다른 사용자들에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들에 또한 기초하는,
    방법.
  7. 제 1 항에 있어서,
    상기 탐색 질의를 생성하는 것에 응답하여, 상기 탐색 질의를 실행하는 단계; 및
    상기 탐색 질의의 결과들을 상기 사용자에게 디스플레이되게 하는 단계를 더 포함하고,
    상기 결과들은 상기 캡쳐된 스피치에 포함된 적어도 하나의 토픽에 관한 정보를 포함하는,
    방법.
  8. 제 7 항에 있어서,
    상기 결과들은, 상기 캡쳐된 스피치가 결론을 내렸음을 검출하는 것에 응답하여 상기 사용자에게 디스플레이되는,
    방법.
  9. 컴퓨터-판독가능 명령들을 저장하는 적어도 하나의 컴퓨터-판독가능 매체로서,
    상기 컴퓨터-판독가능 명령들은, 실행될 때, 적어도 하나의 컴퓨팅 디바이스오 하여금:
    사용자와 관련된 사용자 프로파일 정보를 획득하고 ― 상기 사용자 프로파일 정보는 상기 사용자와 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출된 하나 또는 그 초과의 단어들의 리스트를 포함함 ―;
    상기 사용자 프로파일 정보에 기초하여, 탐색 질의에 포함시키기 위해 캡쳐된 스피치로부터 하나 또는 그 초과의 단어들을 선택하고;
    선택된 하나 또는 그 초과의 단어들에 기초하여 상기 탐색 질의를 생성하도록 하는,
    적어도 하나의 컴퓨터-판독가능 매체.
  10. 제 9 항에 있어서,
    추가적인 컴퓨터-판독가능 명령들이 저장되고,
    상기 추가적인 컴퓨터-판독가능 명령들은, 실행될 때, 상기 적어도 하나의 컴퓨터 디바이스들로 하여금:
    하나 또는 그 초과의 단어들을 선택하기 전에, 상기 캡쳐된 스피치에 대응하는 오디오 데이터를 수신하게 하고,
    상기 오디오 데이터는 전화기 호출, 라이브 프리젠테이션, 대면식(face-to-face) 논의, 라디오 프로그램, 및 텔레비전 프로그램 중 하나와 관련되는,
    적어도 하나의 컴퓨터-판독가능 매체.
  11. 제 9 항에 있어서,
    상기 사용자 프로파일 정보는 상기 사용자에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들의 리스트를 더 포함하는,
    적어도 하나의 컴퓨터-판독가능 매체.
  12. 제 9 항에 있어서,
    추가적인 컴퓨터-판독가능 명령들이 저장되고,
    상기 추가적인 컴퓨터-판독가능 명령들은, 실행될 때, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금:
    하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 상기 리스트에 상기 캡쳐된 스피치로부터의 적어도 하나의 단어를 더 부가하게 하는,
    적어도 하나의 컴퓨터-판독가능 매체.
  13. 제 9 항에 있어서,
    상기 사용자 프로파일 정보는 사용자의 직업, 교육, 또는 관심에 관한 정보를 포함하는,
    적어도 하나의 컴퓨터-판독가능 매체.
  14. 제 13 항에 있어서,
    상기 하나 또는 그 초과의 단어들을 선택하는 단계는 상기 사용자 프로파일 정보와 유사한 프로파일 정보를 갖는 하나 또는 그 초과의 다른 사용자들에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들에 적어도 부분적으로 기초하여 정의된 제외 리스트 및 키워드들의 리스트에 또한 기초하는,
    적어도 하나의 컴퓨터-판독가능 매체.
  15. 제 9 항에 있어서,
    저장된 추가적인 컴퓨터-판독가능 명령들을 갖는 것은, 실행될 때, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금 또한:
    상기 탐색 질의를 생성하는 것에 응답하여, 상기 탐색 질의를 실행하고;
    상기 탐색 질의의 결과들이 상기 사용자에게 디스플레이되도록 하고,
    상기 결과들은 상기 캡쳐된 스피치에 포함된 적어도 하나의 토픽에 관한 정보를 포함하는,
    적어도 하나의 컴퓨터-판독가능 매체.
  16. 제 15 항에 있어서,
    상기 결과들은, 상기 캡쳐된 스피치가 결론을 내렸음을 검출하는 것에 응답하여 상기 사용자에게 디스플레이되는,
    적어도 하나의 컴퓨터-판독가능 매체.
  17. 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터-판독가능 명령들을 포함하는 메모리를 포함하고,
    상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 장치로 하여금:
    사용자와 관련된 사용자 프로파일 정보를 획득하고 ― 상기 사용자 프로파일 정보는 상기 사용자와 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트를 포함함 ―;
    상기 사용자 프로파일 정보에 기초하여, 탐색 질의에 포함시키기 위해 캡쳐된 스피치로부터 하나 또는 그 초과의 단어들을 선택하고;
    선택된 하나 또는 그 초과의 단어들에 기초하여 상기 탐색 질의를 생성하게 하는,
    장치.
  18. 제 17 항에 있어서,
    상기 메모리는 추가적인 컴퓨터-판독가능 명령들을 저장하고,
    상기 추가적인 컴퓨터-판독가능 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금 또한:
    하나 또는 그 초과의 단어들을 선택하기 전에, 상기 캡쳐된 스피치에 대응하는 오디오 데이터를 수신하게 하고,
    상기 오디오 데이터는 전화기 호출, 라이브 프리젠테이션, 대면형 논의, 라디오 프로그램, 및 텔레비전 프로그램 중 하나와 관련되는,
    장치.
  19. 제 17 항에 있어서,
    상기 사용자 프로파일 정보는 상기 사용자에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들의 리스트를 더 포함하는,
    장치.
  20. 제 17 항에 있어서,
    상기 메모리는 추가적인 컴퓨터-판독가능 명령들을 포함하고,
    상기 추가적인 컴퓨터-판독가능 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 또한:
    하나 또는 그 초과의 사전 캡쳐된 스피치들 중 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트에 상기 캡쳐된 스피치로부터 적어도 하나의 단어를 부가하게 하는,
    장치.
  21. 제 17 항에 있어서,
    상기 사용자 프로파일 정보는 사용자의 직업, 교육, 또는 관심들에 관한 정보를 포함하는,
    장치.
  22. 제 21 항에 있어서,
    상기 하나 또는 그 초과의 단어들을 선택하는 것은, 상기 사용자 프로파일 정보와 유사한 프로파일 정보를 갖는 하나 또는 그 초과의 다른 사용자에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들에 또한 기초하는,
    장치.
  23. 제 17 항에 있어서,
    상기 메모리는 추가적인 컴퓨터-판독가능 명령들을 저장하고,
    상기 추가적인 컴퓨터-판독가능 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 또한:
    상기 탐색 질의를 생성하는 것에 응답하여, 상기 탐색 질의를 실행하고;
    상기 탐색 질의? 결과들을 상기 사용자에게 디스플레이하게 하며,
    상기 결과들은 상기 캡쳐된 스피치에 포함된 적어도 하나의 토픽에 관한 정보를 포함하는,
    장치.
  24. 제 23 항에 있어서,
    상기 결과들은, 상기 캡쳐된 스피치가 결론을 내렸음을 검출하는 것에 응답하여 상기 사용자에게 디스플레이되는,
    장치.
  25. 시스템으로서,
    사용자에 관련된 사용자 프로파일 정보를 획득하기 위한 수단 ― 상기 사용자 프로파일 정보는 상기 사용자에 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들 중 사전에 검출되었던 하나 또는 그 초과의 단어들의 리스트를 포함함 ―;
    상기 사용자 프로파일 정보에 기초하여, 탐색 질의에 포함시키기 위해 캡쳐된 스피치로부터 하나 또는 그 초과의 단어들을 선택하기 위한 수단; 및
    선택된 하나 또는 그 초과의 단어들에 기초하여 상기 탐색 질의를 생성하기 위한 수단을 포함하는,
    시스템.
  26. 제 25 항에 있어서,
    하나 또는 그 초과의 단어들을 선택하기 전에, 상기 캡쳐된 스피치에 대응하는 오디오 데이터를 수신하기 위한 수단을 더 포함하고,
    상기 오디오 데이터는 전화기 호출, 라이브 프리젠테이션, 대면형(face-to-face) 논의, 라디오 프로그램, 및 텔레비전 프로그램 중 하나와 관련되는,
    시스템.
  27. 제 25 항에 있어서,
    상기 사용자 프로파일 정보는 또한 상기 사용자에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들의 리스트를 포함하는,
    시스템.
  28. 제 25 항에 있어서,
    하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전에 검출되었던 하나 또는 그 초과의 단어들의 상기 리스트에 상기 캡쳐된 스피치로부터 적어도 하나의 단어를 추가하기 위한 수단을 더 포함하는,
    시스템.
  29. 제 25 항에 있어서,
    상기 사용자 프로파일 정보는 사용자의 직업, 교육, 또는 관심들에 관한 정보를 포함하는,
    시스템.
  30. 제 29 항에 있어서,
    상기 하나 또는 그 초과의 단어들을 선택하는 것은, 상기 사용자 프로파일 정보와 유사한 프로파일 정보를 갖는 하나 또는 그 초과의 다른 사용자들에 의해 사전에 탐색되었던 하나 또는 그 초과의 단어들에 적어도 부분적으로 기초하여 정의된 제외 리스트 및 키워드들의 리스트에 또한 기초하는,
    시스템.
  31. 제 25 항에 있어서,
    상기 탐색 질의를 생성하는 것에 응답하여, 상기 탐색 질의를 실행하기 위한 수단; 및
    상기 탐색 질의의 결과들을 상기 사용자에게 디스플레이되게 하기 위한 수단을 더 포함하고,
    상기 결과들은 상기 캡쳐된 스피치에 포함된 적어도 하나의 토픽에 관한 정보를 포함하는,
    시스템.
  32. 제 31 항에 있어서,
    상기 결과들은, 상기 캡쳐된 스피치가 결론을 내렸음을 검출하는 것에 응답하여 상기 사용자에게 디스플레이되는,
    시스템.
  33. 방법으로서,
    사용자와 관련된 캡쳐된 스피치에 대응하는 오디오 데이터를 수신하는 단계;
    상기 오디오 데이터에 기초하여, 상기 캡쳐된 스피치가 상기 사용자와 관련된 하나 또는 그 초과의 사전에 캡쳐된 스피치들에서 사전 검출되지 않았던 적어도 하나의 단어를 포함하는 것으로 결정하는 단계; 및
    상기 캡쳐된 스피치가 상기 적어도 하나의 단어를 포함하는 것으로 결정하는 것에 응답하여, 상기 적어도 하나의 단어를 포함하는 탐색 질의를 생성하는 단계를 포함하는,
    방법.
  34. 제 33 항에 있어서,
    상기 탐색 질의의 결과들을 상기 사용자에게 디스플레이하게 하는 단계를 더 포함하는,
    방법.
KR1020137027289A 2011-03-16 2012-03-14 자동화된 대화 지원 KR20130133872A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161453532P 2011-03-16 2011-03-16
US61/453,532 2011-03-16
US201161569068P 2011-12-09 2011-12-09
US61/569,068 2011-12-09
US13/419,056 US20130066634A1 (en) 2011-03-16 2012-03-13 Automated Conversation Assistance
US13/419,056 2012-03-13
PCT/US2012/029114 WO2012125755A1 (en) 2011-03-16 2012-03-14 Automated conversation assistance

Publications (1)

Publication Number Publication Date
KR20130133872A true KR20130133872A (ko) 2013-12-09

Family

ID=45932502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137027289A KR20130133872A (ko) 2011-03-16 2012-03-14 자동화된 대화 지원

Country Status (6)

Country Link
US (1) US20130066634A1 (ko)
EP (1) EP2710587A1 (ko)
JP (1) JP2014513828A (ko)
KR (1) KR20130133872A (ko)
CN (1) CN103443853A (ko)
WO (1) WO2012125755A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607025B2 (en) * 2012-09-24 2017-03-28 Andrew L. DiRienzo Multi-component profiling systems and methods
US20150161249A1 (en) * 2013-12-05 2015-06-11 Lenovo (Singapore) Ptd. Ltd. Finding personal meaning in unstructured user data
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US9635167B2 (en) 2015-09-29 2017-04-25 Paypal, Inc. Conversation assistance system
US10223613B2 (en) * 2016-05-31 2019-03-05 Microsoft Technology Licensing, Llc Machine intelligent predictive communication and control system
US10531227B2 (en) * 2016-10-19 2020-01-07 Google Llc Time-delimited action suggestion system
US10521723B2 (en) 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
US10636418B2 (en) 2017-03-22 2020-04-28 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
US9865260B1 (en) 2017-05-03 2018-01-09 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
JP7015711B2 (ja) * 2018-03-08 2022-02-03 パナソニック株式会社 装置、ロボット、方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6823312B2 (en) * 2001-01-18 2004-11-23 International Business Machines Corporation Personalized system for providing improved understandability of received speech
JP3683504B2 (ja) * 2001-02-14 2005-08-17 日本電信電話株式会社 音声利用型情報検索装置および音声利用型情報検索プログラムと該プログラムを記録した記録媒体
WO2002086865A1 (en) * 2001-04-13 2002-10-31 Koninklijke Philips Electronics N.V. Speaker verification in a spoken dialogue system
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
TWI276357B (en) * 2002-09-17 2007-03-11 Ginganet Corp Image input apparatus for sign language talk, image input/output apparatus for sign language talk, and system for sign language translation
JP4680691B2 (ja) * 2005-06-15 2011-05-11 富士通株式会社 対話システム
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
JP2007025925A (ja) * 2005-07-14 2007-02-01 Fuji Xerox Co Ltd 関連記述提示システム
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
ATE439665T1 (de) * 2005-11-25 2009-08-15 Swisscom Ag Verfahren zur personalisierung eines dienstes
US8090082B2 (en) * 2006-01-23 2012-01-03 Icall, Inc. System, method and computer program product for extracting user profiles and habits based on speech recognition and calling history for telephone system advertising
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
EP1914639A1 (en) * 2006-10-16 2008-04-23 Tietoenator Oyj System and method allowing a user of a messaging client to interact with an information system
US8078468B2 (en) * 2007-05-21 2011-12-13 Sony Ericsson Mobile Communications Ab Speech recognition for identifying advertisements and/or web pages
US9646025B2 (en) * 2008-05-27 2017-05-09 Qualcomm Incorporated Method and apparatus for aggregating and presenting data associated with geographic locations
US8340974B2 (en) * 2008-12-30 2012-12-25 Motorola Mobility Llc Device, system and method for providing targeted advertisements and content based on user speech data
JP2010277207A (ja) * 2009-05-27 2010-12-09 Nec Corp 携帯端末、検索エンジンシステム及びそれらに用いる情報提供サービス方法

Also Published As

Publication number Publication date
EP2710587A1 (en) 2014-03-26
WO2012125755A1 (en) 2012-09-20
JP2014513828A (ja) 2014-06-05
CN103443853A (zh) 2013-12-11
US20130066634A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
US12099674B2 (en) Systems and methods for identifying a set of characters in a media file
KR20130133872A (ko) 자동화된 대화 지원
JP6799082B2 (ja) 音声アクション発見可能性システム
US10289433B2 (en) Domain specific language for encoding assistant dialog
CN100424632C (zh) 用于高级交互接口的语义对象同步理解
US10558701B2 (en) Method and system to recommend images in a social application
US9386256B1 (en) Systems and methods for identifying a set of characters in a media file
CN101366073B (zh) 多种语音识别软件实例的使用
CN100578614C (zh) 用语音应用语言标记执行的语义对象同步理解
US9148741B2 (en) Action generation based on voice data
US9972340B2 (en) Deep tagging background noises
US9565301B2 (en) Apparatus and method for providing call log
KR101912177B1 (ko) 음성 인식 동적 사전을 유지하기 위한 시스템 및 방법
CN111341308A (zh) 用于输出信息的方法和装置
JP2020516980A (ja) コンテキストディープブックマーキング
CN111324700A (zh) 资源召回方法、装置、电子设备及计算机可读存储介质
CN113011169B (zh) 一种会议纪要的处理方法、装置、设备及介质
WO2019045816A1 (en) GRAPHIC DATA SELECTION AND DIGITAL CONTENT PRESENTATION
KR20200011198A (ko) 대화형 메시지 구현 방법, 장치 및 프로그램
KR20140060217A (ko) 오디오 신호에 의해 메시지를 포스팅하는 시스템 및 방법
CN110263135B (zh) 一种数据交换匹配方法、装置、介质和电子设备
CN111259181B (zh) 用于展示信息、提供信息的方法和设备
CN113241061B (zh) 语音识别结果的处理方法、装置、电子设备和存储介质
CN113132927B (zh) 一种来电处理方法、装置、设备和机器可读介质
CN112989205A (zh) 媒体文案推荐方法、装置、介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application