KR20030010729A - 사람에 대한 정보를 관리하는 방법 및 장치 - Google Patents

사람에 대한 정보를 관리하는 방법 및 장치 Download PDF

Info

Publication number
KR20030010729A
KR20030010729A KR1020027017147A KR20027017147A KR20030010729A KR 20030010729 A KR20030010729 A KR 20030010729A KR 1020027017147 A KR1020027017147 A KR 1020027017147A KR 20027017147 A KR20027017147 A KR 20027017147A KR 20030010729 A KR20030010729 A KR 20030010729A
Authority
KR
South Korea
Prior art keywords
person
information
user
indication
mood
Prior art date
Application number
KR1020027017147A
Other languages
English (en)
Inventor
잉-후이 창
유안-푸 리아오
리-펜 예
지크-쿠엔 호른그
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030010729A publication Critical patent/KR20030010729A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

실제적인 사람에 대한 정보를 제공하기 위한 방법 및 전자적인 장치(바람직하게는 PDA(Personal Digital Assistant) 또는 팜 컴퓨터)는: 오디오 데이터를 기록하기 위한 마이크로폰(606) 및/또는 실제적인 사람의 이미지 데이터를 기록하기 위한 카메라(602)를 포함한다. 오디오 및/또는 비디오 데이터를 처리하기 위한 메모리를 갖는 프로세서(603, 607, 604)는 실제적인 사람의 아이덴티티를 인식하고 인식된 아이덴티티에 대한 저장된 정보를 검색하는 것이 제공된다. 사용자 인터페이스(605)는 저장된 정보를 사용자에게 배달하는데 사용된다. 정보는 명함 정보 및/또는 사람에 대한 다른 정보를 포함할 수 있다. 또한, 사람의 감정적인/개인적인 상태/기분의 정보 표시는 기록되고, 검색되며, 사용자 인터페이스(605)를 통해 사용자에게 제공될 수 있다.

Description

사람에 대한 정보를 관리하는 방법 및 장치{Method and apparatus of managing information about a person}
사람들의 얼굴 및 음성 표현(expression)들의 기록들을 처리하기 위한 다양한 기술적인 해결책들이 종래 기술에서 제안되었다. 처리의 결과들은 - 액세스 제어 활용들을 위한 다른 사람들 중에서 사람들을 식별하는데 사용된다. 이러한 활용들은 예를 들면 음성(화자(speaker) 인식) 또는 얼굴 인식 기술들에 기초하여 사용자들을 인식하는 것에 기초가 된다. 또한, 사람의 기분 또는 감정적인 상태의 인식을 위해서도 다양한 기술들이 제안되었다.
International Conference on Information, Communications and SignalProcessing(IEEE, vol.1,pp.397-401)인, ICICS 1997의 Conference Proceedings는 문화들 사이의 감정 전환을 위한 얼굴 및 음성 표현들을 기록하기 위한 비디오 및 오디오의 조합을 사용하는 컴퓨터 멀티미디어 방법을 개시한다.
DE 195 02 627 A1은 접촉을 시작하기 위한 수단을 서로에 대해 접촉을 성립시키고자 하는 사람들에게 제공하는 방법 및 송신기/수신기 장치를 개시한다. 접촉-탐색자는 청각 또는 시각적인 신호에 의해 통보될 수 있는 사람과의 접촉을 성립시키기 위해 준비가 되거나 의지가 있는 사람에 의해 수신될 수 있는 신호를 송신할 것이다.
DE 198 01 666 A1은 수신된 특징적인 정보를 검출하고, 완전한 또는 부분적인 매칭을 검출하고 가리키기 위하여 미리 저장된 특징적인 정보와 수신된 특징적인 정보를 매칭시키는 방법을 개시한다.
그러나, 종래 기술은 대부분의 사람들이 매우 자주 만나지 않는 사람들을 기억하는데 어려움들을 갖는다는 문제에 대한 어떠한 해결책들도 제안하지 않았다. 어떠한 전형적인 비지니스-관계된-상황들에서 사람들은 그 특정 사람의 세부사항들(details)을 기억하도록 돕는, 사람의 명함을 가질 수 있다. 그러나, 그들은 그들이 그의 또는 그녀의 명함을 그들의 앞에 가지고 있다고 하더라도 그 사람을 생각해 내지 못할 것이다.
우리가 매우 자주 만나지 않는 사람들과의 좋은 관계들을 얻는 것에서, 우리가 전에 만났던 사람의 인상들을 다시 생각하게 될 수 있는 것은 매우 중요할 수 있다.
본 발명은 실제적인(physical) 사람의 오디오 및/또는 이미지 데이터를 기록하기 위한 기록기를 포함하는, 실제적인 사람에 대한 정보를 제공하기 위한 장치에 관한 것이다.
또한, 본 발명은 실제적인 사람의 오디오/이미지 데이터의 기록의 단계들을 포함하는, 실제적인 사람에 대한 정보를 제공하는 방법에 관한 것이다.
도 1은 사람에 대한 정보 검색의 방법을 위한 제 1 흐름도.
도 2는 사람에 대한 정보 검색의 방법을 위한 제 2 흐름도.
도 3은 사람에 대한 정보 검색을 위한 장치를 위한 제 1 흐름도.
도 4는 사람에 대한 정보 검색을 위한 장치를 위한 제 2 흐름도.
도 5는 사람에 대한 정보의 저장 및 검색을 위한 장치의 블럭도.
도 6은 사람에 대한 정보의 처리를 위한 장치의 제 2 블럭도.
도 7은 카메라 장치와 마이크로폰을 갖는 PDA(Portable Digital Assistant)를 도시한 도면.
위에서 언급된 문제는 도입 문단에서 언급된 전자적인 장치가 실제적인 사람의 아이덴티티(identity)를 인식하기 위해 오디오 및/또는 시각적 데이터를 처리하고, 인식된 아이덴티티에 대한 저장된 정보를 검색하기 위한 메모리를 가진 프로세서와; 저장된 정보를 사용자에게 제공하기 위한 사용자 인터페이스를 포함할 때 해결된다.
따라서 전자적인 장치는 사용자가 매우 자주 만나지 않은 사람들을 기억하는데 있어 사용자를 도울 수 있다. 즉, 이것은 개선된 비지니스 관계들 또는 개선된 사람과의 관계를 얻는데 도움이 된다.
사람들을 생각해 내는 것이 더욱 쉽기 때문에, 누가 누구인지를 생각하는데 보다 적은 노력이 소비된다. 또한, 다른 사람들에 대한 정보가 불명확함에서 오는 오해들을 명확히 하기 위한 사용자의 노력들이 감소될 수 있다. 즉, 이것은 시간의 보다 효율적인 사용을 가져올 수 있다.
적절한 실시예에서 장치는 오디오 데이터를 획득하기 위한 마이크로폰과; 이미지 데이터를 획득하기 위한 카메라를 포함한다. 마이크로폰들 및 카메라들은 모두 매우 작은 물리적인 부피를 갖도록 상업적으로 이용될 수 있기 때문에 그들은 매우 작은 휴대용 기기들로 완전하게 만들어질 수 있다.
또한, 프로세서는 사람의 음성의 톤(tone)을 결정하는 오디오 데이터를 처리하고, 음성의 톤의 표시(representation)를 저장하기 위해 배열될 수 있다. 이것은음성의 톤이 전형적으로 사람에 대한 특히 말하는 사람의 감정적인 상태 또는 기분에 대한 많은 정보를 포함한다는 점에서 편리하다.
게다가, 프로세서는 음성의 톤의 표시가 기분의 표시와 연관되도록 배열될 수 있다. 그 때문에 주어진 음성의 톤은 미리정해진 기분과 연관될 수 있다.
또한, 프로세서는 사람의 얼굴 표현들을 결정하기 위한 이미지 데이터를 처리하고, 얼굴 표현의 표시를 저장하기 위하여 배열될 수 있다. 전형적으로, 얼굴 표현들은 사람의 기분 또는 감정적인 상태와 밀접하게 관련된다. 이것은, 즉, 사람의 기분 또는 감정적인 상태를 기록하거나 또는 인식하기 위한 좋은 기초를 장치에 제공한다.
프로세서가 얼굴 표현의 표시가 기분의 표시와 연관되도록 배열될 때, 얼굴 표현은 기분의 미리 정해진 타입으로 링크될 수 있다.
프로세서는 기분을 표시하는 얼굴 표현의 표시와 음성의 톤의 표시를 조합하도록 배열될 수 있다. 따라서 보다 자세하고 로버스트(robust)한 기분의 기록/인식이 이루어질 수 있다.
바람직한 실시예에서 음성의 톤의 표시는 말하는 속도, 피치 컨토어(pitch contour), 음성의 소리를 대표하는 값들을 포함한다.
오디오/이미지 데이터의 처리는 사람에 대한 특징인 데이터를 발생시키는 것을 포함한다. 따라서 사람은 기록된 데이터의 기초하여 인식될 수 있다.
바람직한 실시예에서 장치는 사람에 대한 정보 저장과 사람에 대한 특징인 데이터에 그 정보를 연관시키는 선택권을 사용자에게 제공하기 위해 배열된다. 따라서 사용자는 그 또는 그녀의 스스로의 주의들 또는 주어진 사람과 관련된 정보의 다른 타입들을 추가할 수 있다.
이것은 특히 정보가 텍스트, 사진들, 또는 이미지 시퀀스들을 포함할 때 적절하다.
장치가 얼굴 표현들의 표시들 및/또는 음성의 톤들의 표시들의 이력을 저장하기 위해 배열되면, 사용자는 사람의 이력을 만들 수 있다. 이것은, 즉, 사용자가 사람을 더 잘 알수 있도록 도와준다.
장치가 기분의 표시들의 이력을 저장하도록 배열될 때, 보다 개인적인 사람의 지식이 얻어질 수 있다.
장치는 기분의 표시들의 이력에서 이전에 저장된 표시들과 기분의 현재 표시들을 비교하기 위해 배열될 수 있고; 비교에 대하여 사용자에게 정보를 배달할 수 있다. 이것은 사용자가 사람에 대한 정보를 기록들의 이력의 상세한 보기를 얻음에 의한 것보다 빠르게 얻도록 도와준다.
본 발명은 또한 방법에 관한 것이다.
본 발명은 다음의 바람직한 실시예와 관련되어 도면을 참조로 보다 완전하게 설명될 것이다.
도 1은 사람에 대한 정보 검색의 방법을 위한 제 1 흐름도를 도시한다. 흐름도는 방법에서 제 1 단계를 리딩하는 단계(101)에서 시작하고, 단계(102)에서, 사용자는 PDA가 사람을 만나도록 한다. 사용자는 그가 이전에 그 사람과 만났었는지를 궁금해 하면서 사람과 대화하기 시작한다. 따라서, 대화가 진행되는 동안, 사용자는 그의 PDA의 PIR(Personal Information Retrieval) 기능을 단계(103)에서 사용할 수 있다.
대화가 진행되는 동안, PDA는 단계(109)에서 오디오 데이터를 얻기 위해 사람의 음성을 기록한다. 오디오 데이터는 그의 또는 그녀의 음성에 의해 사람을 식별하기 위해 PDA에서 처리된다. 사람이 식별되면, PDA는 사람에 대한 정보를 찾기 위해 데이터베이스를 조회한다. 이것이 단계(108)에서 수행된다. 조회의 결과가 식별된 사람에 대한 정보가 찾아졌음을 나타내면, 사용자는 사용자가 지금 대화하고 있는 사람에 대한 정보가 찾아졌음을 통보받는다. 이 정보는 단계(107)에서 사용자에게 제공된다. 따라서, 사용자는 단계(105)에서 사람에 대한 정보로 업데이트되므로 그 사람을 전에 만났었는지에 대한 의문을 정지할 수 있다. 이러한 정보는 사람에 대한 사용자 자신의 주의들(notes)을 포함할 수 있다. 그 후에, 단계(106)에서 그것이 종료되기 전에 대화가 계속되거나 정지될 수 있다. 따라서 사용자는 예를 들면 사람의 이름, (회사) 주소, 등을 갖는 전자 명함을 제공하는 것에 의해서 사람에 대한 정보로 업데이트된다.
도 2는 사람에 대한 정보 검색의 방법을 위한 제 2 흐름도를 도시한다. 흐름도는 방법의 제 1 단계를 리딩하는 단계(201)에서 시작하고, 단계(202)에서, 사용자는 사람을 만난다. 사용자는 그가 이전에 만났었던 사람이지만, 확실치 않다는 생각을 하면서 사람과 대화하기 시작한다. 사용자는 그의 PDA의 PIR 기능을 단계(203)에서 다시 한 번 사용할 수 있다. 이것은 사용자가 단계(204)에서 대화가 진행되는 동안 사람의 오디오 데이터를 기록하는 것을 포함한다. 따라서, 오디오 데이터가 단계(210)에서 PDA에 의해 기록된다. 그러나, 또한 이미지들/비디오가 기록될 수 있다.
이러한 기록 동안 또는 바로 후에 데이터는 그의 음성에 의해 사람을 식별하기 위해 사람을 인식하도록 처리된다. 사람의 이미지/비디오 데이터가 기록되면, 사람은 그의 얼굴 또는 모든 외관을 통해 식별될 수 있다.
사람이 식별되면, PDA는 단계(208)에서 사람에 대한 정보를 찾기 위해 데이터베이스(DB)를 조회한다. 조회의 결과가 식별된 사람에 대한 정보가 찾아졌음을 나타내면, 사용자는 사용자가 만났다는 사람에 대한 정보가 찾아졌음을 통보받고이 정보는 단계(207)에서 사용자에게 공급된다. 따라서, 사용자는 이러한 정보로 단계(205)에서 업데이트된다. 이어서, 대화는 단계(211)에서 계속될 수 있다.
대화 동안 또는 바로 후에, 사용자는 단계들(212 및 213)에서 사용자가 대화동안 방금 얻은 사람에 대한 정보를 업데이트하고 편집하고 부가하기 위해 PDA를 동작시킬 수 있다.
방법은 단계(206)에서 종료한다. 오디오 데이터를 저장하는 것에 부가적으로 또는 대안적으로, 사용자는 사람의 이미지 또는 비디오 시퀀스를 저장할 수 있다. 따라서, 저장된 이미지 데이터는 사람을 식별하기 위해 처리될 수 있다.
도 3은 사람에 대한 정보를 검색하기 위한 장치에 대한 제 1 흐름도를 도시한다. 이 방법은 사용자의 명령들에 응답하여 실제적인 사람들에 대한 정보를 다시불러내기 위한 수단을 사용자에게 제공하기 위해 PDA에 의해 실행된다.
단계(301)에서 사람의 명령을 받으면, 동시발생하는 오디오 및 이미지 데이터의 기록들은 각각 단계(303) 및 단계(302)에서 수행된다. 이러한 기록들 동안 또는 기록들이 끝나는 바로 후에, 비디오 및 이미지 데이터는 주어진 사람을 인식하는데 사용될 수 있는 오디오 및 비디오 데이터로부터 특성들을 추출하기 위해 처리된다.
단계(307)에서 특성 프로파일에 배열된 추출된 특성들이 이전에 저장된 특성 프로파일과 매치되는지가 확인된다. 매치가 검출되면(예), 그 프로파일에 연관된 사람이 단계(308)에서 식별되고 이전에 저장된 사람에 연관된 정보가 검색된다. 따라서, 단계(305)에서 이러한 정보는 사용자 인터페이스에 의해 사용자에게 제공된다.
이와 달리, 매치가 검출되지 않으면(아니오), 임시의 익명의 사람이 단계(309)에서 생성된다. 즉, 특성 프로파일이 사용자지정된(userspecified) 이름과 연관없는 프로파일로 저장된다. 단계(310)에서 임시의 익명의 사람으로의 참조는 사용자에 의한 정보의 다음 부가를 위해 생성된다. 이것은 이후 사용자가 사람과의 대화가 끝났을 때 사람에 대한 정보를 입력하는 것이 허용될 때 적절하다.
도 4는 사람에 대한 정보를 검색하기 위한 장치에 대한 제 2 흐름도를 도시한다. 또한, 이 방법은 사용자의 명령들에 응답하여 실제적인 사람들에 대한 정보를 다시 불러내기 위한 수단을 사용자에게 제공하기 위해 PDA에 의해 실행된다. 이 흐름도에서 사용자에게 사람의 기분 및/또는 감정적/개인적 상태에 대한 정보를 저장하고 검색하는 선택권들이 제공된다.
사람의 명령이 단계(401)에서 수신되면 동시발생하는 오디오 및 이미지 데이터의 기록들은 단계(403) 및 단계(402)에서 각각 수행된다. 이러한 기록들 동안 또는 기록들이 중단된 바로 후에, 단계(404)에서 비디오 및 이미지 데이터는 주어진 사람을 인식하는데 사용될 수 있는 오디오 및 비디오 데이터로부터 특성들을 추출하기 위해 처리된다.
단계(407)에서 특성 프로파일에 배열된 추출된 특성들이 이전에 저장된 특성 프로파일과 매치되는지가 확인된다. 매치가 검출되면(예), 그 프로파일에 연관된 사람이 단계(408)에서 식별되고 이전에 저장된 사람에 연관된 정보가 검색된다. 다음 단계(411)에서 비디오 및 이미지 데이터가 식별된 사람의 기분 또는 감정적/개인적 상태를 인식하기 위해 사용될 수 있는 오디오 및 비디오 데이터로부터 특성들을 검출하기 위해 처리된다.
따라서, 단계(405)에서 사람에 대한 정보 및 그 또는 그녀의 기분 또는 감정적인/개인적인 상태가 사용자 인터페이스에 의해 사용자에게 공급된다.
이와 달리, 매치가 검출되지 않으면(아니오-단계(407)에서), 임시의 익명의 사람이 단계(409)에서 생성된다. 단계(410)에서 사용자는 정보의 다음 부가를 위해 임시의 익명의 사람으로의 참조를 생성시킨다.
다음 단계(412)에서, 사용자는 사람에 대한 정보를 편집하고 및/또는 업데이트하기 위해 그 또는 그녀를 인에이블하는(enables) 사용자 인터페이스에 액세스한다. 사용자가 이러한 선택권을 선택하면, 편집기는 단계(413)에서 개방된다.
또한, 단계(414)에서 사용자에게 사람의 기분 또는 감정적인/개인적인 상태에 대한 정보를 편집하고 및/또는 업데이트하는 선택권들이 제공된다. 사용자가 이러한 정보를 변화시키도록 선택하면, 편집기는 단계(415)에서 개방된다.
방법은 단계(406)에서 종료한다.
도 5는 사람에 대한 정보를 저장하고 검색하기 위한 장치의 블럭도를 도시한다.
참조 번호(501)은 일반적으로 PDA를 나타낸다. PDA는 본 발명에 따르는 방법을 구현하기 위한 프로그램들을 포함하는 기본 운영체제(OS) 프로세서들과 응용 프로세서들/프로그램들 모두를 실행시키기 위한 중앙 프로세서(509)를 포함한다.
이미지 데이터를 처리하기 위하여 프로세서는 카메라(502)로부터 이미지 데이터를 미리 처리하기 위한 이미지 프로세서(503)에 동작적으로(operatively) 연결된다.
또한, 오디오 데이터를 처리하기 위해 프로세서는 마이크로폰(504)으로부터 오디오 데이터를 미리 처리하기 위한 오디오 프로세서(505)에 동작적으로 연결된다.
사용자가 PDA와 상호작용하는 것을 가능하게 하기 위해서 이것은 디스플레이(506) 및 라우드스피커(507)와 상호작용하는 사용자 인터페이스 수단을 포함한다. 상호작용하는 디스플레이는 이미지들 및 비디오 시퀀스들을 포함하는 텍스트 및 그래픽들을 디스플레이하는 것에 의해 사용자에게 정보를 제공하는 것이 가능하다.
PDA는 접촉감지식(touch-sensitive)인 상호작용하는 디스플레이에서 사용자로부터 입력을 수신할 수 있다. 따라서 상호작용하는 디스플레이 상에 키보드가 나타나게 만들 수 있다. 대안적으로, 또는 부가적으로, 사용자의 디스플레이 상에 핸드라이팅(handwriting)이 새겨질 수 있다.
사람에 대한 정보를 저장하기 위하여 PDA는 구조화되고 검색가능한 방법에서 이러한 정보를 저장하기 위한 데이터베이스(508)를 포함한다.
안정적인 컴퓨터, 인터넷 상의 컴퓨터들, 다른 PDA들, 또는 이동 전화들을 포함하는 다른 전자적인 장치들과의 통신의 목적을 위하여, PDA는 입력/출력(I/O) 인터페이스(510)를 포함한다. I/O 인터페이스는 예를 들면, IrDa 포트 또는 블루투스 인터페이스라고 불리는 무선 인터페이스일 수 있다.
PDA가 휴대용 또는 이동 장치이므로 이것은 재충전가능한 배터리(511)에 의해 먼저 충전된다.
도 6은 사람에 대한 정보를 처리하기 위한 장치의 제 2 블럭도를 도시한다.
블럭도는 4개의 주 처리 수단을 포함한다: 이미지 전처리기(603), 오디오 전처리기(607), 사람 인식 처리기(604), 기분 인식 처리기(608). 또한, 이미지 전처리기(603)는 카메라(602)로부터 이미지 데이터를 필요로 하고 오디오 전처리기(607)는 마이크로폰(606)으로부터 오디오 데이터를 필요로 한다. 사용자 인터페이스(605)를 거쳐 인식된 사람의 아이덴티티 또는 인식된/기록된 기분에 대한 정보를 기록하기 위한 수단이 사용자에게 공급된다. 이러한 정보는 데이터베으스(609)에 기록된다.
바람직한 실시예에서, 이미지 전처리기(603)는 사람들의 얼굴들을 표시하는 이미지 데이터를 처리하기 위해 배열된다. 이것은 사람들의 얼굴들이 1)특정 사람을 식별하기 위해 2)사람의 기분을 결정하기 위해 사용될 수 있는 많은 정보를 포함하기 때문에 적합하다.
오디오 전처리기(607)는 사람들의 음성들 및 그들의 음성의 톤을 표시하는 오디오 데이터를 처리하기 위해 배열된다. 이것은 사람들의 목소리들이 신호 처리 기술들에 의해 추출될 수 있는 정보를 포함하고 개인적인 사람에 대한 특징이기 때문에 적합하다. 또한, 대부분의 경우들에서, 사람들의 목소리의 톤은 사람의 기분을 표시한다.
따라서, 전처리기들(603 및 607)은 1)특정 사람을 식별하기 위해 2)사람의기분을 결정하기 위해 사용될 수 있는 특성들을 추출하기 위해 배열된다.
특정 사람을 식별하는 것에 관계된 특성들은 사람 인식 처리기(604)로 공급되고; 사람의 기분을 결정하는 것에 관계된 특성들은 기분 인식 처리기(608)로 공급된다. 따라서 주어진 이미지 및/또는 오디오 기록은 사람의 아이덴티티를 인식하고 사람의 기분을 결정하기 위해 사용될 수 있다.
위에서 언급된 처리기들이 주어진 사람의 다른 기분들 또는 음성의 톤들 사이의 결정을 위한 이미지 및 오디오 파일들을 처리하는데 매우 능률적임에도 불구하고, 사용자가 기록된 기분 정보를 변경할 수 있는 것이 편리하다. 따라서 사람은 음성의 톤과 사람에 연관된 기분 사이의 관계를 바꿀 수 있다. 사용자 인터페이스(605)는 이를 위해 수단을 제공한다.
또한, 사용자 인터페이스(605)는 사람에 대한 정보의 기록, 업데이트, 또는 편집을 위해 사용될 수 있다.
블럭도는 PDA, 이동 전화, 개인 컴퓨터, 랩탑 컴퓨터, 클라이언트-서버 컴퓨터 시스템 또는 전자 장치의 다른 타입에 의해 수행될 수 있다.
도 7은 카메라 유닛과 마이크로폰을 갖는 PDA를 도시한다. 일반적으로 참조 번호(701)로 지시된 PDA의 본 실시예에서, 이는 상호작용하는 디스플레이(703), 마이크로폰(708) 및 버튼들(704)을 포함한다. PDA는 카메라 유닛(702)과의 연결을 위한 인터페이스(705)를 갖는다. 카메라 유닛(702)은 카메라 유닛으로부터 직접적으로 또는 PDA로부터 동작될 수 있는 카메라(709)를 포함한다. 카메라로 저장된 이미지들은 인터페이스(705)를 통해 PDA로 전송된다.
사람들에 대해 저장된 정보는 이름, 주소, 회사 이름, 이메일 주소, 웹 주소, 직책, 전문지식 등을 가진 명함들을 포함할 수 있다는 것이 인지되어야 한다. 또한 정보는 사람과의 회의의 컨텐츠 등에 대한 주의들을 포함할 수 있다.
또한, 사람의 음성의 톤을 저장하고 처리하는 것에 대안적으로 또는 부가적으로 사람의 성문(voice print)이 저장되고 처리될 수 있다. 사람의 성문은 스피치 데이터에 기초하여 사람을 식별하기 위한 스피치 데이터를 처리하는 것에 의해 추출될 수 있다. 사람의 성문은 사람마다 유일하다고 고려될 수 있다: 성문은 사람의 물리적인 음성 시스템의 차원들에 의해 결정된 다른 특징들 중에서, 예를 들면 그의 음성적인 트랙의 길이 및 넓이이다.

Claims (12)

  1. 실제적인 사람에 대한 정보를 제공하기 위한 방법에 있어서, 상기 방법은:
    상기 실제적인 사람의 오디오 및/또는 이미지 데이터를 기록하는 단계와;
    상기 실제적인 사람의 아이덴티티를 인식하도록 상기 오디오 및/또는 비디오 데이터를 처리하는 단계와;
    상기 인식된 아이덴티티에 대한 저장된 정보를 검색하는 단계와;
    상기 저장된 정보를 사용자에게 공급하는 단계를 포함하는, 정보 제공 방법.
  2. 제 1 항에 있어서, 상기 사람의 성문(voice print) 및/또는 음성의 톤을 결정하기 위하여 상기 오디오 데이터를 처리하는 단계와; 상기 성문 및/또는 음성의 톤의 표시를 저장하는 단계를 더 포함하는, 정보 제공 방법.
  3. 제 2 항에 있어서, 음성의 톤의 표시를 기분의 표시와 연관시키는 단계를 더 포함하는, 정보 제공 방법.
  4. 제 1 항에 있어서, 상기 사람의 얼굴 표현들을 결정하기 위하여 상기 이미지 데이터를 처리하는 단계와; 상기 얼굴 표현들의 표시를 저장하는 단계를 더 포함하는, 정보 제공 방법.
  5. 제 4 항에 있어서, 얼굴 표현의 표시를 기분의 표시와 연관시키는 단계를 더 포함하는, 정보 제공 방법.
  6. 제 1 항에 있어서, 사람에 대한 정보를 저장하고 상기 사람에 대한 특징인 데이터에 정보를 연관시키는 선택권을 사용자에게 제공하는 단계를 더 포함하는, 정보 제공 방법.
  7. 실제적인 사람에 대한 정보를 제공하기 위한 장치에 있어서:
    상기 실제적인 사람의 오디오 및/또는 이미지 데이터를 기록하기 위한 기록기와;
    상기 실제적인 사람의 상기 아이덴티티를 인식하기 위해 상기 오디오 및/또는 시각적 데이터를 처리하고, 상기 인식된 아이덴티티에 대한 저장된 정보를 검색하기 위한 메모리를 갖는 프로세서와;
    상기 저장된 정보를 사용자에게 공급하기 위한 사용자 인터페이스를 포함하는, 정보 제공 장치.
  8. 제 7 항에 있어서, 상기 프로세서는 음성의 톤의 표시를 기분의 표시와 연관시키기 위해 정렬되는, 정보 제공 장치.
  9. 제 7항에 있어서, 상기 프로세서는 얼굴 표현의 표시를 기분의 표시와 연관시키기 위해 정렬되는, 정보 제공 장치.
  10. 제 7 항에 있어서, 상기 프로세서는 얼굴 표현의 표시 및 음성의 톤의 표시를 기분의 표시와 조합시키기 위해 배열되는, 정보 제공 장치.
  11. 제 7 항에 있어서, 상기 장치는 사람에 대한 정보를 저장하고 상기 사람에 대한 특징인 데이터에 그 정보를 연관시키는 선택권을 사용자에게 제공하기 위해 배열되는, 정보 제공 장치.
  12. 제 7 항에 있어서, 현재의 기분의 표시와 기분의 표시들의 이력에 이전에 저장된 표시를 비교하고; 상기 비교의 결과에 대해 상기 사용자에게 정보를 제공하기 위해 배열되는, 정보 제공 장치.
KR1020027017147A 2001-04-17 2002-04-11 사람에 대한 정보를 관리하는 방법 및 장치 KR20030010729A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01201393.4 2001-04-17
EP01201393 2001-04-17

Publications (1)

Publication Number Publication Date
KR20030010729A true KR20030010729A (ko) 2003-02-05

Family

ID=8180161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027017147A KR20030010729A (ko) 2001-04-17 2002-04-11 사람에 대한 정보를 관리하는 방법 및 장치

Country Status (6)

Country Link
US (1) US7058208B2 (ko)
EP (1) EP1382003A1 (ko)
JP (1) JP2004533640A (ko)
KR (1) KR20030010729A (ko)
CN (1) CN1307589C (ko)
WO (1) WO2002086801A1 (ko)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307636B2 (en) * 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US7627143B1 (en) * 2002-04-19 2009-12-01 At&T Intellectual Property I, L.P. Real-time remote image capture system
US20050239511A1 (en) * 2004-04-22 2005-10-27 Motorola, Inc. Speaker identification using a mobile communications device
US20060013446A1 (en) * 2004-07-16 2006-01-19 Stephens Debra K Mobile communication device with real-time biometric identification
JP4871552B2 (ja) * 2004-09-10 2012-02-08 パナソニック株式会社 情報処理端末
US7693306B2 (en) 2005-03-08 2010-04-06 Konami Gaming, Inc. System and method for capturing images from mobile devices for use with patron tracking system
US7353034B2 (en) 2005-04-04 2008-04-01 X One, Inc. Location sharing and tracking using mobile phones or other wireless devices
US20070149222A1 (en) * 2005-12-27 2007-06-28 Berislav Hodko Methods, application server, and terminal for directive person identification and communication
US20070239457A1 (en) * 2006-04-10 2007-10-11 Nokia Corporation Method, apparatus, mobile terminal and computer program product for utilizing speaker recognition in content management
US20080279454A1 (en) * 2007-05-07 2008-11-13 Lev Jeffrey A Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition
US8144939B2 (en) 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
US20090193344A1 (en) * 2008-01-24 2009-07-30 Sony Corporation Community mood representation
US8447065B2 (en) 2008-09-16 2013-05-21 Cyberlink Corp. Method of facial image reproduction and related device
KR101471204B1 (ko) * 2008-12-19 2014-12-10 주식회사 케이티 이미지에서의 의류 검출 장치와 그 방법
US8827712B2 (en) * 2010-04-07 2014-09-09 Max Value Solutions Intl., LLC Method and system for name pronunciation guide services
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US9503786B2 (en) 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US9646046B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US9204836B2 (en) 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US9028255B2 (en) * 2010-10-06 2015-05-12 Dominic William Massaro Method and system for acquisition of literacy
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US9842299B2 (en) 2011-01-25 2017-12-12 Telepathy Labs, Inc. Distributed, predictive, dichotomous decision engine for an electronic personal assistant
US9542695B2 (en) 2011-02-22 2017-01-10 Theatro Labs, Inc. Observation platform for performing structured communications
US10134001B2 (en) 2011-02-22 2018-11-20 Theatro Labs, Inc. Observation platform using structured communications for gathering and reporting employee performance information
KR101659649B1 (ko) 2011-02-22 2016-09-23 디아트로 랩스, 인크. 구조화된 통신을 이용하기 위한 관측 플랫폼
US11605043B2 (en) 2011-02-22 2023-03-14 Theatro Labs, Inc. Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics
US11636420B2 (en) 2011-02-22 2023-04-25 Theatro Labs, Inc. Configuring, deploying, and operating applications for structured communications within observation platforms
US10069781B2 (en) 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
US20130060568A1 (en) * 2011-02-22 2013-03-07 Steven Paul Russell Observation platform for performing structured communications
US10699313B2 (en) 2011-02-22 2020-06-30 Theatro Labs, Inc. Observation platform for performing structured communications
US10375133B2 (en) 2011-02-22 2019-08-06 Theatro Labs, Inc. Content distribution and data aggregation for scalability of observation platforms
US11599843B2 (en) 2011-02-22 2023-03-07 Theatro Labs, Inc. Configuring , deploying, and operating an application for structured communications for emergency response and tracking
US9407543B2 (en) 2011-02-22 2016-08-02 Theatrolabs, Inc. Observation platform for using structured communications with cloud computing
US10204524B2 (en) 2011-02-22 2019-02-12 Theatro Labs, Inc. Observation platform for training, monitoring and mining structured communications
US9602625B2 (en) 2011-02-22 2017-03-21 Theatrolabs, Inc. Mediating a communication in an observation platform
AU2012256402A1 (en) 2011-02-27 2013-07-11 Affectiva, Inc, Video recommendation based on affect
CN107274916B (zh) * 2012-12-05 2021-08-20 北京三星通信技术研究有限公司 基于声纹信息对音频/视频文件进行操作的方法及装置
US9530067B2 (en) 2013-11-20 2016-12-27 Ulsee Inc. Method and apparatus for storing and retrieving personal contact information
US20150286873A1 (en) * 2014-04-03 2015-10-08 Bruce L. Davis Smartphone-based methods and systems
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US10235990B2 (en) 2017-01-04 2019-03-19 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10373515B2 (en) 2017-01-04 2019-08-06 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10318639B2 (en) 2017-02-03 2019-06-11 International Business Machines Corporation Intelligent action recommendation
KR20180115601A (ko) * 2017-04-13 2018-10-23 인하대학교 산학협력단 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
KR102364032B1 (ko) * 2017-09-28 2022-02-17 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템
US10607612B2 (en) * 2017-10-19 2020-03-31 International Business Machines Corporation Hierarchical intimacy for cognitive assistants
US20190172458A1 (en) 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1257073B (it) * 1992-08-11 1996-01-05 Ist Trentino Di Cultura Sistema di riconoscimento, particolarmente per il riconoscimento di persone.
US5617855A (en) * 1994-09-01 1997-04-08 Waletzky; Jeremy P. Medical testing device and associated method
DE19502627A1 (de) 1995-01-19 1996-08-08 Peter Wolschke Verfahren und Vorrichtung zur Kontaktaufnahme zwischen Personen
US6320974B1 (en) * 1997-09-25 2001-11-20 Raytheon Company Stand-alone biometric identification system
US6173260B1 (en) * 1997-10-29 2001-01-09 Interval Research Corporation System and method for automatic classification of speech based upon affective content
DE19801666A1 (de) 1998-01-17 1999-07-29 Vdls Messtechnik Gmbh Verfahren zur Detektion
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
US6487531B1 (en) * 1999-07-06 2002-11-26 Carol A. Tosaya Signal injection coupling into the human vocal tract for robust audible and inaudible voice recognition
DE29914964U1 (de) * 1999-08-26 1999-11-11 Bernhardt Wolfgang Distanz-Stimmlagendetektor
US6463415B2 (en) * 1999-08-31 2002-10-08 Accenture Llp 69voice authentication system and method for regulating border crossing
US6522333B1 (en) * 1999-10-08 2003-02-18 Electronic Arts Inc. Remote communication through visual representations
US6728679B1 (en) * 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US6804391B1 (en) * 2000-11-22 2004-10-12 Microsoft Corporation Pattern detection methods and systems, and face detection methods and systems
US6611206B2 (en) * 2001-03-15 2003-08-26 Koninklijke Philips Electronics N.V. Automatic system for monitoring independent person requiring occasional assistance

Also Published As

Publication number Publication date
CN1307589C (zh) 2007-03-28
JP2004533640A (ja) 2004-11-04
EP1382003A1 (en) 2004-01-21
US7058208B2 (en) 2006-06-06
CN1461451A (zh) 2003-12-10
US20030035567A1 (en) 2003-02-20
WO2002086801A1 (en) 2002-10-31

Similar Documents

Publication Publication Date Title
KR20030010729A (ko) 사람에 대한 정보를 관리하는 방법 및 장치
EP2210214B1 (en) Automatic identifying
CN110288985B (zh) 语音数据处理方法、装置、电子设备及存储介质
EP1345394A1 (en) Voice message processing system and method
WO2003073417A2 (en) Intelligent personal assistants
WO2019242414A1 (zh) 语音处理方法、装置、存储介质及电子设备
WO2021169365A1 (zh) 声纹识别的方法和装置
CN111696538B (zh) 语音处理方法、装置和介质
US8788621B2 (en) Method, device, and computer product for managing communication situation
JP4017887B2 (ja) 音声認識システムおよび音声ファイル記録システム
JP3437617B2 (ja) 時系列データ記録再生装置
JP2006018551A (ja) 情報処理装置および方法、並びにプログラム
CN111460231A (zh) 电子设备以及电子设备的搜索方法、介质
WO2019156537A1 (ko) 보안 등과 관련된 서비스를, 사용자간 대화 세션에 대한 모니터링에 기초하고 대화 세션 또는 별도의 세션을 통해, 능동적으로 제공하는 대화형 ai 에이전트 시스템, 방법 및 컴퓨터 판독가능 기록 매체
JP2002099530A (ja) 議事録作成装置及び方法並びにこれを用いた記憶媒体
CN110415703A (zh) 语音备忘信息处理方法及装置
TW200824408A (en) Methods and systems for information retrieval during communication, and machine readable medium thereof
JP3761158B2 (ja) 電話応答支援装置及び方法
CN113936697A (zh) 语音处理方法、装置以及用于语音处理的装置
US20170242845A1 (en) Conversational list management
CN108989551B (zh) 位置提示方法、装置、存储介质及电子设备
WO1997009683A1 (fr) Systeme de mediatisation d'informations multimedia contenant des informations audio
CN113010866A (zh) 一种基于个人数据库的智能交互方法和系统
CN111143595A (zh) 基于语音识别的图片管理方法、系统、介质及设备
CN116614574B (zh) 一种通话录音控制方法及移动通信终端

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid