KR20010022524A - 정보처리장치 및 방법과 정보제공매체 - Google Patents

정보처리장치 및 방법과 정보제공매체 Download PDF

Info

Publication number
KR20010022524A
KR20010022524A KR1020007001113A KR20007001113A KR20010022524A KR 20010022524 A KR20010022524 A KR 20010022524A KR 1020007001113 A KR1020007001113 A KR 1020007001113A KR 20007001113 A KR20007001113 A KR 20007001113A KR 20010022524 A KR20010022524 A KR 20010022524A
Authority
KR
South Korea
Prior art keywords
information
input
user
concept
intention
Prior art date
Application number
KR1020007001113A
Other languages
English (en)
Other versions
KR100638198B1 (ko
Inventor
사사이다카시
하토리마사카즈
카토야스히코
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010022524A publication Critical patent/KR20010022524A/ko
Application granted granted Critical
Publication of KR100638198B1 publication Critical patent/KR100638198B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/02Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/0225User interface arrangements, e.g. keyboard, display; Interfaces to other computer systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

인터페이스(30)는, 사용자로부터 입력된 음성을 음성 인식하고, 그 인식결과를 개념추출부(31)에 출력한다. 개념추출부(31)는 인테페이스(30)로부터 공급된 인식결과에서 개념요소를 추출하고, 의도해석부(32)는 개념추출부(31)에 의해 추출된 개념요소에 대응하여 사용자의도를 해석한다. 정보관리부(33)는, 의도해석부(33)에 의해 해석된 사용자의도에 대응하여 정보관리를 행한다.

Description

정보처리장치 및 방법과 정보제공매체{Method and apparatus for information processing, and medium for provision of information}
스케쥴이나, 주소록 등의 개인정보를 관리하기 위한 PIH(Personal Information Hanager)로서는, 전자수첩이나 PDA(Personal Digital Assistant) 등이 있다. 또, 소프트웨어로 구성된 PIH를 퍼스널 컴퓨터로 실행시켜서 사용하는 경우도 있다. 본 명세서에서는, 이들을 개인정보 관리장치라고 총칭한다.
이와 같은 PIH기능을 갖는 개인정보 관리장치에서는, 일반적으로 관리하는 정보에 의해 기능이 구별되어 있다. 예를 들면, 주소를 입력하는 경우 사용자는, 개인정보 관리장치의 주소기록기능을 기동하고, 거기에 등록하게 된다.
그런데, 사용자가 등록하고 싶은 정보는, 예를 들면 메모 쓰기와 같이 명확하게 분류할 수 없는 것도 많다. 종래의 개인정보 관리장치에는, 내용을 자동적으로 분류, 정리하여 관리하도록 한 기능은 없었기 때문에, 사용자 자신이 메모의 내용을 분류, 정리 하고 나서 개인정보관리의 대응하는 관리기능에 등록하게 되며, 사용시에 있어서 부담이 된다는 문제점이 있었다.
또, 메모의 상태대로 보존하거나, 예를 들면 테이프레코더 등의 녹음기기에 음성으로서 기록하는 것도 고려되지만, 이 경우 정보가 다량이 되면, 그 중에서 필요한 정보를 찾아내는 것이 곤란하게 된다는 문제점이 있었다.
본 발명은, 정보처리장치 및 방법과 정보제공매체에 관하여, 특히 입력된 정보로부터 개념요소를 추출하고, 추출된 개념요소에서 사용자의 입력의도를 해석하고, 해석된 사용자 의도에 대응하여 정보를 관리함으로써, 보다 용이하고 또한 신속하게 정보를 관리할 수 있도록 한 정보처리장치 및 방법과 정보제공매체에 관한것이다.
도 1은 본 발명의 정보처리장치를 적용한 개인정보 관리장치의 일실시 형태의 구성예를 나타내는 외관 도면이다.
도 2는 상기 개인정보 관리장치 내부의 전기적인 구성예를 나타내는 블록도이다.
도 3은 상기 개인정보 관리장치의 CPU가 실행하는 처리의 기능적인 구성예를 나타내는 기능 블록도이다.
도 4는 상기 개인정보 관리장치의 정보관리부의 상세한 구성예를 나타내는 블록도이다.
도 5는 상기 개인정보 관리장치의 개인정보 기억부의 기억형태를 설명하는 도면이다.
도 6은 상기 개인정보 관리장치의 동작을 설명하는 플로차트이다.
도 7은 상기 개인정보 관리장치의 어플리케이션 화면의 표시예를 나타내는 도면이다.
도 8은 상기 개인정보 관리장치에 있어서의 정보검색처리의 구체적인 예를 나타내는 플로차트이다.
도 9는 상기 정보검색처리를 설명하는 도면이다.
도 10은 사용자의 정보입력 순서를 나타낸 플로차트이다.
도 11은 사용자의 정보입력의 상세한 설명을 나타낸 흐름도이다.
도 12는 정보입력처리의 결과를 제시하는 도면예를 나타내는 도면이다.
도 13은 개념요소의 입력을 실행하고 있는 도면예를 나타내는 도면이다.
도 14는 사용자의도에 대응한 정보를 일람 제시하는 도면예를 나타내는 도면이다.
도 15는 사용자 입력항목의 수정을 실행하고 있는 화면예를 나타내는 도면이다.
본 발명은, 이와 같은 종래의 실상을 감안하여 이루어진 것이며, 보다 용이하고 또한 신속하게 정보를 관리할 수 있도록 한 정보처리장치 및 방법과 정보제공매체를 제공하는 것이다.
본 발명에서는, 입력된 정보에서 개념요소를 추출하고, 추출한 개념요소에 대응하여, 사용자의 정보의 입력의도를 해석하고, 해석한 입력의도에 대응하여, 정보에 대해서 소정의 처리를 실행한다.
즉, 본 발명에 관계되는 정보처리장치는, 정보를 입력하는 입력수단과, 입력수단에 의해 입력된 정보에서 개념요소를 추출하는 추출수단과, 추출수단에 의해 추출된 개념요소에 대응하여, 사용자의 정보의 입력의도를 해석하는 해석수단과, 해석수단에 의해 해석된 입력의도에 대응하여, 정보에 대해서 소정의 처리를 실행하는 실행수단과를 갖추는 것을 특징으로 한다.
또, 본 발명에 관계되는 정보처리방법은, 정보를 입력하는 입력스텝과, 입력스템에서 입력된 정보에서 개념요소를 추출하는 추출스텝과, 추출스텝에서 추출된 개념요소에 대응하여, 사용자의 정보의 입력의도를 해석하는 해석스텝과, 해석스텝에서 해석된 입력의도에 대응하여, 정보에 대해서 소정의 처리를 실행하는 실행스텝과를 포함하는 것을 특징으로 한다.
또한, 본 발명에 관계되는 정보제공매체는, 정보를 입력하는 입력스템과, 입력스텝에서 입력된 정보에서 개념요소를 추출하는 추출스텝과, 추출스텝에서 추출된 개념요소에 대응하여, 사용자의 정보의 입력의도를 해석하는 해석스텝과, 해석스텝에서 해석된 입력의도에 대응하여, 정보에 대해서 소정의 처리를 실행하는 실행스텝과를 포함하는 처리를 정보처리장치에 실행시키는 컴퓨터가 독해가능한 프로그램을 제공하는 것을 특징으로 한다.
이하, 본 발명의 실시의 형태에 대해서 도면을 참조하면서 상세히 설명한다.
도 1은, 본 발명의 정보처리장치를 적용한 개인정보 관리장치의 일구성예를 나타내는 외관도이다.
이 개인정보 관리장치(100)의 본체(1)에는, 스피커(2), 표시부(3-1), 토크스위치(4), 스크롤키(5), 결정키(6), 마이크로폰(7) 등이 설치되어 있다.
스피커(2)는, 후술하는 것과 같이 합성된 음성이나, 녹음된 정보에 대응하는 음성을 출력하도록 되어 있다.
표시부(3-1)는, 어플리케이션 프로그램의 GUI(Graphical User Interface)를 표시하기 위한 것이다. 이 표시부(3-1)의 표면 상에는, 사용자가 터치펜(8) 또는 손가락 등을 사용하여 접촉함으로써 지시된 위치에 대응하는 신호를 출력하는, 소위 터치패널(터치타블렛)(3-2)이 배치되어 있다. 이 터치패널(3-2)은, 유리 또는 수지 등의 투명한 재료에 의해 구성되어 있고, 사용자는, 표시부(3-1)에 표시되는 화상을, 터티패널(3-2)을 거쳐서 볼 수 있다. 또, 사용자는, 터치펜(8)을 이용해서, 터치패널(3-2)에 소정의 문자를 입력(기술)을 하거나, 표시부(3-1)에 표시되어 있는 소정의 오브젝트(아이콘)의 선택 또는 실행 등을 행할 수 있다.
토크스위치(4)는, 마이크로폰(7)을 거쳐서 음성을 입력할 때 조작되는 버튼이며, 이 토크스위치(4)가 사용자에 의해 계속해서 조작되고 있는 동안, 음성이 개인정보 관리장치에 접수되는(입력된다) 것 같이 되어 있다.
스크롤키(5)는, 상방향키(5-1)와 하방향키(5-2)에 의해 구성되어 있다. 상방향키(5-1)는 표시부(3-1)에 표시되어 있는 화상을 상방향으로 스크롤 시킬 때 조작되고, 하방향키(5-2)는, 화상을 하방향에 스크롤 시킬 때 조작된다. 결정키(6)는 소정의 항목이나 처리를 결정할 때 조작된다.
도 2는, 상기 개인정보 관리장치(100) 내부의 전기적인 구성예를 나타내는 블록도이다, 이 개인정보 관리장치(100)는, 내부버스(100)를 거쳐서 상호 접속된 CUP(11), ROM(12), RAM(13), 표시제어부(14), 입력인터페이스(15) 및 음성합성부(18)를 갖추고, 상기 입력인터페이스(15)에 입력검출부(16) 및 A/D변환부(17)가 접속되어 있다. 그리고, 표시제어부(14)에는, 상기 표시부(3-1)가 접속되어 있다. 또, 입력검출부(16)에는, 상기 터치패널(3-2), 토크스위치(4), 스크롤키(5)나 결정키(6)가 접속되어 있다. 또한, 음성합성부(18)에는, 상기 스피커(2)가 접속되어 있다.
CPU(11)는, ROM(12) 또는 RAM(13)에 기억되어 있는 어플리케이션 프로그램 또는 각종 데이터에 따라서, 각종의 처리를 실행하도록 되어 있다.
표시제어부(14)는, CPU(11)에서 공급된 정보에 대응하여, 표시부(3-1)에 표시하기 위한 화상데이터를 생성하고, 표시부(3-1)에 표시시킨다. 입력검출부(16)는, 터치패널(3-2), 토크스위치(4), 스크롤키(5)나 결정키(6)에 의한 입력을 결정하고, 대응하는 조작신호를 입력인터페이스(15)에 출력하도록 되어 있다. A/D변환부(17)는, 마이크로폰(7)에서 입력된 음성신호를 아날로그신호에서 디지털신호로 변환하고, 입력인터페이스(15)에 출력하도록 되어 있다.
입력인터페이스(15)는, A/D변환부(17)에서 공급된 음성신호 또는 입력검출부(16)에서 공급된 조작신호를 접수하고, CPU(11)에 출력하도록 되어 있다. 음성합성부(18)는, CPU(11)에서 공급되는 음성합성에 필요한 파라메타나 텍스트데이터에 의거해서 합성음성을 생성하고, 스피커(2)를 거쳐서 출력한다. 또, 마이크로폰(7)을 거쳐서 RAM(13)에 녹음된 음성을 재생할 경우에도 사용된다.
마이크로폰에서 A/D변환부(17) 및 입력인터페이스(15)를 거쳐서 음성신호가 입력되면, CPU(11)는 ROM(12) 또는 RAM(13)에 기억되어 있는 음성학습데이터나 사전정보를 참조하여, 음성인식처리를 실행한다. 또, 터치패널(3-2)로부터 입력검출부(16) 및 입력인터페이스(15)를 거쳐서 조작신호(문자입력 조작신호)가 입력되면, CPU(11)는 ROM(12) 또는 RAM(13)에 기억되어 있는 문자학습 데이터나, 문자정보를 이용해서, 문자인식처리를 실행한다. 여기서, 터치패널(3-2)로부터의 입력이, 표시부(3-2)에 표시도어 있는 소정의 오브젝트(아이콘)에 대하는 지시조작신호인지, 또는 문자입력 조작신호인지는, 기동되고 있는 어플리케이션 프로그램에 의해 구별되는 것으로 한다.
다음에, 도 3은 CPU(11)가 실행하는 처리의 기능적인 구성예를 나타내는 기능 블록도이다. 이 예에 있어서는, 인터페이스부(30)는 사용자와 시스템간에 있어서의 정보의 전달을 행하기 위한 인터페이스를 구성하고 있고, 사용자가 입력한 정보 중 음성의 입력 또는 문자의 입력에 대해서는, 각각 음성인식처리 또는 문자인식처리를 행하고, 대응하는 텍스트데이터를 작성하고, 언어정보로서 개년추출부(31)에 출력하도록 되어 있다. 또, 인터페이스부(30)는 사용자가 음성 또는 문자에 부수하여 입력한 비언어정보를 검출하도록 되어 있다. 예를 들면, 인터페이스부(30)는 음성이 입력된 경우, 그 음성의 피치주파수의 변화정보 또는 음성의 크기 정보를 검출하고, 또, 문자 입력의 경우 사용자가 문자 입력에 요한 시간 또는 필압의 변화 등의 정보를 검출하고, 개념추출부(31) 및 의도해석부(32)에 출력한다. 인터페이스부(30)는, 또한, 개념추출부(31), 의도해석부(32), 또는 정보관리부(33)에서 공급된 정보를 사용자에게 제시하도록 되어 있다.
개념추출부(31)는, 인테페이스부(30)에서 공급된 언어정보와 비언어정보에 대해서, 어구의 패턴매칭 문장의 구문해석, 또는 의미해석 등의 자연 언어처리를 행함으로써, 개념요소를 추출한다. 여기서, 개념요소란 특정의 정리된 의미를 갖는 어구의 개념에 관한 정보를 표시한 것이다. 비언어정보에 대한 개념요소의 추출에서는, 대응하는 개념요소의 패턴이 미리 정의되어 있고, 예를 들면 「음성의 레벨이 X 이상이다」라는 비언어정보에 대해서는, 개념요소로서 「강조」를 나타내는 의미정보를 부가하는 것이 정의되어 있다. 사용자가 입력한 1개의 언어정보에서 추출되는 개념요소는, 반드시도 1개는 아니고, 복수 추출되는 경우도 있다. 이때에 얻어진 복수의 개념요소의 집합을 개념요소군이라고 칭한다. 개념추출부(31)에 의해 추출된 개념요소군은, 의도해석부(32)에 출력된다.
의도해석부(32)는, 개념추출부(31)에서 공급된 개념요소군에 의거해서, 사용자가 입력한 언어정보가 어떠한 의도를 표시하는 것인지를 해석한다. 의도해석부(32)는, 개념요소의 조합에 대응하는 사용자의도가 미리 정의된 사용자 의도룰의 테이블이 준비되어 있고, 그 테이블을 참조하여 개념추출부(31)에서 공급된 개념요소의 조합에 최적하는 사용자 의도를 선택하고, 정보관리부(33)에 출력한다. 또한, 개념추출부(31)에서 공급된 개념요소의 조합에, 완전히 적합한 사용자의도가 존재하지 않았을 경우, 그 뜻을 인터페이스부(30)가 사용자에게 제시하거나, 그 중에서 가장 적합하다고 생각되는 것을 선택하도록 하는 것이 고려된다.
정보관리부(33)는, 의도해석부(32)에서 공급된 사용자의도에 대응하여, 정보의 추가(기억), 삭제, 또는 검색등의 처리를 개인정보 기억부(34)에 대해서 행하는 동시에, 개인정보 기억부(34)에 기억되어 있는 사용자에게 제시하여야 할 정보를 인터페이스부(30)에 출력한다. 또, 정보관리부(33)는, 인터페이스부(30)에서 입력된 음성을 개념추출부(31)에 의해 추출된 개념요소군에 대응시켜서 개인정보 기억부(34)에 기억하도록 되어 있다.
개인정보기억부(34)는, RAM(13) 상에 구성되어 있는 데이터 베이스이며, 여기에는, 음성 녹음데이터, 음성 인식데이터(텍스트 데이터), 또는 문자인식 데이터(텍스트 데이터) 등이 개인정보로서 기억된다. 또, 개인정보 기억부(34)에는 개념요소를 키로 한 데이터 검색을 가능하게 하기 위해, 개념추출부(31)에 의해 검출된 개념요소군에 관한 정보도 기억된다.
도 4는, 정보관리부(33)의 상세한 구성예를 나타내고 있다. 이 예에 있어서는, 정보관리부(33)는 개인정보 기억부(34)에 대해서 정보의 기억 또는 검색을 행하는 개인정보 조작부(51), 개인정보 조작부(51)에서 공급되는 데이터의 압축 또는 전개를 행하는 데이터 압축전개부(52) 및 참조정보의 관리를 행하는 참조정보관리부(53)에 의해 구성되어 있다. 개인정보 조작부(51)는, 개념추출부(31)에 의해 추출된 개념요소군 및 의도해석부(32)에 의해 해석된 사용자의도를 수취하고, 이들에 대응해서, 개인정보 기억부(34)에의 데이터의 기억 또는 검색을 행한다. 또, 개인정보조작부(51)는, 정보의 기억시에 있어서, 개념요소군과 사용자의도를 개인정보 기억부(34)의 정보와 함께 기억하고, 데이터의 검색시에 있어서, 후술하는 사용자의도 인터페이스 및 개념요소 인덱스에 의거해서 사용자가 요구하는 데이터의 검색을 행한다.
데이터 압축전개부(52)는, 개인정보조작부(51)에 의해 제어되고, 예를 들면 하프만부호화 등에 따라서 데이터의 압축을 행하는 동시에, 압축된 데이터의 전개를 행하도록 되어 있다. 참조정보관리부(53)는, 개인정보기억부(34)에 기억되어 있는 개개의 데이터에 관하여, 각각의 참조정보의 관리를 행하도록 되어 있다.
데이터 압축전개부(52)는, 정보의 참조빈도의 평가치(후술)에 대응하여, 정보의 압축율을 변동하도록 되어 있는 것이다. 구체적으로는, 빈번하게 참조되는 정보에 대해서는 보다 신속히 전개하여 제시하는 것을 상정하여 압축하지 않거나, 또는, 보다 낮은 압축율로 하고, 그다지 이용하지 않는 정보에 대해서는 개인정보 기억부(34)의 쓸데없는 것을 절약하기 위해 압축율을 보다 높게 한다.
참조정보 관리부(53)는, 사용자에 의한 정보의 참조에 관한 정보(참조정보)를 관리하도록 되어 있고, 개인정보 조작부(51)의 개인정보 기억부(34)에 대한 각종의 조작에 따라서, 참조정보를 갱신한다. 참조정보는, 구체적으로는 사용자가 각각의 정보를 어느 정도의 빈도로 참조하였는지의 참조빈도이다.
도 5는, 개인정보 기록부(34)의 기억형태의 예를 나타내고 있다. 이 예에 있어서, 정보(개인정보)가, 사용자의도 인덱스 및 개념요소 인덱스와 대응시켜서 기억되어 있다. 사용자 의도인덱스는, 사용자의도를 키로 한 개인정보에의 링크정보이다. 예를 들면, 사용자의도 「어드레스 등록」을 키로 하는 사용자의도 인덱스 ID(3)는, 인물어드레스(전화번호)에 관한 정보인 정보(D2)(「A씨의 전화번호는 xxx」), 및 정보(D4)(「B씨의 전화번호는 xxx」)에 링크하고 있다.
개념요소를 키로 하는 개념요소 인덱스로부터 개인정보에의 링크정보에는, 각 개념요소에 각각 대응하는 어구의 위치와, 개념요소로서 얻어진 값이 포함되어 있다. 예를 들면, 개념요소 인덱스(ID5)로부터, 정보(D4)의 대응하는 어구에의 링크에는, 개념요소「인명」에 대응하는 D4에 있어서의 어구 「B씨」의 위치를 나타내는 정보와, 개념요소의 값으로서 얻어진 「B」라는 정보가 부여되어 있다. 또한, 1개의 개념요소 인덱스에는, 복수의 어구가 대응하고 있는 경우도 있고(개념요소 인덱스(ID)의 경우, 정보(D2)의 「A씨」와 정보(D4)의「B씨」), 도 5의 ID 4-1, 4-2와 같이, 키가 계층적으로 구성되어 있는 경우도 있다. 또, 인덱스정보는, 어플리케이션 프로그램에서 취급되도록 정의된 사용자의도 및 개념요소에 의해 구성되어 있고, 외부로부터 그 정의를 변경하지 않은 한 고정적이다.
다음에, 도 6을 참조하여, 개인정보 관리장치(100)의 동작을 설명한다. 또한, 이하의 처리에 있어서는, 음성의 입력에 대해서 설명하는바, 터치패널(3-2)를 거쳐서 문자를 입력할 경우에 있어서도 동일한 처리가 행해진다. 우선, 스텝(S61)에 있어서, 사용자가 도 1의 토크스위치(4)를 조작하면서, 마이크로폰(7)을 거쳐서 음성의 입력을 개시하면, 인터페이스부(30)는 입력된 음성의 음성인식을 행하고, 인식결과인 언어정보와, 사용자의 입력에 수반한 비언어정보를 개념추출부(31)에 출력한다. 사용자가 토크스위치(4)의 조작을 정지하면 음성 입력이 정지되고, 스텝(S62)으로 진행한다.
스텝(S62)에 있어서, 개념추출부(31)는 인터페이스부(30)에서 공급된 언어정보 및 비언어정보로부터 개념요소를 추출한다. 이때, 개념추출부(31)는 공급된 언어정보를 특정한 의미정보를 갖는 어구마다 분석한다. 예를 들면, 「오늘 5시부터 회의」라는 문구가 주어졌을 때, 「오늘 5시부터」와 「회의」라는 어구로 분해하고, 이때 의미정보로서 「오늘 5시부터」에 대해서는 「개시시각」이라는 의미를 나타내는 태그를, 「회의」에 대해서는 「사건」이라고 하는 의미를 나타내는 태그를, 각각 부가한다. 이하에 있어서, 개념추출부(31)에 의해 추출된 개념요소를(의미정보 : 단어열) 라고 하는 형태로 표현한다.
지금의 경우, 언어정보로부터는,
(개시시각 : 오늘 5시부터), (사건 : 회의)
이라는 2개의 개념요소에 의해 구성되는 개념요소군이 추출되게 된다. 비언어정보에 대하는 개념추출에서는 상술한 것과 같이, 각각의 비언어정보에 대해서 미리 정의된 개념요소가 부가된다. 예를 들면, 음성레벨이 소정의 임계치 이상이었을 때, 개념요소 추출부(31)는, 사용자의 입력에 「중요하다」라고 하는 의미가 포함되어 있는 것으로 간주하고, (수식 : 중요) 라고 하는 개념요소를 추출한다. 언어정보에서 추출된 개념요소군과, 비언어정보에서 추출된 개념요소군은, 합쳐서 1개의 개념요소군으로서 의도해석부(32)에 공급된다.
스텝(S63)으로 진행하고, 의도해석부(32)는 개념추출부(31)에서 공급된 개념요소군에 대응하여, 사용자의도를 해석한다. 본 실시의 형태에 있어서는, 개념요소군의 특정한 조합에 대응하는 의도해석룰이라고 칭하는 규칙이 미리 준비되어 있고, 이 의도해석 룰에 따라서, 의도해석이 행해진다.
의도해석 룰로서는,
『개념요소군에 「개시시각」과 「사건」에 관한 조합이 있는 경우, 사용자의도는 예정의 기억에 관한 것이다』
『개념요소군에 「이름」,「전화」및「숫자열」에 관한 조합이 있는 경우, 사용자의도는 전화번호의 기억에 관한 것이다』
라고 하는 것을 들 수 있다.
예를 들면, 스텝(S62)에서,
(개시시각 : 오늘 5시부터)
(사건 : 회의)
(수식 : 중요)
라고 하는 3개의 개념요소에 의해 구성되는 개념요소군이 얻어진 경우, 의도해석부(32)는, 의도해석룰에 따라서 사용자의도를 「예정의 기억」으로 해석한다. 또한, 사용자의 입력에 「검색」등의 어구가 포함되어 있거나, 「무엇입니까」또는 「언제입니까」등의 문의를 의미하는 어구가 포함되어 있는 경우, 의도해석부(32)는, 「정보의 검색」이라고 해석한다.
그런데, 사용자 입력에 개인정보 관리장치에 있어서 정의되어 있지 않은 미지의 어구가 존재하는 경우도 고려되는바, 그 경우 스텝(S61)에 있어서의 인식처리 시에, 결락 또는 완전히 틀리는 의미에의 오인식이 발생하게 된다. 그 결과, 스텝(S62)에 있어서, 바른 개념요소가 추출되지 않게 된다.
그렇지만, 의도해석부(32)는 개념요소군에 포함되어 있는 개념요소의 조합에 대응하고, 사용자의도를 해석하기 위해 잘못된 개념요소가 포함되어 있어도, 그것을 무시하고 해석을 행한다. 또, 음성의 녹음기능을 갖춘 개인정보 관리장치에서는, 음성인식시예 오인식된 경우라도, 녹음된 음성을 재생함으로써, 바른 내용을 확인할 수 있다.
스텝(S64)에 있어서, 의도해석부(32)에서 해석된 사용자의도가 정보의 검색인지 아닌지가 판정되고, 사용자의도가 정보의 검색이 아니라고(정보의 기억이다)라고 판정된 경우, 스텝(S65)으로 진행된다. 한편, 스텝(S64)에 있어서, 사용자의도가 정보의 검색이라고 판정된 경우, 스텝(S66)으로 진행한다.
스텝(S65)에 있어서, 정보관리부(33)는 인터페이스부(30)에 입력된 정보(텍스트데이터 또는 음성녹음데이터)를, 개념추출부(31)에 의해 추출된 개념요소군에 대응시켜서 개인정보 기억부(34)에 기억시킨 후, 스텝(S67)으로 진행한다. 여기서, 정보에 관해서 그 작성시각(입력시각), 수정시각, 최후참조시각 또는 참조회수 등의 관련정보도 기억된다. 이들의 관련정보는, 사용자에게 적의 제시되고, 이것에 의해, 사용자는 관리되고 있는 정보의 상황을 파악할 수 있다.
스텝(S66)에 있어서, 정보관리부(33)는 개인정보 기억부(34)에 기억되어 있는 정보 중에서, 사용자로부터 요구가 있었던 정보를 검색하고, 검색결과를 인터페이스부(30)에 출력한다. 상술한 것같이, 개인정보 기억부(34)에 기억되어 있는 정보는, 개념요소의 조합을 기본으로 하여 기억되어 있고, 정보관리부(33)는 사용자의 입력에 포함되는 개념요소군을 포함하는 것같은(즉, 사용자가 요구하고 있는) 정보를 검색한다. 단, 반드시도 입력에 포함되는 개념요소군과 완전히 일치하는 개념요소군에 의해 구성되는 정보가 아니라도 좋다. 완전히 일치하는 것이 없으면, 조건을 완화하여 검색함으로써, 사용자가 의도하는 것과 가능한 한 가까운 정보를 검색한다. 검색처리의 구체예에 대해서는, 도 8을 이용하여 후술한다.
스텝(S67)으로 진행하고, 인터페이스부(30)는 사용자의 입력에 제시하기 위한 정보의 출력 파라미터를 설정한다. 여기서, 출력 파라미터란, 정보를 합성음성으로 출력하는 경우, 그 피치나 크기 등의 파라미터를 나타내고 도 1과 같이 표시부(3-1)에 텍스트로서 표시하는 경우, 사용하는 폰트의 종류, 크기, 장식 등의 파라미터를 나타낸다. 지금의 경우, 스텝(S61)에서 「오늘 5시부터 회의입니다」라고 하는 음성이, 소정의 임계치 이상의 유성레벨로 입력되고, 스텝(S62)에서 (수식: 중요)라는 개념요소가 추출되어 있는 것에서, 인터페이스부(30)는 이것에 대응하여 표시하는 문자에 대해서, 통상보다 큰 폰트를 사용한다든지, 고딕체로 강조하도록 설정한다. 또, 입력된 음성의 발화속도가 빠른 경우, 인터페이스부(30)는, 그것에 대응하여 표시하는 문자를 사체(斜體)로 설정한다.
스텝(S68)에 있어서, 인터페이스부(30)는 스텝(S67)에서 설정된 출력파라미터로, 사용자에 대한 제시를 행한다. 예를 들면, 스텝(S65)에서 정보의 기억이 행해진 경우, 설정된 파라미터로 기억한 정보를 표시부(3-1)에 표시하는 동시에, 그것이 어떻게 인식, 해석된 것인가를 나타내는 표시도 동시에 행한다. 또, 스텝(S66)에서 정보의 검색이 행해진 경우, 인터페이스부(30)는 검색결과를 설정된 파라미터로 표시한다. 또한, 정보의 제시 방법으로서는, 텍스트데이터에 한하지 않고, 녹음정보에 대해서는 그것을 재생하기 위한 아이콘을 텍스트데이터와 함께 표시시켜, 필요에 따라서 사용자가 그 아이콘을 지정함으로써, 음성을 출력시키도록 하여도 좋다.
정보관리부(33)는, 소정의 정보에 관한 작성(기억), 시각, 수정, 시각, 최종 참조시각, 참조횟수의 정보의 어느 것인가, 또는, 그들의 조합으로 산출할 수 있는 평가치를 산출하고, 인터페이스부(30)는 이것에 대응하여 표시부(3-1)에 표시하는 정보를 배치한다.
이것에 의해, 사용자는 「아주 이전에 본 기억이 있는 정보다」인지, 「최근 본 정도의 정보다」 등의 실제의 기억에 의거한 정보의 검색을 행할 수 있다. 이때의 평가치의 일예로서는,
참조횟수/(최종 참조시각 - 입력시각)
와 같은 식에 의거해서, 단위 시간당의 참조횟수에 따른, 표시의 배치를 행할 수 있다. 표시의 배치방법은 이것 외에도 몇 개의 배치방법을 준비해서, 사용자가 선택할 수 있도록 하거나, 사용자가 정의할 수 있도록 하여도 좋다.
도 7은, 어플리케이션화면의 표시예를 나타내고 있다. 이 예에 있어서는, 상술과 같이 참조빈도의 평가치에 의거해서 참조빈도의 보다 높은 정보가 화면의 상측에, 참조빈도가 낮은 것은 화면의 하측에 표시되어 있고, 그들의 표시는 출력 파라미터가 반영되고 있다. 예를 들면, 「내일 5시회의」라는 정보(71)의 폰트는, 다른 것보다도 보다 크게 되어 있고, 중요사항인 것을 알 수 있다. 또 그 하측에 표시되어 있는 정보(72)는, 「내일 5시」의 구체적인 일시를 표시하는 정보이다. 표시부(3-1)에 표시되어 있는 화면은, 스크롤바(73)를 손가락 또는 터치펜(8)을 이용하여 조작하거나, 스크롤키(5)를 조작함으로써, 상하로 스크롤시킬 수 있다. 또한, 이들의 정보의 배치는 사용자에 의해 자유로 변경하는 것이 가능하게 되어 있고, 배치가 변경된 경우 그것에 따라서 평가치의 변경도 변경된다. 또, 표시부(3-1)에 표시되어 있는 정보에 대해서, 사용자가 예를 들면 폰트의 크기를 변경하도록 한 조작을 행한 경우, 그 조작에서 도출되는 개념요소(이 경우, 정보의 강조)가 새로히 추가 또는 변경되도록 되어 있다.
다음에, 도 8의 플로차트를 참조하여 정보검색처리의 구체적인 예를 설명한다. 이 예에 있어서는, 사용자가 「A씨」의 전화번호를 과거에 입력하고 있고, 그 전화번호의 검색을 행하는 것으로 한다. 우선, 스텝(S81)에 있어서, 사용자는 인터페이스부(30)에 음성을 입력한다. 예를 들면, 사용자는 「A씨의 전화번호는 몇 번입니까」라는 음성을 입력한다. 또한, 입력하는 음성은, 반드시도 문장일 필요는 없고, 예를 들면 「A씨」, 「전화번호」, 「몇 번」과 같은 일련의 키워드라도 좋다. 스텝(S82)으로 진행하고, 인터페이스부(30)는 입력된 음성을 음성인식하고, 인식결과를 개념추출부(31)에 출력한다. 스텝(S83)에 있어서, 개념추출부(31)는 인터페이스부(30)에서 공급된 인식결과에서 개념요소군을 추출하고, 의도해석부(32)에 출력한다. 지금의 경우, (인명 : A)라는 개념요소와, (전화번호 : 몇 번) 이라는 개념요소가 추출된다.
다음에, 스텝(S84)으로 진행하고, 의도해석부(32)는 개념추출부(31)에 의해 추출된 개념요소군에 대응하여, 사용자 의도를 해석한다. 지금의 경우, 개면요소군 중에 「몇 번」이라는 명확한 검색의도를 표시하는 것이 포함되어 있는 것에서, 사용자의도는 「정보의 검색」이며, 검색대상이 「전화 번호」라는 것이 판단된다. 스텝(S85)에 있어서, 의도해석부(32)에 의해 해석된 사용자의도는, 정보관리부(33)에 공급되고, 정보관리부(33)는 여기에 대응하여 개인정보기억부(34)에 기억되어 있는 것 중에서 해당하는 정보를 검색하고, 검색결과를 인터페이스부(30)에 출력한다.
여기서, 개인정보기억부(34)에 기억되어 있는 내용이, 도 5에 나타낸 것같은 상태로 되어 있는 것으로 한다. 도 9는, 스텝(S85)에 있어서의 검색처리를 설명하는 도면이다. 정보관리부(33)는, 검색의 키가 되는 개념요소로서 「인명」과 「전화번호」가 얻어지고 있으므로, 각각을 키로 하는 개념요소 인덱스(ID5)와 개념요소 인덱스(ID6)에 대응하는 정보를 검색한다. 개념요소 인덱스(ID5)는, 지금의 경우 정보(D2)의 「A씨」와 정보(D4)의 「B씨」에 링크하는 것이 가능하지만, 그 링크정보에는 개념요소의 값으로서 「A」가 포함되어 있으므로, 정보(D2)가 검색항목에 적합한 정보로서 선택된다. 이와 같이 하여, 각 개념요소에 의한 각각의 검색결과를 총합하여 가장 적합한 정보를 최종적으로 선택한다. 지금의 경우, (인면 : A)과 (전화번호 : 몇 번)의 2개의 개념요소가 있으며, 이 2개의 조건을 만족시키는 것은 정보(D2)이며, 정보관리부(33)는 이것을 사용자의 검색의도를 만족시키는 정보라고 판단한다.
스텝(S86)에 있어서, 사용자 인터페이스부(30)는 정보관리부(33)에서 공급된 검색결과를 표시부(3-1)에 표시한다. 여기서는, 검색된 정보를 그대로의 형식으로 사용자에게 제시하거나, 사용자가 요구한 어구만을 제시하는 방법이 있다. 사용자 인터페이스부(30)는, 후자의 방법을 이용하는 것으로 하면, 지금의 경우 사용자 의도는 전화번호의 검색이므로, 검색결과의 정보(D2)의 전화번호의 개념요소의 값을 제시하게 된다. 여기서, 완전히 조건을 만족시키는 정보가 존재하지 않는 경우, 적어도 1개의 조건을 만족시키고 있는 복수의 정보를 제시하도록 하여도 좋다. 또, 각 개념요소의 적합결과에 스코어를 부가하고, 상위의 스코어에서 순서로 제시하도록 하여도 좋다. 이 경우, 개념요소의 값까지 완전히 적합하는 정보(도 9의 경우, 정보(D2))에는 예를 들면 2점, 게념요소의 값이 다르게 되어 있는 것(도 9의 경우, 정보(D4))에는 예를 들면 1점과 같이, 각각 점수를 부가한다. 이것에 의해, 사용자의 입력 오류나, 문자의 오인식을 허용할 수 있다.
이상의 각 처리를 실행하는 컴퓨터 프로그램을 사용자에게 제공하는 제공매체로서는, 자기디스크, CD, ROM, 고체메로리 등의 기록매체 외, 네트워크, 위성 등의 통신매체를 이용할 수 있다.
그런데, 인터페이스부(30)에서 실행되는 음성인식처리 및 개념요소 추출부(31)에서 이루어지는 개념요소추출처리, 의도해석부(32)에서 이루어지는 입력의도 해석처리에 있어서는, 미리 각각에 갖춰진 사전 혹은 처리 룰에 따라서 처리의 실행이 이루어진다. 그 때문에, 사용자 입력으로서 다루는 것을 상정(想定)하고 있지 않는 입력을 사용자가 행한 경우, 사용자가 본래 요구하는 처리와 일치하지 않는 결과에 빠질 가능성이 있다. 또, 미리 처리할 수 있도록 되어 있더라도 예를 들면 인터페이스부(30)에 있어서의 음성인식처리에서는, 잘못된 문장 혹은 어구에 오인식되게 될 가능성이 있다. 이들의 처리는 도 6의 처리순서로 나타낸 것같이 S61, S62, S63으로 순차 실행되기 때문에, 예를 들면, 음성인식처리에 있어서 사용자 입력이 오인식되게 되면, 이후의 개념요소 추출처리 이후에서는 잘못된 입력으로 처리가 행해지고, 결과로서 사용자가 의도하지 않은 동작결과를 일으킬 가능성이 있다.
이것을 회피하기 위해서는, 인테페이스부(30)에 있어서, 음성인식처리 및 개념추출부(31), 의도해석부(32)에서 이루어진 처리결과를 제시하고 그것을 수정, 제어하는 수단을 갖추면 좋다. 사용자는 이 제시결과에서 그 처리과정을 확인하고, 오류가 발생되어 있으면, 그것을 수정 혹은 처리정지 등을 행하는 것이 가능하다. 또한, 이 수정시에는 사용자 독자의 사전요소 혹은 룰요소를 추가할 수 있도록 한다. 이것에 의해, 한 번 잘못 처리된 입력이더라도, 사용자가 그 입력을 바른 처리에로 인도하도록 사전 혹은 룰을 추가함으로써, 이후 기대한 동작을 실행할 수 있다.
또한, 인터페이스부(30)에 있어서의 정보입력수단으로서, 사용가능한 개념요소 및 입력의도를 사용자가 선택하여 입력할 수 있도록 한 선택수단을 갖추도록 한다. 이것에 의해, 사용자가 확실히 정보를 입력하고 싶은 경우, 혹은 이전 입력한 적이 있는 정보와 유사한 정보를 입력하고 싶은 경우에는, 용이하게 시스템에 입력하는 것이 가능하게 된다. 또, 1개의 사용자 입력에 대해서, 개념요소나 입력의도를 선택추가하는 것으로, 보다 수식된 정보입력, 사용자의 의도를 보다 반영시킨 정보입력을 행하는 것이 가능하다.
도 10은 정보의 입력순서를 나타낸 것이며, 도 11은 도 10에 있어서의 스텝(S101)의 처리흐름을 보다 상세히 나타낸 것이다. 이하에서는 사용자가 「내일 C씨에게 전화하지 않으면 안된다」라는 것을 개인정보 관리장치(100)에 기억시키고 싶은 경우를 예로, 처리과정에 있어서 오류가 발생된 경우의 동작에 대해서 도 10, 11 및 12를 참조하여 설명한다.
우선, 도 10의 스텝(S101)에 있어서 사용자는 정보입력조작을 실행한다. 개인입력동작은 도 11의 스텝(S1101)에 있어서, 도 1의 개인정보 관리장치(100)에 대한 사용자조작, 예를 들면, 표시부(3-1)에 표시된 오브젝트에 대한 터치펜(8)에 의한 선택이나 토크스위치(4) 혹은 스크롤키(5) 및 결정키(6)의 조작에 의해 이루어진다.
스텝(S110)에 있어서 사용자의 일련의 처리가 이루어지면, 스텝(S1102)에 있어서 음성입력인지 아닌지의 판단을 행한다. 이것은 개인정보 관리장치(100)의 토크스위치(4)가 눌려져 있는지 어떤지 등으로 명시적으로 판단이 된다. 음성입력이라면, 계속되는 스텝(S1103)에 있어서 음성인식처리를 행하고, 스텝(S110)에 있어서 인식결과의 텍스트정보를 RAM(13)에 확보된 버퍼에 격납한다. 계속하여, 스텝(S1105)에 있어서 개념추출처리를 행하고, 스텝(S1106)에 있어서 그 추출결과인 개념요소를 RAM(13)에 확보된 버퍼에 격납한다. 또한, 스텝(S1107)에 있어서, 의도해석 처리결과를 행하고, 스텝(S11080)에 있어서 그 해석결과인 입력의도를 RAM(13)에 확보된 버퍼에 격납한다.
스텝(1102)에 있어서 음성입력이 아니었던 경우, 스텝(S1109)에 있어서 개념요소의 입력인지 아닌지의 판단을 행한다. 이것은 개인정보 관리장치(100)의 표시부(3-1)에 표시된 임의의 개념요소를 표시하는 오브젝트를 터치펜(8)으로 선택하는 등, 사용자로부터의 명시적인 선택에 의한 입력에 의해 판단이 이루어진다. 개념요소의 선택이라면, 계속되는 스탭(S1106)으로 진행하고, 선택된 개념요소를 RAM(13)에 확보된 버퍼에 격납하고, 이후 스텝(S1107) 이후를 실시한다.
또한, 스텝(S1109)에 있어서 개념요소의 입력이 아니었던 경우, 스텝(S1110)에 있어서 의도입력인지 아닌지의 판단을 행한다. 이것은 상기 표시부(3-1)에 표시된 임의의 입력의도를 나타내는 오브젝트를 터치펜(8)으로 선택하는 등, 사용자로부터의 명시적인 선택에 의한 입력에 의해 판단이 이루어진다. 입력의도의 선택이 있으면, 계속되는 스텝(S1108)으로 진행하고 선택된 입력의도를 RAM(13)에 확보된 버퍼에 격납한다. 스텝(S1110)에 있어서 의도입력이 아니었던 경우, 사용자 입력조작이 아니라고 판단하고 종료한다.
여기서는, 우선 도 10의 스텝(S101)에 있어서 사용자는 중요하다는 것을 명시적으로 표시하기 위해, 개념요소로서 표시부(3-1)에 표시된(수식 : 필수)를 의미하는 오브젝트를 선택한다. 도 11의 스텝(S1109)에 있어서 개념요소의 입력이라고 판단되어, 그 내용이 버퍼에 격납된다. 계속되는 도 10의 스텝(S102)에 있어서, 이 버퍼의 내용을 표시부(3-1)를 이용해서 사용자에게 제시한다. 사용자는 계속되는 스텝(S103)에 있어서, 그 입력결과가 바른지 아닌지 판단하고, 잘못되어 있으면 스텝(S104)에 있어서 수정 혹은 삭제 처리를 행한다. 입력이 바르면 스텝(S105)에 있어서 또 다른 정보입력이 있는지 아닌지의 판정을 행한다. 이 판정은 사용자에 의한 터치펜(8) 혹은 키 입력에 의해 명시적으로 행한다.
사용자는, 계속하여 본 장치에 대해서 상기 입력 「내일 C씨에게 전화하지 않으면 안된다」를 음성으로 입력하면, 녹음되는 동시에 도 11의 스텝(S1003)에 있어서 인식처리에 의해 텍스트로 변환되고, 그 결과가 스텝(S1004)에 있어서 버퍼에 격납된다. 여기서는 「내일 C씨에게 전화하지 않는다」라고 오인식하고, 스텝(S1005)에 의해 (수식 : 필수). (일시 : 내일), (이름 : B), (사건 : 전화), (행동 : 취소) 라는 개념요소를 추출하고 있다. 또한 스텝(S1007)에 있어서, 「예정의 삭제」로서 해석한다.
도 10의 스텝(S102)에 있어서, 사용자에는 RAM(13)에 격납된 버퍼의 내용으로서, 도 12에 나타내는 것같은 정보제시를 행한다. 도 12에서는, 화면 상부로부터 순서로 각 처리과정의 결과를 제시하고 있고, 음성입력 결과표시부(121), 개념요소 표시부(122), 사용자의도 표시부(123)에 의해 각 처리결과를 제시하고 있다. 음성입력 결과표시부(121)는, 음성인식결과인 텍스트부(121-1)와 녹음데이터 재생제시부(121-2)로 이루어진다. 개념요소 제시부(122)는, 사용자 입력에서 추출, 혹은 사용자가 선택입력하고 버퍼에 격납되어 있는 개념요소군을 제시한다. 또한, 사용자의도 표시부(123)는, 개념요소군에서 해석, 혹은 사용자가 선택입력하는 버퍼에 격납되어 있는 사용자의도를 제시한다. OK키(124) 및 NG키(125)는, 이 결과에 대해서 사용자의 판단을 허가하는 것이며, 음성입력결과 표시부(121), 개념요소 표시부(122), 사용자의도 표시부(123)에 표시된 내용으로 좋다면 OK키(124)를, 오류가 있어 재시행하고 싶으면 NG키(125)를 누르도록 되어 있다.
사용자는 이 도 12에 제시된 처리과정을 보고, 자신의 의도와 다른 처리가 이루어져 있는 것을 확인할 수 있다. 스텝(S103)에 있어서, 수정 혹은 삭제가 필요하다고 사용자가 판단하면 스텝(S104)에 있어서, 수정 혹은 삭제하는 것이 가능하다. 수정 혹은 삭제조작은, 예를 들면 도 12에 나타낸 표시화면 상에 있어서, 펜조작으로 음성입력 결과표시부(121), 개념요소 표시부(122), 사용자의도 표시부(123)의 어느 표시영역을 지시함으로써, 수정해야 할 처리결과를 지시하고, 바른 처리결과를 선택 혹은 재입력할 수 있도록 되어 있다. 여기서는, 사용자는 개념요소 추출처리에 있어서 이름속성을 가진 개념요소의 값을 「C」로 수정하고, (행동 : 취소)라는 개념요소를 삭제함으로써, 사용자 본래의 입력의도에 맞는 것으로 수정할 수 있다. 또, 이들의 수정에 수반하여, 의미를 추출한 원래의 인식결과의 텍스트에도 수정이 반영되고, 「내일 C에 전화」라는 텍스트로서 정보가 유지되도록 되어 있다.
사용자가 수정작업을 종료하면, 스텝(S105)에 있어서 계속하여 입력을 행할 것인지 아닌지의 판정을 행한다. 여기서는, 이상의 입력으로 사용자의 소망처리가 되어지는 것으로 하여 사용자는 입력처리의 계속을 중지하고, 실행처리에로 진행한다.
이것에 의해, 정보입력 처리과정에서 생기는 오류를 정정할 수 있는 동시에, 한 번의 입력으로 표현할 수 없는 부가정보를 순차 추가할 수 있고, 보다 표현력이 있는 정보의 입력이 가능하다.
여기서, 임의의 개념요소의 조합에 대응하는 사용자의도를 정의한 사용자 의도룰의 테이블 예를 표 1에 나타낸다. 이 표 1에 있어서, 화살표의 좌변에는, 임의의 개수로 이루어지는 개념요소열이 기재되고, 우변에는, 좌변과 매치하는 개념요소군에 대한 해석으로서의 사용자의도가 기재되어 있다. 여기서는, 개념요소의 값으로서 미리 정해진 특별한 심볼을 이용할 수 있고, 예를 들면 「*」인 것은 개념요소의 속성이 일치하면 값은 무엇이라도 관계없는 것을 표시하고 있고, 「과거」는 그 값이 현시각 보다도 오래된 시각인 것을 표시하는 값 전체를 표시하고 있다.
표 1 : 사용자 의도룰
개념요소 사용자의도
(이름: *), (전화 : *), (숫자열 : *) → 어드레스 등록
(시각: *), (사건 : *) → 예정
(시각: *), (장소 : *) → 예정
(시각: *), (금액 : *) → 금전
다음에, 상기 개인정보 관리장치(100)를 이용하여 사용자가 정보를 입력하는 과정을 나타낸 표시부의 표시예를 도 13에 나타낸다. 도 13에 있어서, 입력항목 선택부(1301)에는 3종류의 입력형식을 나타내는 항목을 제시하고 있다. 사용자는 입력항목 선택부(1301)의 텍스트 입력버튼(1302), 개념요소 입력버튼(1303), 사용자의도 입력버튼(1304)의 어느 것을 상술한 터치펜(8)을 이용하여 조작함으로써, 특정형식의 입력이 가능하다. 텍스트 입력버튼(1302)은 사용자가 텍스트 입력에 의해 정보를 입력하기 위한 것이며, 개념요소 입력버튼(1303)은 개념요소를 입력하기 위한 것이며, 사용자의도 입력버튼(1304)은 사용자의도를 입력하기 위한 것이다. 도 13은 개념요소를 입력하는 과정의 표시의 일예를 나타내는 것이며, 개념요소 입력버튼을 터치펜(8)으로 누른 결과, 개념요소의 속성을 나타내는 리스트(1305)가 표시되고, 또한 그 리스트(1305) 중의 항목 「사건」을 선택하는 것으로, 「사건」에 대응하는 개념요소의 값을 나타내는 리스트(1306)가 표시되어 있는 상태를 표시하고 있다. 사용자는 여기서 리스트 중의 임의 값을 선택하는 것으로, 입력하고 싶은 개념요소를 입력할 수 있다.
또, 도 14는 사용자의도에 따라서 정보를 제시하는 일형식을 나타낸 일예이다. 도 14의 사용자의도 선택부(1401)에는, 표시부에 일람 표시해야할 사용자의도 표시버튼이 표시되어 있다. 사용자는 이 사용자의도 선택부(1401)에 있어서의 임의의 버튼을 상기 터치펜으로 누름으로써, 그 사용자의도에 관련하는 정보만을 표시하는 것이 가능하다. 여기서는, 사용자가 사용자의도로서 「금액」에 관한 것을 제시하도록 제시한 예이다. 「일짜」, 「항목」, 「금액」이란 「금액」에 관한 정보를 제시하는데 적합한 표시형식으로 제시하도록 되어 있다.
도 15는 정보의 수정과정을 나타낸 표시부의 일예이다. 이것은, 개념요소로서 추출된 (이름 : B)를 (이름 : C)로 수정하고저 하는 과정을 표시하고 있다. 사용자가 수정하고 싶은 항목, 도 15의 경우(이름 : B)의 개념요소(1501)를 상기 터치펜(8)을 이용해서 선택하면, 개념요소의 속성을 표현하는 리스트(1502)를 표시한다. 리스트(1502)에서는 석택한 개념요소(이름 : B)의 속성「이름」이 리스트(1502) 상의 최상부에 표시된다. 또한 사용자가 리스트(1502)에 표시되는 개념요소의 속성을 선택하면, 그 개념요소의 값을 표현하는 리스트(1503)를 표시한다. 본 조작은 수정에 관한 조작이기 때문에, 리스트(1503)에서는 선택한 개념요소(이름 : B)와 일치하는 값 「B」가 제거되어 있다. 또한, 리스트(1503)에 표시되는 개념요소의 값「C」를 선택하는 것으로, 사용자는 수정하고 싶은 개념요소 (이름 : B)(1501)를 (이름 : C)로 변경하는 것이 가능하다.
이상의 실시 형태에 있어서는, 본 발명을 도 1에 나타낸 것같은 휴대형의 개인정보 관리장치(100)에 적용하였으나, 물론 다른 장치에 대해서도 적용할 수 있다. 또, 개념추출부(31)에서는, 사용자의 입력의도를 보다 상세하게 정보의 관리에 반영시키기 위해, 언어정보와 비언어정보의 양편에서 개념요소를 추출하도록 하였으나, 어느쪽 한편에서 추출하도록 하여도 좋다.
이상의 각 처리를 실행하는 컴퓨터 프로그램을 사용자에게 제공하는 제공매체로서는, 자기디스크, CD-ROM, 고체메모리 등의 기억매체외, 네트워크, 위성 등의 통신매체를 이용할 수 있다.

Claims (14)

  1. 정보를 입력하는 입력수단과,
    상기 입력수단에 의해 입력된 상기 정보로부터 개념요소를 추출하는 추출수단과,
    상기 추출수단에 의해 추출된 상기 개념요소에 대응하여, 사용자의 상기 정보의 입력의도를 해석하는 해석수단과,
    상기 해석수단에 의해 해석된 상기 입력의도에 대응하여, 상기 정보에 대하여 소정의 처리를 실행하는 실행수단과를 갖추는 것을 특징으로 하는 정보처리장치.
  2. 제 1항에 있어서,
    상기 실행수단은, 상기 입력의도에 대응하여 상기 정보의 기억, 상기 정보에 관련하는 다른 정보의 검색, 또는 삭제를 실행하는 것을 특징으로 하는 정보처리장치.
  3. 제 2항에 있어서,
    상기 실행수단은, 상기 정보가 참조되는 빈도에 대응하여, 상기 정보를 압축할 때의 압축율을 설정하는 것을 특징으로 하는 정보처리장치.
  4. 제 1항에 있어서,
    상기 실행수단에 의한 실행결과를 제시하는 제시수단을 또한 갖추고, 상기 제시수단은 상기 개념요소에 대응하여 제시하는 실행결과의 출력파라미터를 설정하는 것을 특징으로 하는 정보처리장치.
  5. 제 4항에 있어서,
    상기 제시수단은, 상기 실행결과로서 복수의 정보를 제시하는 경우, 각각의 정보의 참조빈도에 대응하여, 그 제시한 순위를 결정하는 것을 특징으로 하는 정보처리장치.
  6. 제 4항에 있어서,
    상치 출력파라미터는, 상기 실행결과에 대응하는 표시폰트의 형태 또는 크기인 것을 특징으로 하는 정보처리장치.
  7. 제 4항에 있어서,
    상기 출력파라미터는, 상기 실행결과에 대응하는 음성 피치주파수 또는 발성속도인 것을 특징으로 하는 정보처리장치.
  8. 제 1항에 있어서,
    상기 정보는 음성이며, 상기 입력수단에 의해 입력된 상기 음성을 음성인식하는 인식수단을 또한 갖추는 것을 특징으로 하는 정보처리장치.
  9. 제 8항에 있어서,
    상기 인식수단에 의해 상기 음성이 인식되어 있을 때, 상기 음성을 녹음하는 녹음수단을 또한 갖추고, 상기 실행수단은 상기 추출수단에 의해 추출된 상기 개념요소와 상기 녹음수단에 의해 녹음된 상기 음성을 대응시키는 것을 특징으로 하는 정보처리장치.
  10. 제 1항에 있어서,
    상기 입력수단은, 상기 개념요소의 추출수단으로 추출되는 개념요소를 사용자가 선택 입력하는 선택수단을 갖추는 것을 특징으로 하는 정보처리장치.
  11. 제 1항에 있어서,
    상기 입력수단은, 상기 해석수단으로 해석되는 입력의도를 사용자가 선택 입력하는 선택수단을 갖추는 것을 특징으로 하는 정보처리장치.
  12. 제 1항에 있어서,
    상기 입력수단은, 추출수단 및 해석수단에 있어서의 각 처리결과를 격납하는 버퍼수단과, 상기 버퍼수단에 격납한 각 처리결과를 사용자에게 제시하는 제시수단을 갖추는 것을 특징으로 하는 정보처리장치.
  13. 정보를 입력하는 입력스텝과,
    상기 입력스텝에서 입력된 상기 정보에서 개념요소를 추출하는 추출스텝과,
    상기 추출스텝에서 추출된 상기 개념요소에 대응하여, 사용자의 상기 정보의 입력의도를 해석하는 해석스텝과,
    상기 해석스텝에서 해석된 상기 입력의도에 대응하여, 상기 정보에 대해서 소정의 처리를 실행하는 실행스텝과를 포함하는 것을 특징으로 하는 정보처리방법.
  14. 정보를 입력하는 입력스텝과,
    상기 입력스텝에서 입력된 상기 정보에서 개념요소를 추출하는 추출스텝과,
    상기 추출스텝에서 추출된 상기 개념요소에 대응하여, 사용자의 상기 정보의 입력의도를 해석하는 해석스텝과,
    상기 선택스텝에서 해석된 상기 입력의도에 대응하여, 상기 정보에 대해서 소정의 처리를 실행하는 실행스텝과를 포함하는 처리를 정보처리장치에 실행시키는 컴퓨터가 독해 가능한 프로그램을 제공하는 것을 특징으로 하는 정보제공매체.
KR1020007001113A 1998-06-02 1999-06-02 정보처리장치 및 방법과 정보제공매체 KR100638198B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP15282498 1998-06-02
JP98-152824 1998-06-02

Publications (2)

Publication Number Publication Date
KR20010022524A true KR20010022524A (ko) 2001-03-15
KR100638198B1 KR100638198B1 (ko) 2006-10-26

Family

ID=15548955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007001113A KR100638198B1 (ko) 1998-06-02 1999-06-02 정보처리장치 및 방법과 정보제공매체

Country Status (4)

Country Link
US (1) US6510412B1 (ko)
KR (1) KR100638198B1 (ko)
CN (1) CN1274440A (ko)
WO (1) WO1999063425A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560301B2 (en) 2009-05-22 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for language expression using context and intent awareness

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
JP5077787B2 (ja) * 2000-03-30 2012-11-21 渡邉 治巳 ネットワークを介した企業業務毎の文字・画像パターンの移植可能表示・印刷ファイル生成装置
AU2001295080A1 (en) * 2000-09-29 2002-04-08 Professorq, Inc. Natural-language voice-activated personal assistant
US6788767B2 (en) * 2000-12-28 2004-09-07 Gateway, Inc. Apparatus and method for providing call return service
JP2002258894A (ja) * 2001-03-02 2002-09-11 Fujitsu Ltd 音声データ圧縮・解凍装置及び方法
JP2006331302A (ja) * 2005-05-30 2006-12-07 Kyocera Corp 関連情報検索装置
US20060282265A1 (en) * 2005-06-10 2006-12-14 Steve Grobman Methods and apparatus to perform enhanced speech to text processing
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7996228B2 (en) * 2005-12-22 2011-08-09 Microsoft Corporation Voice initiated network operations
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP2010008601A (ja) * 2008-06-25 2010-01-14 Fujitsu Ltd 案内情報表示装置、案内情報表示方法及びプログラム
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
JP2011033680A (ja) * 2009-07-30 2011-02-17 Sony Corp 音声処理装置及び方法、並びにプログラム
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
CN103106220B (zh) * 2011-11-15 2016-08-03 阿里巴巴集团控股有限公司 一种搜索方法、搜索装置及一种搜索引擎系统
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR102111831B1 (ko) * 2013-07-26 2020-05-15 그린에덴 유.에스. 홀딩스 Ii, 엘엘씨 컨셉 검색 및 탐색 시스템 및 방법
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
JPWO2018230596A1 (ja) * 2017-06-16 2020-03-19 本田技研工業株式会社 支援装置、支援方法、およびプログラム
US11226673B2 (en) * 2018-01-26 2022-01-18 Institute Of Software Chinese Academy Of Sciences Affective interaction systems, devices, and methods based on affective computing user interface

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2791051B2 (ja) * 1988-10-04 1998-08-27 キヤノン株式会社 情報処理システム
US5282265A (en) * 1988-10-04 1994-01-25 Canon Kabushiki Kaisha Knowledge information processing system
JP2525666B2 (ja) * 1989-04-03 1996-08-21 富士写真フイルム株式会社 画像ファイリング方法
JPH0343867A (ja) * 1989-07-12 1991-02-25 Hitachi Ltd 画像検索方法
JPH0352058A (ja) * 1989-07-20 1991-03-06 Fujitsu Ltd 音声入力の文書処理装置
US5477511A (en) * 1994-07-13 1995-12-19 Englehardt; C. Duane Portable documentation system
US6070140A (en) * 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
US6167376A (en) * 1998-12-21 2000-12-26 Ditzik; Richard Joseph Computer system with integrated telephony, handwriting and speech recognition functions
US6249765B1 (en) * 1998-12-22 2001-06-19 Xerox Corporation System and method for extracting data from audio messages
US6266642B1 (en) * 1999-01-29 2001-07-24 Sony Corporation Method and portable apparatus for performing spoken language translation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560301B2 (en) 2009-05-22 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for language expression using context and intent awareness

Also Published As

Publication number Publication date
US6510412B1 (en) 2003-01-21
CN1274440A (zh) 2000-11-22
WO1999063425A1 (fr) 1999-12-09
KR100638198B1 (ko) 2006-10-26

Similar Documents

Publication Publication Date Title
KR100638198B1 (ko) 정보처리장치 및 방법과 정보제공매체
US7149970B1 (en) Method and system for filtering and selecting from a candidate list generated by a stochastic input method
US7191119B2 (en) Integrated development tool for building a natural language understanding application
US5802516A (en) Method of controlling an electronic book for a computer system
JP5400200B2 (ja) ショートハンド・オン・キーボード・インタフェースにおいてテキスト入力を改善するためのシステム、コンピュータ・プログラムおよび方法(キ
US6401065B1 (en) Intelligent keyboard interface with use of human language processing
EP2312460A1 (en) Information processing device and information processing method
EP2312459A1 (en) Information processing device and information processing method
KR19990078364A (ko) 문서처리장치 및 그의 방법
WO1998016889A1 (fr) Appareil d'entree de caracteres et support de donnees dans lequel le programme d'entree de caracteres est mis en memoire
CN105528143A (zh) 用户词语和用户动作的上下文关系预测
KR20060095572A (ko) 검색 결과들의 스크린―식 제시
JP3927800B2 (ja) 音声認識装置及び方法、プログラム、並びに記憶媒体
JP2001306601A (ja) 文書処理装置及びその方法、及びそのプログラムを格納した記憶媒体
US20060149545A1 (en) Method and apparatus of speech template selection for speech recognition
JP2005173999A (ja) 電子ファイル検索装置、電子ファイル検索システム、電子ファイル検索方法、プログラムおよび記録媒体
JP3762300B2 (ja) テキスト入力処理装置及び方法並びにプログラム
US20040139056A1 (en) Information display control apparatus and recording medium having recorded information display control program
JP2010015515A (ja) 辞書機能を備えた電子装置
JP2002117024A (ja) 文章入力方法
JP2005044103A (ja) 文書作成装置、文書作成方法およびプログラム
JPH1011457A (ja) 携帯型検索装置
JP3877975B2 (ja) キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体
JP2588210B2 (ja) ヘルプガイド方式
JP2003016055A (ja) 文作成装置及び文作成方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121008

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131011

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141010

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161007

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 12

EXPY Expiration of term