KR20220031770A - 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 - Google Patents

입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 Download PDF

Info

Publication number
KR20220031770A
KR20220031770A KR1020227007250A KR20227007250A KR20220031770A KR 20220031770 A KR20220031770 A KR 20220031770A KR 1020227007250 A KR1020227007250 A KR 1020227007250A KR 20227007250 A KR20227007250 A KR 20227007250A KR 20220031770 A KR20220031770 A KR 20220031770A
Authority
KR
South Korea
Prior art keywords
character string
curve
display
unit
character
Prior art date
Application number
KR1020227007250A
Other languages
English (en)
Other versions
KR102603900B1 (ko
Inventor
마사토 히라이
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20220031770A publication Critical patent/KR20220031770A/ko
Application granted granted Critical
Publication of KR102603900B1 publication Critical patent/KR102603900B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user

Abstract

곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부(9)와, 문자열을 취득하는 문자열 취득부(10)와, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 표시 제어부(12)를 구비하고, 표시 제어부(12)가, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열 취득부(10)에 의해 취득된 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치하도록, 입력 표시 제어 장치(100)를 구성했다.

Description

입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템{INPUT DISPLAY CONTROL DEVICE, INPUT DISPLAY CONTROL METHOD, AND INPUT DISPLAY SYSTEM}
이 발명은, 문자열을 표시하기 위한 표시 정보를 생성하는 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템에 관한 것이다.
이하의 특허문헌 1에는, 곡선 등의 선을 따라, 문자열을 표시하기 위한 표시 정보를 생성하는 입력 표시 제어 장치가 개시되어 있다.
국제공개 제2017/138076호
특허문헌 1에 개시되어 있는 입력 표시 제어 장치는, 문자열을 표시하기 위한 표시 정보를 디스플레이의 표시 영역에 생성하도록 하고 있다. 그러나, 디스플레이의 표시 영역에는 사이즈의 제약이 있으므로, 문자열의 전체를 완전히 생성하지 않는 경우가 있다는 과제가 있었다.
이 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 문자열의 전체를 완전히 생성하지 않는 사태를 회피할 수 있는 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템을 얻는 것을 목적으로 한다.
이 발명에 따른 입력 표시 제어 장치는, 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와, 문자열을 취득하는 문자열 취득부와, 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열 취득부에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 표시 제어부를 구비하고, 표시 제어부가, 문자열 취득부에 의해 취득된 문자열의 길이에 비해, 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧다고 판단한 경우, 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선에 근거하여 당해 곡선의 연장 부분의 형상을 결정하여 당해 곡선을 연장하고, 당해 곡선이 디스플레이의 표시 영역의 끝에 도달한 경우, 당해 곡선의 길이와 문자열 취득부에 의해 취득된 문자열의 길이를 비교하고, 당해 곡선의 길이에 비해, 문자열 취득부에 의해 취득된 문자열의 길이가 길기 때문에, 문자열 취득부에 의해 취득된 문자열의 일부가 디스플레이의 표시 영역으로부터 비어져 나와 버린다고 판단한 경우, 표시 영역의 주위의 영역인 가상 영역까지 당해 곡선을 더 연장하고, 당해 곡선을 따라 문자열의 일부를 가상 영역에 배치하여 표시 정보를 생성하도록 한 것이다.
이 발명에 의하면, 표시 제어부가, 문자열 취득부에 의해 취득된 문자열의 길이가 길기 때문에, 문자열 취득부에 의해 취득된 문자열의 일부가 디스플레이의 표시 영역으로부터 비어져 나와 버리는 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치하도록, 입력 표시 제어 장치를 구성했다. 따라서, 이 발명에 따른 입력 표시 제어 장치는, 문자열의 전체를 완전히 생성하지 않는 사태를 회피할 수 있다.
도 1은 실시형태 1에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 2는 실시형태 1에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 3은 입력 표시 시스템이 소프트웨어 또는 펌웨어 등으로 실현되는 경우의 컴퓨터의 하드웨어 구성도이다.
도 4는 실시형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다(1).
도 5는 실시형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다(2).
도 6은 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 나타내는 설명도이다.
도 7은 음성의 인식 결과를 나타내는 문자열이 출력되기 전에 곡선 화상이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 8은 곡선 화상이 출력되기 전에 음성의 인식 결과를 나타내는 문자열이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 9a는, 곡선의 길이가 문자열의 길이보다도 길면, 문자열에 포함되어 있는 모든 문자를 곡선 화상 위에 겹쳐 표시할 수 있는 것을 나타내는 설명도, 도 9b는, 곡선의 길이가 문자열의 길이보다도 짧으면, 문자열에 포함되어 있는 일부의 문자를 곡선 화상 위에 겹쳐 표시할 수 없는 것을 나타내는 설명도이다.
도 10a는, 곡선의 형상이 직선인 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단 및 종단의 위치 좌표를 나타내는 설명도, 도 10b는, 곡선의 형상이 휘어져 있는 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단, 종단 및 중간점의 위치 좌표를 나타내는 설명도이다.
도 11은 표시 제어부(12)의 연장 곡선 형상 결정부(14)의 처리 내용을 나타내는 설명도이다.
도 12a는 연장 곡선의 형상이 원래의 곡선의 종단부에 있어서의 접선의 형상인 예를 나타내는 설명도이다.
도 12b는 연장 곡선의 형상이 원래의 곡선의 형상과 동일한 곡률인 예를 나타내는 설명도이다.
도 12c는 연장 곡선의 형상이 원래의 곡선의 형상과 동일한 주기의 파선 형상인 예를 나타내는 설명도이다.
도 12d는 연장 곡선의 형상이 원호 형상인 예를 나타내는 설명도이다.
도 13은 표시 제어부(12)의 곡선 연장부(17)의 처리 내용을 나타내는 설명도이다.
도 14는 표시 처리부(18)가 문자열의 일부를 디스플레이(32)에 표시시킬 수 없는 예를 나타내는 설명도이다.
도 15는 디스플레이(32)의 표시 영역과, 표시 영역의 주위의 영역인 가상 영역을 나타내는 설명도이다.
도 16은 표시 처리부(18)가, 문자열의 일부를 가상 영역에 배치한 후의 처리를 나타내는 플로 차트이다.
도 17은 문자열 선택부(18a)에 의해 선택이 접수된 문자열을 나타내는 설명도이다.
도 18a는, 곡선 화상 위에 겹쳐 표시시키고 있는 문자열의 이동을 나타내는 설명도, 도 18b는, 곡선 화상이 문자열의 밑줄로서 표기되어 있는 예를 나타내는 설명도이다.
도 19는 문자열 취득부(10)에 의해 취득된 문자열의 파기를 나타내는 설명도이다.
도 20은 디스플레이(32)에 있어서의 표시 영역의 우단에서, 문자열이 자동 개행(改行)됨으로써, 가상 영역에 배치된 문자열이 표시 영역에 표시되는 예를 나타내는 설명도이다.
도 21은 실시형태 2에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다.
도 22는 디스플레이(32)에 있어서의 표시 영역의 우단에서, 문자열이 자동 개행됨으로써, 가상 영역에 배치된 문자열이 표시 영역에 표시되는 예를 나타내는 설명도이다.
도 23은 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 전체를 디스플레이(32)의 표시 영역으로 이동시키고, 당해 문자열의 전체를 표시 영역에 표시시키고 있는 예를 나타내는 설명도이다.
도 24는 실시형태 3에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다.
도 25는 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 전체를 이동시킨 후, 문자열을 개행함으로써, 문자열의 전체를 표시 영역에 표시시키고 있는 예를 나타내는 설명도이다.
도 26은 표시 제어부(12)가, 문자열에 포함되어 있는 문자의 문자 사이즈를 작게 하고, 문자열의 전체를 표시 영역에 표시시키고 있는 예를 나타내는 설명도이다.
도 27은 실시형태 4에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다.
도 28은 표시 제어부(12)가, 문자열의 길이가, 곡선의 길이보다도 길어지지 않는 범위에서, 문자열에 포함되어 있는 문자의 문자 사이즈를 크게 하고 있는 예를 나타내는 설명도이다.
도 29는 실시형태 5에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 30은 「문자열」과 「간이한 문자열」의 대응 관계를 나타내는 테이블을 나타내는 설명도이다.
도 31은 실시형태 5에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다.
도 32는 표시 제어부(12)가, 치환 처리 후의 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
도 33은 표시 제어부(12)가, 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
도 34는 실시형태 6에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다.
도 35은 유저가 복수의 선을 그리는 조작을 행하고 나서, 유저가 발화를 행함으로써, 표시 제어부(12)가, 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
도 36은 유저가 발화를 행하고 나서, 유저가 복수의 선을 그리는 조작을 행함으로써, 표시 제어부(12)가, 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
도 37은 실시형태 8에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 38은 실시형태 8에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 39는 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
도 40은 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
도 41은 번역 결과를 나타내는 문자열을 표시하는 예를 나타내는 설명도이다.
도 42는 번역 결과를 나타내는 문자열을 표시하는 예를 나타내는 설명도이다.
도 43은 디스플레이(32)가 대면(對面) 2화면으로 구성되어 있는 경우의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
도 44는 번역 결과를 나타내는 문자열을 표시하는 예를 나타내는 설명도이다.
도 45는 실시형태 9에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 46은 실시형태 9에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 47은 문자의 인식 결과를 나타내는 문자열의 표시 처리의 일례를 나타내는 설명도이다.
도 48은 실시형태 10에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 49는 번역 결과를 나타내는 문자열의 표시 처리의 일례를 나타내는 설명도이다.
이하, 이 발명을 보다 상세하게 설명하기 위해서, 이 발명을 실시하기 위한 형태에 대해, 첨부된 도면에 따라 설명한다.
실시형태 1.
도 1은, 실시형태 1에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이고, 도 2는, 실시형태 1에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 1 및 도 2에 있어서, 입력 표시 제어 장치(100)는, 포인팅 디바이스(21)로서, 터치 패널을 이용하는 것을 상정하고 있다. 그러나, 이것은 일례에 지나지 않고, 입력 표시 제어 장치(100)는, 조이스틱, 포인팅 스틱, 터치 패드, 스타일러스, 데이터 글로브, 트랙볼, 펜 태블릿, 마우스, 라이트 펜, 조이 패드 등을 이용할 수 있다.
조작 접수부(1)는, 예를 들면, 도 2에 나타내는 포인팅 디바이스(21)에 의해 실현된다. 조작 접수부(1)는, 유저의 조작으로서, 선을 그리는 조작을 접수하고, 접수한 조작의 내용을 궤적 판별부(4)에 출력한다.
문자 관리 DB(DataBase)(2)는, 예를 들면, 도 2에 나타내는 기억 처리 회로(22)에 의해 실현된다. 문자 관리 DB(2)는, 문자 종류와 문자 사이즈와 문자 높이와 문자폭의 대응 관계를 나타내는 문자 속성표를 기억하고 있다.
문자 관리부(3)는, 예를 들면, 도 2에 나타내는 문자 관리 처리 회로(23)에 의해 실현된다. 문자 관리부(3)는, 사전에 디스플레이(32)에 표시하는 문자의 사이즈가 설정되어 있다. 문자 관리부(3)는, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조하고, 문자 사이즈에 대응하는 문자 높이를 나타내는 문자 속성 정보를 궤적 판별부(4)에 출력하고, 문자 사이즈에 대응하는 문자 높이 및 문자폭을 나타내는 문자 속성 정보를 입력 표시 제어 장치(100)에 출력한다.
궤적 판별부(4)는, 예를 들면, 도 2에 나타내는 화상 생성 처리 회로(24)에 의해 실현된다. 궤적 판별부(4)는, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 선의 궤적을 판별한다. 궤적 판별부(4)는, 궤적을 나타내는 곡선의 길이 및 형상 등을 나타내는 정보로서, 곡선을 나타내는 곡선 정보를 입력 표시 제어 장치(100)에 출력한다. 곡선에는, 직선 또는 구부러진 선 등, 모든 형상의 선이 포함되는 것으로 한다.
또, 궤적 판별부(4)는, 궤적을 나타내는 곡선의 화상인 곡선 화상을 생성하고, 곡선 화상을 입력 표시 제어 장치(100)에 출력한다. 곡선 화상은, 곡선 정보에 포함되어 있고, 궤적 판별부(4)는, 곡선 화상을 포함하는 곡선 정보를 입력 표시 제어 장치(100)에 출력하고 있다.
곡선 화상의 선폭은, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이에 대응하고 있다.
문자열 인식부(5)는, 음성 검출부(6), 음성 인식 사전 DB(7) 및 음성 인식부(8)를 구비하고 있다. 문자열 인식부(5)는, 음성의 인식 결과를 나타내는 문자열을 표시 대상의 문자열로서 입력 표시 제어 장치(100)에 출력한다.
음성 검출부(6)는, 예를 들면, 도 2에 나타내는 마이크(25)에 의해 실현된다. 음성 검출부(6)는, 유저의 음성을 검출하고, 검출한 음성을 음성 인식부(8)에 출력한다.
음성 인식 사전 DB(7)는, 예를 들면, 도 2에 나타내는 기억 처리 회로(22)에 의해 실현된다. 음성 인식 사전 DB(7)는, 예를 들면, 인간의 발성의 작은 단위인 음소의 음향 특징이 기술되어 있는 음향 모델과, 음성 인식하는 단어가 기술되어 있는 인식 사전을 구비하고 있다.
음성 인식부(8)는, 예를 들면, 도 2에 나타내는 음성 인식 처리 회로(26)에 의해 실현된다. 음성 인식부(8)는, 음성 검출부(6)에 의해 검출된 음성을 인식하는 음성 인식 엔진을 탑재하고 있다.
음성 인식부(8)는, 음성 검출부(6)에 의해 검출된 음성을 분석하고, 음성의 음향 특징을 산출하고, 음성 인식 사전 DB(7)의 인식 사전에 기술되어 있는 단어 중에서, 산출한 음향 특징과 가장 가까운 음향 특징을 갖는 단어를 탐색한다. 음성 인식부(8)는, 탐색한 단어를 나타내는 문자열을 음성의 인식 결과를 나타내는 문자열로서 입력 표시 제어 장치(100)에 출력한다.
도 1에 나타내는 문자열 인식부(5)는, 음성 인식 사전 DB(7) 및 음성 인식부(8)를 실장하고 있다. 그러나, 이것은 일례에 지나지 않고, 음성 인식 사전 DB(7) 및 음성 인식부(8) 대신에, 데이터 송수신부가 실장되어 있는 문자열 인식부(5)여도 된다.
데이터 송수신부는, 인터넷 또는 LAN(Local Area Network) 등의 통신 경로를 통하여, 도시하지 않은 음성 인식 서버와 데이터의 송수신을 행하는 것이 가능한 네트워크 카드 등의 네트워크 통신 기기이다. 데이터 송수신부는, 음성 검출부(6)에 의해 검출된 음성을 나타내는 데이터를 음성 인식 서버에 송신한다.
음성 인식 서버는, 음성을 인식하는 음성 인식 엔진을 탑재하고 있고, 데이터 송수신부로부터 송신된 음성을 나타내는 데이터를 수신하면, 수신한 데이터가 나타내는 음성을 인식하고, 음성의 인식 결과를 나타내는 문자열을 당해 데이터 송수신부에 송신한다.
데이터 송수신부는, 음성 인식 서버로부터 송신된 음성의 인식 결과를 나타내는 문자열을 수신하면, 문자열을 입력 표시 제어 장치(100)에 출력한다.
입력 표시 제어 장치(100)는, 곡선 정보 취득부(9), 문자열 취득부(10), 문자 속성 정보 취득부(11) 및 표시 제어부(12)를 구비하고 있다.
곡선 정보 취득부(9)는, 예를 들면, 도 2에 나타내는 입력 인터페이스 회로(27)에 의해 실현된다. 입력 인터페이스 회로(27)는, 예를 들면, LAN 포트 또는 USB(Universal Serial Bus) 포트를 갖고 있다.
곡선 정보 취득부(9)는, 궤적 판별부(4)로부터 출력된 곡선 정보를 취득하고, 취득한 곡선 정보를 길이 비교부(13), 형상 결정 처리부(16), 곡선 연장부(17) 및 표시 처리부(18)의 각각에 출력한다.
문자열 취득부(10)는, 예를 들면, 도 2에 나타내는 입력 인터페이스 회로(27)에 의해 실현된다. 문자열 취득부(10)는, 음성 인식부(8)로부터 출력된 문자열을 취득하고, 취득한 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
문자 속성 정보 취득부(11)는, 예를 들면, 도 2에 나타내는 입력 인터페이스 회로(27)에 의해 실현된다. 문자 속성 정보 취득부(11)는, 문자 관리부(3)로부터 출력된 문자 속성 정보를 취득하고, 취득한 문자 속성 정보를 길이 비교부(13)에 출력한다.
표시 제어부(12)는, 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17) 및 표시 처리부(18)를 구비하고 있다.
표시 제어부(12)는, 궤적 판별부(4)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서, 문자열을 곡선을 따라 디스플레이(32)에 표시시킨다. 표시 제어부(12)에 의해 생성되는 표시 정보는, 문자열 취득부(10)에 의해 취득된 문자열을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보에 포함되는 곡선 화상 위에 겹쳐 표시하기 위한 정보이다. 표시 제어부(12)는, 표시 정보에 따라서 문자열을 곡선 화상 위에 겹쳐 디스플레이(32)에 표시시킨다.
표시 제어부(12)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자열 취득부(10)에 의해 취득된 문자열의 일부를 곡선을 따라 표시할 수 없다고 판단한 경우, 곡선의 형상으로부터, 곡선의 연장 부분의 형상을 결정하여, 곡선을 연장한다. 표시 제어부(12)는, 연장 부분의 곡선을 따라, 문자열의 일부를 표시하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서, 문자열의 일부를 곡선의 연장 부분을 따라 디스플레이(32)에 표시시킨다.
또, 표시 제어부(12)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버린다고 판단한 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치한다.
예를 들면, 유저가, 디스플레이(32)의 표시 영역의 우단 방향으로 디스플레이(32)를 덧그렸을 때, 곡선 정보가 나타내는 곡선의 우단이, 디스플레이(32)의 표시 영역의 우단보다도, 좌단측이면, 표시 제어부(12)가, 곡선을 표시 영역의 우단 방향으로 연장할 수 있다.
그러나, 곡선을 표시 영역의 우단까지 연장해도, 곡선의 길이가 문자열의 전체의 길이보다도 짧은 경우, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우가 있다. 이 경우, 곡선 정보가 나타내는 곡선의 우단을 가상 영역까지 더 연장하고, 연장한 곡선을 따라 문자열을 배치한다.
또한, 표시 제어부(12)는, 문자열을 곡선 화상 위에 겹쳐 표시한 후, 곡선 화상의 표시를 소거하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서 곡선 화상을 소거시킨다.
길이 비교부(13)는, 예를 들면, 도 2에 나타내는 길이 비교 처리 회로(28)에 의해 실현된다. 길이 비교부(13)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이와, 문자열 취득부(10)에 의해 취득된 문자열의 길이를 비교하여, 곡선의 길이와 문자열의 길이의 비교 결과를 형상 결정 처리부(16) 및 곡선 연장부(17)의 각각에 출력한다.
연장 곡선 형상 결정부(14)는, 예를 들면, 도 2에 나타내는 형상 결정 처리 회로(29)에 의해 실현되는 것이고, 곡선 기억부(15) 및 형상 결정 처리부(16)를 구비하고 있다. 연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다 짧은 취지를 나타내고 있으면, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정한다.
곡선 기억부(15)는, 사전에 형상이 상이한 복수의 곡선을 기억하고 있다.
형상 결정 처리부(16)는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상과, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상을 대조하고, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선에 대응하는 곡선의 형상을 선택한다. 형상 결정 처리부(16)는, 선택한 곡선의 형상으로부터 연장 곡선의 형상을 결정하고, 형상을 결정한 연장 곡선을 곡선 연장부(17)에 출력한다.
곡선 연장부(17)는, 예를 들면, 도 2에 나타내는 곡선 연장 처리 회로(30)에 의해 실현된다. 곡선 연장부(17)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다도 짧은 취지를 나타내고 있으면, 연장 곡선 형상 결정부(14)에 의해 형상이 결정된 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가한다.
표시 처리부(18)는, 예를 들면, 도 2에 나타내는 표시 처리 회로(31)에 의해 실현된다. 표시 처리부(18)는, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 포함하고 있다.
표시 처리부(18)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서 디스플레이(32)에 문자열을 표시시킨다. 표시 처리부(18)에 의해 생성되는 표시 정보는, 문자열 취득부(10)에 의해 취득된 문자열을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보에 포함되는 곡선 화상 위에 겹쳐 표시하기 위한 정보이다. 표시 처리부(18)는, 표시 정보에 따라서 문자열을 곡선 화상 위에 겹쳐 디스플레이(32)에 표시시킨다.
또, 표시 처리부(18)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다도 짧은 취지를 나타내고 있으면, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 곡선 화상 위에 겹쳐 표시할 수 없는 문자열의 일부를 디스플레이(32)에 표시하기 위한 표시 정보를 생성한다. 표시 처리부(18)는, 생성한 표시 정보에 따라서 디스플레이(32)에 문자열의 일부를 표시시킨다.
또한, 표시 처리부(18)는, 디스플레이(32)에 문자열을 표시시킨 후, 곡선 화상의 표시를 소거하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서 디스플레이(32)에 곡선 화상을 소거시킨다.
문자열 선택부(18a)는, 예를 들면, 도 2에 나타내는 포인팅 디바이스(21)에 의해 실현된다. 문자열 선택부(18a)는, 일부가 가상 영역에 배치되어 있는 문자열의 선택을 접수한다. 문자열 선택부(18a)는, 예를 들면, 일부가 가상 영역에 배치되어 있는 문자열에 포함되어 있는 문자 중, 디스플레이(32)의 표시 영역에 표시되어 있는 문자에 대한 유저의 접촉 시간이 임계값보다도 길면, 당해 문자열의 선택을 접수한다. 임계값은, 문자열 선택부(18a)의 내부 메모리에 저장되어 있는 것이어도 되고, 외부로부터 주어지는 것이어도 된다.
가장자리 부가부(18b)는, 예를 들면, 도 2에 나타내는 화상 생성 처리 회로(24)에 의해 실현된다. 가장자리 부가부(18b)는, 문자열 선택부(18a)에 의해 선택이 접수된 문자열에 포함되어 있는 문자의 윤곽에, 문자와 상이한 색의 가장자리를 부가한다.
문자열 이동부(18c)는, 예를 들면, 도 2에 나타내는 포인팅 디바이스(21)에 의해 실현된다. 문자열 이동부(18c)는, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 이동을 접수한다.
표시 처리부(18)는, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 디스플레이(32)의 표시 영역에 배치하기 위한 이동이 접수되면, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시하기 위한 표시 정보를 생성한다.
또, 표시 처리부(18)는, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 디스플레이(32)의 표시 영역의 외측으로 내보내기 위한 이동이 접수되면, 문자열 취득부(10)에 의해 취득된 문자열을 파기한다.
문자열 일시 보존부(19)는, 예를 들면, 도 2에 나타내는 기억 처리 회로(22)에 의해 실현된다. 문자열 일시 보존부(19)는, 문자열 취득부(10)에 의해 취득된 문자열을 일시적으로 보존한다.
도 1에서는, 입력 표시 시스템의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 문자열 인식부(5), 곡선 정보 취득부(9), 문자열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 표시 처리부(18) 및 문자열 일시 보존부(19)의 각각이, 도 2에 나타내는 전용의 하드웨어에 의해 실현된다. 즉, 입력 표시 시스템이, 포인팅 디바이스(21), 기억 처리 회로(22), 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 마이크(25), 음성 인식 처리 회로(26), 입력 인터페이스 회로(27), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30), 표시 처리 회로(31) 및 디스플레이(32)에 의해 실현되는 것을 상정하고 있다.
여기에서, 기억 처리 회로(22)는, 예를 들면, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 등의 불휘발성 또는 휘발성의 반도체 메모리나, 자기 디스크, 플렉시블 디스크, 광 디스크, 콤팩트 디스크, 미니 디스크, DVD(Digital Versatile Disc) 등이 해당한다.
또, 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 음성 인식 처리 회로(26), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30) 및 표시 처리 회로(31)는, 예를 들면, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate array), 또는, 이들을 조합한 것이 해당한다.
또, 입력 표시 시스템의 구성 요소가 전용의 하드웨어로 실현되는 것에 한정하는 것은 아니고, 입력 표시 시스템이 소프트웨어, 펌웨어, 또는, 소프트웨어와 펌웨어의 조합으로 실현되는 것이어도 된다.
소프트웨어 또는 펌웨어는, 프로그램으로서, 컴퓨터의 메모리에 저장된다. 컴퓨터는, 프로그램을 실행하는 하드웨어를 의미하고, CPU(Central Processing Unit), 중앙 처리 장치, 처리 장치, 연산 장치, 마이크로프로세서, 마이크로컴퓨터, 프로세서, DSP(Digital Signal Processor) 등이 해당한다.
도 3은, 입력 표시 시스템이 소프트웨어 또는 펌웨어 등으로 실현되는 경우의 컴퓨터의 하드웨어 구성도이다.
입력 표시 시스템이, 소프트웨어 또는 펌웨어 등으로 실현되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자열 일시 보존부(19)를 컴퓨터의 메모리(41) 상에 구성한다. 또, 문자 관리부(3), 궤적 판별부(4), 음성 인식부(8), 곡선 정보 취득부(9), 문자열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17) 및 표시 처리부(18)의 처리 순서를 컴퓨터로 하여금 실행하게 하기 위한 프로그램을 메모리(41)에 저장한다. 그리고, 프로세서(42)가, 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 4는, 실시형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다(1). 도 5는, 실시형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다(2).
또, 도 2에서는, 입력 표시 시스템의 구성 요소의 각각이 전용의 하드웨어로 실현되는 예를 나타내고, 도 3에서는, 입력 표시 시스템이 소프트웨어 또는 펌웨어 등으로 실현되는 예를 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 입력 표시 시스템에 있어서의 일부의 구성 요소가 전용의 하드웨어로 실현되고, 나머지의 구성 요소가 소프트웨어 또는 펌웨어 등으로 실현되는 것이어도 된다.
예를 들면, 조작 접수부(1) 및 문자열 인식부(5)를 전용의 하드웨어로 실현하고, 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 입력 표시 제어 장치(100) 및 문자열 일시 보존부(19)를 소프트웨어 또는 펌웨어 등으로 실현하는 것이 가능하다. 단, 전용의 하드웨어와 소프트웨어 등의 조합은 임의이다.
다음에, 도 1에 나타내는 입력 표시 시스템의 동작에 대해 설명한다.
도 6은, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 나타내는 설명도이다.
도 6의 문자 속성표에서는, 예를 들면, 문자 종류마다, 문자 사이즈에 대응하고 있는 문자 높이와 문자폭이 기술되어 있다. 문자 종류로서는, 명조체, 고딕체 등이 생각된다.
문자 관리부(3)에는, 디스플레이(32)에 표시하는 문자의 문자 종류 및 문자 사이즈가 사전에 설정되어 있고, 문자 관리부(3)는, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조하고, 문자 종류 및 문자 사이즈에 대응하는 문자 높이를 나타내는 문자 속성 정보를 궤적 판별부(4)에 출력한다. 또, 문자 관리부(3)는, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조하고, 문자 종류 및 문자 사이즈에 대응하는 문자 높이 및 문자폭을 나타내는 문자 속성 정보를 입력 표시 제어 장치(100)의 문자 속성 정보 취득부(11)에 출력한다(도 4의 스텝 ST1).
예를 들면, 사전에 설정되어 있는 문자의 문자 종류가 "A"이고, 문자 사이즈가 "10"이면, 문자 높이가 "5mm"인 것을 나타내는 문자 속성 정보가, 문자 관리부(3)로부터 궤적 판별부(4)에 출력된다. 또, 문자 높이가 "5mm", 문자폭이 "5mm"인 것을 나타내는 문자 속성 정보가, 문자 관리부(3)로부터 입력 표시 제어 장치(100)에 출력된다.
또, 사전에 설정되어 있는 문자의 문자 종류가 "B"이고, 문자 사이즈가 "5"이면, 문자 높이가 "2mm"인 것을 나타내는 문자 속성 정보가, 문자 관리부(3)로부터 궤적 판별부(4)에 출력된다. 또, 문자 높이가 "2mm", 문자폭이 "1.25mm"인 것을 나타내는 문자 속성 정보가, 문자 관리부(3)로부터 입력 표시 제어 장치(100)에 출력된다.
궤적 판별부(4)는, 문자 관리부(3)로부터 문자 속성 정보를 받으면, 생성하는 곡선 화상의 선폭을, 문자 속성 정보가 나타내는 문자 높이에 대응하는 선폭으로 설정한다(도 4의 스텝 ST2).
예를 들면, 문자 속성 정보가 나타내는 문자 높이가 "10mm"일 때, 만일 문자의 상부 및 하부의 여백이 "0.5mm"로 설정되어 있는 것으로 하면, 궤적 판별부(4)는, 10+0.5+0.5=11(mm)로 계산하고, 곡선 화상의 선폭을 "11mm"로 설정한다.
여기에서는, 궤적 판별부(4)가, 문자의 상부 및 하부에 여백을 마련하고 있지만, 여백을 마련하지 않고, 문자 속성 정보가 나타내는 문자 높이와 곡선 화상의 선폭이 일치하는 것이어도 된다.
도 1에 나타내는 입력 표시 제어 장치에서는, 조작 접수부(1)를 실현하고 있는 포인팅 디바이스(21)가 터치 패널인 것을 상정하고 있다. 따라서, 유저가 자기의 손가락, 또는, 터치 패널용의 입력 펜 등을 이용하여, 선을 그리는 조작을 터치 패널에 행하면(도 4의 스텝 ST3: YES의 경우), 조작 접수부(1)가, 선을 그리는 조작을 접수한다(도 4의 스텝 ST4). 조작 접수부(1)는, 접수한 조작의 내용을 궤적 판별부(4)에 출력한다.
출력되는 선을 그리는 조작의 내용은, 예를 들면, 터치 패널에 접촉하고 있는 손가락의 위치의 좌표 또는 입력 펜의 위치의 좌표의 연속적인 변화를 나타내는 시계열 데이터이다. 한편, 위치의 좌표는, 터치 패널 상의 위치 좌표이다.
궤적 판별부(4)는, 조작 접수부(1)로부터 선을 그리는 조작의 내용을 받으면, 조작 내용으로부터 조작에 의해 그려진 선의 궤적을 판별한다(도 4의 스텝 ST5).
선을 그리는 조작의 내용은, 전술한 바와 같이, 터치 패널에 대한 접촉 위치의 연속적인 변화를 나타내고 있으므로, 시계열의 접촉 위치를 연결함으로써, 그려진 선의 궤적을 판별할 수 있다.
궤적 판별부(4)는, 그려진 선의 궤적을 판별하면, 궤적을 나타내는 곡선의 길이 및 형상 등을 나타내는 정보로서, 곡선을 나타내는 곡선 정보를 생성한다(도 4의 스텝 ST6).
곡선 화상의 선폭은, 도 4의 스텝 ST2에서 설정한 선폭이고, 상기의 예에서는, 곡선 화상의 선폭을 "11mm"로 설정하고 있으므로, 궤적 판별부(4)는, 선폭이 "11mm"의 곡선 화상을 생성한다(도 4의 스텝 ST6).
궤적 판별부(4)는, 곡선 화상을 포함하는 곡선 정보를 입력 표시 제어 장치(100)의 곡선 정보 취득부(9)에 출력한다.
문자열 인식부(5)의 음성 인식부(8)는, 음성 검출부(6)가 유저의 음성을 검출하면(도 4의 스텝 ST7: YES의 경우), 음성 인식 사전 DB(7)를 이용하여, 음성의 인식 처리를 실시함으로써, 음성의 인식 결과를 나타내는 문자열을 생성한다(도 4의 스텝 ST8). 음성 인식부(8)는, 생성한 문자열을 입력 표시 제어 장치(100)의 문자열 취득부(10)에 출력한다.
음성 인식부(8)에 의한 음성의 인식 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예를 들면, 이하에 나타내는 음성 인식 방법이 생각된다.
[음성 인식 방법]
음성 검출부(6)에 의해 검출된 음성을 분석하고, 음성의 음향 특징을 산출하고, 음성 인식 사전 DB(7)의 인식 사전에 기술되어 있는 단어 중에서, 산출한 음향 특징과 가장 가까운 음향 특징을 갖는 단어를 탐색한다. 그리고, 탐색한 단어를 나타내는 문자열을 음성의 인식 결과를 나타내는 문자열로서 출력한다.
도 1에 나타내는 입력 표시 제어 장치에서는, 설명의 편의상, 유저가 「봄이 되면 벚꽃을 보러 갑시다」라는 발화를 하고 있고, 음성 인식부(8)가 「봄이 되면 벚꽃을 보러 갑시다」를 나타내는 문자열을 출력하는 것으로 한다.
입력 표시 제어 장치(100)는, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력되면, 곡선 화상을 디스플레이(32)에 표시시킴과 더불어, 문자열 인식부(5)로부터 출력된 문자열을 곡선 화상 위에 겹쳐 표시시킨다.
이하, 입력 표시 제어 장치(100)의 처리 내용을 구체적으로 설명한다.
도 7은, 음성의 인식 결과를 나타내는 문자열이 출력되기 전에 곡선 화상이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 8은, 곡선 화상이 출력되기 전에 음성의 인식 결과를 나타내는 문자열이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 9는, 곡선 화상 위에 겹쳐 표시하는 문자열을 나타내는 설명도이다. 도 9a는, 곡선의 길이가 문자열의 길이보다도 길면, 문자열에 포함되어 있는 모든 문자를 곡선 화상 위에 겹쳐 표시할 수 있는 것을 나타내고 있다. 도 9b는, 곡선의 길이가 문자열의 길이보다도 짧으면, 문자열에 포함되어 있는 일부의 문자를 곡선 화상 위에 겹쳐 표시할 수 없는 것을 나타내고 있다.
도 10은, 표시 제어부(12)의 길이 비교부(13)의 처리 내용을 나타내는 설명도이다. 도 10a는, 곡선의 형상이 직선인 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단 및 종단의 위치 좌표를 나타내고 있다. 도 10b는, 곡선의 형상이 휘어져 있는 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단, 종단 및 중간점의 위치 좌표를 나타내고 있다.
도 11은, 표시 제어부(12)의 연장 곡선 형상 결정부(14)의 처리 내용을 나타내는 설명도이다.
도 12a는, 연장 곡선의 형상이 원래의 곡선의 종단부에 있어서의 접선의 형상인 예를 나타내는 설명도이고, 도 12b는, 연장 곡선의 형상이 원래의 곡선의 형상과 동일한 곡률인 예를 나타내는 설명도이다.
도 12c는, 연장 곡선의 형상이 원래의 곡선의 형상과 동일한 주기의 파선 형상인 예를 나타내는 설명도이고, 도 12d는, 연장 곡선의 형상이 원호 형상인 예를 나타내는 설명도이다.
도 13은, 표시 제어부(12)의 곡선 연장부(17)의 처리 내용을 나타내는 설명도이다.
표시 제어부(12)의 표시 처리부(18)는, 문자열 인식부(5)의 음성 인식부(8)로부터 문자열이 출력되기 전에, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력됨으로써, 곡선 정보 취득부(9)가 곡선 정보를 취득하면(도 5의 스텝 ST11: YES의 경우), 곡선 화상을 표시하기 위한 표시 정보를 생성한다. 표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 7의 스텝 A에 나타내는 바와 같이, 곡선 화상을 디스플레이(32)에 표시시킨다(도 5의 스텝 ST12).
실시형태 1에서는, 설명의 편의상, 유저의 조작에 의해 그려져 있는 선의 길이가 짧기 때문에, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자열의 길이보다도 짧아져 있는 것으로 한다.
한편, 표시 처리부(18)가 곡선 화상을 표시시킬 때, 곡선 화상의 전체를 동시에 표시시키도록 해도 되지만, 뒤에 표시하는 문자열의 선두측으로부터 순차 표시하는 애니메이션으로, 곡선 화상을 표시시키도록 해도 된다.
표시 처리부(18)는, 예를 들면, 도 7의 스텝 B에 나타내는 바와 같이, 유저가 「봄이 되면 벚꽃을 보러 갑시다」라는 발화를 행함으로써, 음성 인식부(8)로부터 「봄이 되면 벚꽃을 보러 갑시다」를 나타내는 문자열을 받으면(도 5의 스텝 ST13: YES의 경우), 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다. 표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 7의 스텝 C에 나타내는 바와 같이, 문자열을 곡선 화상 위에 겹쳐 표시시킨다(도 5의 스텝 ST14).
단, 도 7의 예에서는, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자열의 길이보다도 짧기 때문에, 문자열 중, 「봄이 되면 벚꽃을 보러 갑」에 대해서는 곡선 화상 위에 겹쳐 표시되어 있지만, 「시다」에 대해서는 곡선 화상 위에 겹쳐 표시되어 있지 않다.
문자열 취득부(10)는, 음성 인식부(8)로부터 출력된 「봄이 되면 벚꽃을 보러 갑시다」를 나타내는 문자열을 취득하고, 취득한 문자열을 길이 비교부(13)에 출력한다.
문자 속성 정보 취득부(11)는, 문자 관리부(3)로부터 출력된 문자 속성 정보를 취득하고, 문자 속성 정보를 길이 비교부(13)에 출력한다.
길이 비교부(13)는, 문자열 취득부(10)로부터 출력된 「봄이 되면 벚꽃을 보러 갑시다」를 나타내는 문자열을 받으면, 문자 속성 정보 취득부(11)로부터 출력된 문자 속성 정보가 나타내는 문자폭을 참조하여, 당해 문자열의 길이를 산출한다(도 5의 스텝 ST15).
여기에서는, 음성 인식부(8)로부터 출력된 문자열이 「봄이 되면 벚꽃을 보러 갑시다」이고, 문자열의 문자수가 16이다. 따라서, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자폭이, 예를 들면, "5mm"이면, 문자열의 길이는, 하기의 식(1)에 나타내는 바와 같이, 80mm가 된다.
문자열의 길이=5mm×16=80mm (1)
다음에, 길이 비교부(13)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이를 산출한다(도 5의 스텝 ST16).
곡선의 길이 L은, 곡선의 형상이 예를 들면 도 10a에 나타내는 직선이면, 하기의 식(2)에 나타내는 바와 같이, 곡선의 선단의 위치 좌표(Xs, Ys)와 종단의 위치 좌표(Xe, Ye)로부터 산출할 수 있다. 도 7의 스텝 A에 표시하고 있는 곡선 화상의 경우, 곡선의 좌단이 곡선의 선단, 곡선의 우단이 곡선의 종단이다. 이들의 위치 좌표는, 문자폭 등을 나타내는 단위와 동일한 단위인 것으로 한다. 여기에서는, mm가 단위이다.
Figure pat00001
식(2)에서는, 곡선의 형상이 직선인 경우의 곡선의 길이 L의 산출식을 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 예를 들면, 곡선의 형상이 도 10b에 나타내는 곡선이면, 곡선의 선단의 위치 좌표(Xs, Ys) 및 종단의 위치 좌표(Xe, Ye)와, 곡선의 선단으로부터 종단에 이르는 복수의 중간점의 위치 좌표(Xn, Yn)(n=1, …, N: N은 1 이상의 정수)를 이용하여, 곡선의 형상을 직선으로 근사함으로써, 곡선의 길이 L을 산출할 수 있다.
곡선의 길이 L은, 예를 들면, N=2의 경우, 하기의 식(3)에 나타내는 바와 같이, 곡선의 선단의 위치 좌표(Xs, Ys)와, 중간점의 위치 좌표(X1, Y1)와, 중간점의 위치 좌표(X2, Y2)와, 종단의 위치 좌표(Xe, Ye)로부터 산출할 수 있다.
Figure pat00002
식(3)에 있어서, Xs<X1<X2<Xe이고, Ys<Y1<Y2<Ye이다.
도 10b에서는, N=2의 예를 나타내고 있지만, 근사 정밀도를 높이기 위해서, N을 3 이상으로 하고, 수많은 중간점의 위치 좌표(Xn, Yn)를 이용하도록 해도 되는 것은 말할 필요도 없다.
길이 비교부(13)는, 곡선의 길이를 산출하면, 곡선의 길이와 문자열의 길이를 비교한다(도 5의 스텝 ST17). 길이 비교부(13)는, 곡선의 길이와 문자열의 길이의 비교 결과를 형상 결정 처리부(16) 및 곡선 연장부(17)의 각각에 출력한다.
연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다도 짧은 취지를 나타내고 있으면(도 5의 스텝 ST18: YES의 경우), 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정한다(도 5의 스텝 ST19).
이하, 연장 곡선 형상 결정부(14)에 의한 연장 곡선의 형상의 결정 처리를 구체적으로 설명한다.
형상 결정 처리부(16)는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상과, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상의 조합을 행한다.
형상 결정 처리부(16)는, 곡선의 형상의 조합을 행함으로써, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 곡선 정보가 나타내는 곡선의 형상과 가장 일치도가 높은 곡선의 형상을 특정하고, 가장 일치도가 높은 곡선의 형상을 선택한다. 곡선의 형상을 조합하고, 일치도가 가장 높은 곡선의 형상을 특정하는 처리 자체는 공지의 기술(technique)이기 때문에 상세한 설명을 생략한다.
형상 결정 처리부(16)는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 도 11에 나타내는 곡선의 형상을 선택하면, 선택한 곡선의 형상으로부터 연장 곡선의 형상을 결정한다.
예를 들면, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 길이가, 조작에 의해 그려진 선의 궤적을 나타내는 곡선보다도 충분히 길면, 선택한 곡선의 형상 중에서, 곡선 정보가 나타내는 곡선보다도 긴 부분의 형상을, 연장 곡선의 형상으로 결정한다.
도 11의 예에서는, 조작에 의해 그려진 선의 궤적을 나타내는 곡선으로서, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선을 파선으로 나타내고 있다. 또, 도 11의 예에서는, 가장 일치도가 높은 선택한 곡선을 실선으로 나타내고 있고, 파선으로 나타내고 있는 곡선의 연장 부분의 형상을, 실선으로 나타내고 있는 곡선의 형상과 동일하게 하고 있다.
실시형태 1에서는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선의 형상과 가장 일치도가 높은 곡선의 형상을 선택하고, 선택한 곡선의 형상으로부터 연장 곡선의 형상을 결정하는 예를 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 다른 방법으로, 연장 부분의 곡선인 연장 곡선의 형상을 결정하는 것이어도 된다.
예를 들면, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선의 형상의 곡률의 변화 경향 등을 계산하고, 곡률의 변화 경향으로부터, 연장 곡선의 형상을 추정하는 등의 방법이 생각된다.
도 12a 내지 도 12d는, 연장 곡선의 형상 결정예를 나타내고 있고, 도 12a에서는, 완만하게 휘어져 있는 곡선의 종단부에 있어서의 접선의 형상을 연장 곡선의 형상으로 하고 있다.
도 12b에서는, 곡선 전체의 곡률이 일정하기 때문에, 연장 곡선의 형상의 곡률을, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선인 원래의 곡선의 형상의 곡률과 동일하게 하고 있다.
도 12c에서는, 곡선의 형상이 주기적인 파선 형상이기 때문에, 연장 곡선의 형상을 원래의 곡선과 동일한 주기의 파선 형상으로 하고 있다.
도 12d에서는, 곡선의 종단 부근이 원호 형상으로 휘어져 있기 때문에, 연장 곡선의 형상을 원래의 곡선의 종단 부근과 마찬가지의 원호 형상으로 하고 있다.
곡선 연장부(17)는, 연장 곡선 형상 결정부(14)가 연장 곡선의 형상을 결정하면, 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가함으로써, 곡선을 연장한다(스텝 ST20).
도 13의 예에서는, 곡선의 길이가 60mm, 문자열의 길이가 80mm이고, 곡선의 길이가 문자열의 길이보다도 20mm 짧기 때문에, 20mm만큼, 곡선을 연장하고 있다.
표시 처리부(18)는, 곡선 연장부(17)가 곡선을 연장하면, 연장 부분의 곡선을 따라, 곡선이 짧기 때문에 미표시였던 문자열의 일부인 「시다」를 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 7의 스텝 D에 나타내는 바와 같이, 연장 부분의 곡선을 따라, 곡선이 짧기 때문에 미표시였던 문자열의 일부인 「시다」를 디스플레이(32)에 표시시킨다(도 5의 스텝 ST21). 도 7의 스텝 D에 있어서, 파선은, 연장 부분의 곡선인 연장 곡선을 나타내고 있다.
여기에서는, 표시 처리부(18)가, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 미표시였던 문자열의 일부를 디스플레이(32)에 표시시키고 있다. 그러나, 이것은 일례에 지나지 않고, 도 7의 스텝 D에 있어서의 우측의 도면과 같이, 표시 처리부(18)가, 연장 곡선을 나타내는 곡선 화상을 디스플레이(32)에 표시시키고, 미표시였던 문자열의 일부를 당해 곡선 화상 위에 겹쳐 표시시키도록 해도 된다.
도 7의 스텝 D의 예에서는, 표시 처리부(18)가, 연장 곡선을 디스플레이(32)에 표시시키고 있지만, 연장 곡선은, 가상적인 선이기 때문에, 표시 처리부(18)가, 연장 곡선을 디스플레이(32)에 표시시키지 않아도 된다.
여기에서, 예를 들면, 유저가 디스플레이(32)의 표시 영역의 우단 방향으로 디스플레이(32)를 덧그린 경우, 곡선 정보가 나타내는 곡선의 우단은, 디스플레이(32)의 표시 영역의 우단에 위치하게 된다. 이 경우, 곡선 연장부(17)는, 표시 영역의 우측에 존재하는 가상 영역으로 곡선을 연장한다.
그리고, 표시 처리부(18)는, 가상 영역으로 연장된 곡선을 따라, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치한다.
표시 처리부(18)가, 문자열의 일부를 가상 영역에 배치하는 처리와, 문자열의 일부를 가상 영역에 배치한 후의 처리에 대해서는 후술한다.
표시 처리부(18)는, 문자열을 구성하는 모든 문자를 곡선 화상 위에 겹쳐 표시시킨 후, 곡선 화상을 소거하기 위한 표시 정보를 생성한다. 표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 7의 스텝 E에 나타내는 바와 같이, 디스플레이(32)로부터 곡선 화상을 지워, 문자열만을 디스플레이(32)에 표시시킨다(도 5의 스텝 ST22).
표시 처리부(18)가, 곡선 화상을 소거시킬 때, 곡선 화상의 전체가 동시에 소거되도록 해도 되지만, 문자열의 선두측부터 순번대로 소거하는 애니메이션으로, 곡선 화상이 소거되도록 해도 된다.
여기에서는, 표시 처리부(18)가, 곡선 화상과 문자열을 겹쳐 표시하고 나서, 일정 시간 후에, 곡선 화상을 소거하는 것을 상정하고 있지만, 문자열의 표시가 완료되면, 즉시, 곡선 화상을 소거하도록 해도 된다.
도 8의 스텝 A에 나타내는 바와 같이, 유저가 선을 그리는 조작을 행하기 전에 발화함으로써, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력되기 전에, 문자열 인식부(5)의 음성 인식부(8)로부터 문자열이 출력됨으로써, 문자열 취득부(10)가 문자열을 취득하는 경우가 있다.
표시 처리부(18)는, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력되기 전에, 문자열 취득부(10)로부터 문자열이 출력되면(도 5의 스텝 ST11: NO의 경우), 출력된 문자열을 문자열 일시 보존부(19)에 저장한다.
표시 처리부(18)는, 문자열을 문자열 일시 보존부(19)에 저장하면, 궤적 판별부(4)로부터 곡선 정보가 출력되기까지 대기한다(도 5의 스텝 ST23: NO의 경우).
그 후, 유저가 선을 그리는 조작을 개시하고, 선을 그리는 조작이 완료되면, 궤적 판별부(4)로부터 곡선 정보가 표시 처리부(18)에 출력된다.
표시 처리부(18)는, 궤적 판별부(4)로부터 곡선 정보가 출력됨으로써, 곡선 정보 취득부(9)로부터 곡선 정보가 출력되면(도 5의 스텝 ST23: YES의 경우), 문자열 일시 보존부(19)에 저장되어 있는 문자열의 판독을 행한다. 표시 처리부(18)는, 판독한 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서, 도 8의 스텝 B에 나타내는 바와 같이, 문자열을 곡선 화상 위에 겹쳐 표시시킨다. 즉, 표시 처리부(18)는, 곡선 화상과 문자열을 동일한 위치에 겹쳐 표시시킨다(도 5의 스텝 ST24).
단, 도 8의 예에서는, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자열의 길이보다도 짧기 때문에, 문자열 중, 「봄이 되면 벚꽃을 보러 갑」에 대해서는 곡선 화상 위에 겹쳐 표시되어 있지만, 「시다」에 대해서는 곡선 화상 위에 겹쳐 표시되어 있지 않다.
표시 처리부(18)가 곡선 화상과 문자열을 동일한 위치에 겹쳐 표시시킬 때, 곡선 화상과 문자열의 전체를 동시에 표시시키도록 해도 되지만, 문자열의 선두측으로부터 순차 표시하는 애니메이션으로, 곡선 화상과 문자열을 표시시키도록 해도 된다.
또, 유저의 손가락의 덧그리기(swiping)에 맞추어, 곡선 화상과 문자열이 손가락 아래로부터 용출(well up)되도록, 곡선 화상과 문자열을 순차 표시시키도록 해도 된다.
한편, 도 7에서는, 유저가 손가락을 덧그리고 나서 발화하는 예를 나타내고, 도 8에서는 유저가 발화하고 나서 손가락을 덧그리는 예를 나타냈지만, 손가락의 덧그리기와 발화가 동시에 행해지는 것이어도 된다.
길이 비교부(13)는, 문자열 취득부(10)로부터 출력된 「봄이 되면 벚꽃을 보러 갑시다」를 나타내는 문자열을 받으면, 문자 속성 정보 취득부(11)로부터 출력된 문자 속성 정보가 나타내는 문자폭을 참조하여, 당해 문자열의 길이를 산출한다(도 5의 스텝 ST15).
또, 길이 비교부(13)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보를 받으면, 상기의 식(2) 또는 식(3)에 따라서, 곡선 정보가 나타내는 곡선의 길이를 산출한다(도 5의 스텝 ST16).
길이 비교부(13)는, 곡선의 길이를 산출하면, 곡선의 길이와 문자열의 길이를 비교한다(도 5의 스텝 ST17).
연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다도 짧은 취지를 나타내고 있으면(도 5의 스텝 ST18: YES의 경우), 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정한다(도 5의 스텝 ST19).
곡선 연장부(17)는, 연장 곡선 형상 결정부(14)가 연장 곡선의 형상을 결정하면, 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가함으로써, 곡선을 연장한다(도 5의 스텝 ST20).
도 13의 예에서는, 곡선의 길이가 60mm, 문자열의 길이가 80mm이고, 곡선의 길이가 문자열의 길이보다도 20mm 짧기 때문에, 20mm만큼, 곡선을 연장하고 있다.
표시 처리부(18)는, 곡선 연장부(17)가 곡선을 연장하면, 연장 부분의 곡선을 따라, 곡선의 길이가 짧기 때문에 미표시였던 문자열의 일부인 「시다」를 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 8의 스텝 C에 나타내는 바와 같이, 연장 부분의 곡선을 따라, 미표시였던 문자열의 일부인 「시다」를 디스플레이(32)에 표시시킨다(도 5의 스텝 ST21).
여기에서는, 표시 처리부(18)가, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 미표시였던 문자열의 일부를 디스플레이(32)에 표시시키고 있다. 그러나, 이것은 일례에 지나지 않고, 표시 처리부(18)가, 도 8의 스텝 C에 있어서의 우측의 도면과 같이, 연장 곡선을 나타내는 곡선 화상을 디스플레이(32)에 표시시키고, 미표시였던 문자열의 일부를 당해 곡선 화상 위에 겹쳐 표시시키도록 해도 된다.
표시 처리부(18)는, 문자열을 구성하는 모든 문자를 곡선 화상 위에 겹쳐 표시시킨 후, 곡선 화상을 소거하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 8의 스텝 D에 나타내는 바와 같이, 디스플레이(32)로부터 곡선 화상을 지워, 문자열만을 디스플레이(32)에 표시시킨다(도 5의 스텝 ST22).
표시 처리부(18)가, 곡선 화상을 소거시킬 때, 곡선 화상의 전체가 동시에 소거되도록 해도 되지만, 문자열의 선두측부터 순번대로 소거하는 애니메이션으로, 곡선 화상이 소거되도록 해도 된다.
여기에서는, 표시 처리부(18)가, 곡선 화상과 문자열을 겹쳐 표시시키고 나서, 일정 시간 후에, 곡선 화상을 소거하는 것을 상정하고 있지만, 문자열의 표시가 완료되면, 즉시, 곡선 화상을 소거하도록 해도 된다.
도 1에 나타내는 입력 표시 제어 장치(100)에서는, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자열의 길이보다도 짧은 예를 나타내고 있지만, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자열의 길이 이상인 경우, 곡선의 길이를 연장하지 않고, 문자열을 구성하는 모든 문자를 곡선 화상 위에 겹쳐 표시시킬 수 있다.
따라서, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이 이상인 취지를 나타내고 있으면(도 5의 스텝 ST18: No의 경우), 스텝 ST19∼ST21의 처리를 실시하지 않고, 스텝 ST22의 처리로 이행하고, 곡선 화상을 소거하여, 문자열만을 표시하고 있는 상태로 한다.
도 1에 나타내는 입력 표시 제어 장치(100)에서는, 길이 비교부(13)가, 문자열에 포함되어 있는 각각의 문자의 사이가 떨어져 있지 않고, 문자간의 길이가 0mm인 것으로 하여, 식(1)에 의해 문자열의 길이를 계산하고 있다. 그러나, 문자간의 길이가 0mm보다 크면, 길이 비교부(13)가, 문자간의 길이를 고려하여, 문자열의 길이를 산출하도록 해도 된다. 예를 들면, 문자간의 길이가 0.5mm이면, 문자열의 길이는, 하기의 식(4)에 나타내는 바와 같이, 87.5mm가 된다.
문자열의 길이=(5mm×16)+(0.5mm×15)=87.5mm (4)
식(4)는, 식(1)과 마찬가지로, 문자열의 문자수가 16, 문자폭이 "5mm"인 경우를 나타내고 있다.
다음에, 표시 처리부(18)가, 문자열의 일부를 가상 영역에 배치하는 처리, 및, 문자열의 일부를 가상 영역에 배치한 후의 처리에 대해 설명한다.
예를 들면, 도 14에 나타내는 바와 같이, 유저가 디스플레이(32)의 표시 영역의 우단 방향으로 디스플레이(32)를 덧그렸을 때, 곡선 정보가 나타내는 곡선의 우단이, 디스플레이(32)의 표시 영역의 우단에 위치하게 된다. 도 14는, 표시 처리부(18)가 문자열의 일부를 디스플레이(32)에 표시시킬 수 없는 예를 나타내는 설명도이다.
도 14의 예에서는, 「내일, 수영장에 갈거야」를 나타내는 문자열 중, 「갈거야」의 문자열이 미표시로 되어 있다.
도 15는, 디스플레이(32)의 표시 영역과, 표시 영역의 주위의 영역인 가상 영역을 나타내는 설명도이다.
디스플레이(32)의 표시 영역은, 문자를 실제로 표시하는 것이 가능한 실재의 영역이다. 이에 비해, 가상 영역은, 디스플레이(32)에는 표시되지 않는 가상적인 영역이다.
표시 처리부(18)는, 문자열의 일부를 디스플레이(32)에 표시시킬 수 없는 경우, 도 15에 나타내는 바와 같이, 가상 영역까지 연장 곡선을 연장하고, 당해 가상 영역에 있어서, 연장된 연장 곡선을 따라 미표시된 문자열을 배치한다. 표시 처리부(18)는, 미표시된 문자열을 가상 영역에 배치할 때, 문자열 취득부(10)로부터 출력된 문자열인 「내일, 수영장에 갈거야」가, 표시 영역과 가상 영역을 걸치도록, 미표시된 문자열을 가상 영역에 배치한다.
도 15의 예에서는, 표시 처리부(18)가, 「갈거야」의 문자열을 가상 영역에 배치하고 있다.
도 16은, 표시 처리부(18)가, 문자열의 일부를 가상 영역에 배치한 후의 처리를 나타내는 플로 차트이다.
이하, 도 16을 참조하면서, 표시 처리부(18)가, 문자열의 일부를 가상 영역에 배치한 후의 처리에 대해 설명한다.
문자열 선택부(18a)는, 유저가, 일부가 가상 영역에 배치되어 있는 문자열을 선택하는 조작을 행하면(도 16의 스텝 ST31: YES의 경우), 당해 문자열의 선택을 접수한다(도 16의 스텝 ST32).
문자열 선택부(18a)는, 유저가 문자열을 선택하는 조작을 행하지 않으면(도 16의 스텝 ST31: NO의 경우), 유저가 문자열을 선택하는 조작을 행하기까지 대기한다.
유저가 문자열을 선택하는 조작으로서는, 일부가 가상 영역에 배치되어 있는 문자열에 포함되어 있는 문자 중, 디스플레이(32)의 표시 영역에 표시되어 있는 문자를 길게 누르는 조작이 생각된다.
디스플레이(32)의 표시 영역에 표시되어 있는 문자를 길게 누르는 조작은, 유저가, 디스플레이(32)의 표시 영역에 표시되어 있는 문자를 임계값보다도 긴 시간 접촉하는 조작을 의미한다.
여기에서는, 유저가, 디스플레이(32)의 표시 영역에 표시되어 있는 문자를 길게 누르는 조작을 행함으로써, 문자열 선택부(18a)가, 문자열의 선택을 접수하는 예를 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 예를 들면, 유저가, 디스플레이(32)의 표시 영역에 표시되어 있는 문자에 접촉하면, 접촉하고 있는 시간에 관계없이, 문자열 선택부(18a)가, 문자열의 선택을 접수하도록 해도 된다.
가장자리 부가부(18b)는, 문자열 선택부(18a)에 의해 문자열의 선택이 접수되면, 도 17에 나타내는 바와 같이, 선택이 접수된 문자열에 포함되어 있는 모든 문자에 있어서의 각각의 윤곽에, 문자와 상이한 색의 가장자리를 부가한다(도 16의 스텝 ST33).
가장자리 부가부(18b)가, 문자의 윤곽에 가장자리를 부가함으로써, 당해 문자가, 이른바 「가장자리 문자」로서, 디스플레이(32)에 표시되도록 되고, 유저는, 문자열의 선택이 접수된 것을 인식할 수 있다.
도 17은, 문자열 선택부(18a)에 의해 선택이 접수된 문자열을 나타내는 설명도이다.
문자열 이동부(18c)는, 유저가, 문자열 선택부(18a)에 의해 선택이 접수된 문자열을 이동시키는 조작을 행하면(도 16의 스텝 ST34: YES의 경우), 당해 문자열의 이동을 접수한다(도 16의 스텝 ST35).
문자열 이동부(18c)는, 유저가 문자열을 이동시키는 조작을 행하지 않으면(도 16의 스텝 ST34: NO의 경우), 유저가 문자열을 이동시키는 조작을 행하기까지 대기한다.
표시 처리부(18)는, 문자열 이동부(18c)에 의해, 문자열의 전체를 디스플레이(32)의 표시 영역에 배치하기 위한 이동이 접수되면, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 도 18에 나타내는 바와 같이, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시시킨다(도 16의 스텝 ST36).
도 18은, 문자열의 이동을 나타내는 설명도이다.
도 18a는, 곡선 화상 위에 겹쳐 표시시키고 있는 문자열의 이동을 나타내고 있다.
도 18b는, 곡선 화상이 문자열의 밑줄로서 표기되어 있는 예를 나타내고 있다.
여기에서는, 문자열 이동부(18c)가, 문자열의 전체를 디스플레이(32)의 표시 영역에 배치하기 위한 이동을 접수하면, 표시 처리부(18)가, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시시키고 있다. 그러나, 문자열 이동부(18c)가, 도 19에 나타내는 바와 같이, 문자열의 전체를 디스플레이(32)의 표시 영역의 외측으로 내보내기 위한 이동을 접수하면, 표시 처리부(18)가, 당해 문자열을 파기하도록 해도 된다.
도 19는, 문자열 취득부(10)에 의해 취득된 문자열의 파기를 나타내는 설명도이다.
도 19에서는, 문자열의 전체를 디스플레이(32)의 표시 영역의 외측으로 내보내기 위한 이동 조작으로서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열을, 유저가, 디스플레이(32)의 표시 영역의 외측에 플릭(flick)하고 있는 예를 나타내고 있다.
이상의 실시형태 1은, 표시 제어부(12)가, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열 취득부(10)에 의해 취득된 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 문자열의 전체를 완전히 생성하지 않는 사태를 회피할 수 있다.
또, 실시형태 1은, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 선택을 접수하는 문자열 선택부(18a)와, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 이동을 접수하는 문자열 이동부(18c)를 구비하고 있다. 또, 표시 제어부(12)가, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 표시 영역에 배치하기 위한 이동이 접수되면, 당해 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시시킬 수 있다.
또, 실시형태 1은, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자열 취득부(10)에 의해 취득된 문자열의 일부를 곡선을 따라 표시할 수 없다고 판단하는 경우, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 곡선의 연장 부분의 형상을 결정하여, 곡선을 연장하고, 연장 부분의 곡선을 따라, 문자열의 일부를 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가, 문자열의 길이보다 짧은 경우에도, 문자열의 전부를 곡선을 따라 표시시킬 수 있다.
또한, 실시형태 1은, 입력 표시 제어 장치(100)가, 음성 인식부(8)로부터 문자열이 출력되기 전에, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력된 경우, 곡선 화상을 디스플레이(32)에 표시시킨 후, 음성 인식부(8)로부터 출력된 문자열을 곡선 화상 위에 겹쳐 표시시킨다. 한편, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력되기 전에, 음성 인식부(8)로부터 문자열이 출력된 경우, 궤적 판별부(4)로부터 곡선 정보가 출력되기까지 대기하고, 궤적 판별부(4)로부터 곡선 정보가 출력되면, 곡선 화상을 디스플레이(32)에 표시시킴과 더불어, 문자열을 곡선 화상 위에 겹쳐 표시시키도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 유저가 발화하기 전에 선을 그리는 조작을 행한 경우, 음성의 인식 결과를 나타내는 문자열이 표시되는 위치를 사전에 파악할 수 있다. 따라서, 유저가 문자열의 표시 이미지를 포착(grasp)할 수 있다. 또, 유저가 선을 그리는 조작을 행하기 전에 발화한 경우, 선을 그리는 조작이 행해지면, 곡선 화상과 문자열이 동일한 위치에 겹쳐 표시되기 때문에, 응답성이 높은 조작감을 유저에게 줄 수 있다.
도 1에 나타내는 입력 표시 제어 장치(100)에서는, 표시 처리부(18)가, 문자열을 곡선 화상 위에 겹쳐 표시시키는 것을 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 표시 처리부(18)가, 문자열을 곡선 화상 위에 겹치지 않고, 곡선 화상의 주위에 있어서, 곡선 화상을 따르도록 문자열을 표시시키도록 해도 된다.
또, 곡선 화상은, 유저가 곡선 화상을 확인할 수 없어도 된다면, 무색 투명의 화상이어도 된다. 또, 곡선 화상은, 유색 투명의 화상이어도 된다.
또, 곡선 화상의 선폭은, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이에 대응하는 폭으로 구성했지만, 예를 들면, 도 18b에 나타내는 바와 같이, 일정 폭을 갖는 밑줄로 해도 된다.
곡선 화상이 무색 투명한 경우, 표시 처리부(18)가, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 폭이 없는 곡선, 또는, 곡선 연장부(17)에 의해 연장된 궤적을 나타내는 폭이 없는 곡선을 디스플레이(32)에 표시시키도록 해도 된다.
실시형태 2.
도 1에 나타내는 입력 표시 시스템에서는, 표시 제어부(12)가, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 표시 영역에 배치하기 위한 이동이 접수되면, 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하고 있다.
실시형태 2에서는, 표시 제어부(12)가, 일부를 가상 영역에 배치한 문자열을 개행함으로써, 가상 영역에 배치한 문자열의 일부를 표시 영역에 표시하기 위한 표시 정보를 생성하는 입력 표시 시스템에 대해 설명한다.
실시형태 2의 입력 표시 제어 장치(100)를 포함하는 입력 표시 시스템을 나타내는 구성도는, 실시형태 1과 마찬가지로 도 1이다. 단, 표시 처리부(18)는, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 구비하고 있을 필요가 없다.
*도 20은, 디스플레이(32)에 있어서의 표시 영역의 우단에서, 문자열이 자동 개행됨으로써, 가상 영역에 배치된 문자열이 표시 영역에 표시되는 예를 나타내는 설명도이다.
다음에, 실시형태 2의 입력 표시 시스템의 동작에 대해 설명한다.
*도 21은, 실시형태 2에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다. 도 21에 있어서, 도 5와 동일 부호는 동일 또는 상당 부분을 나타내고 있다.
문자열 취득부(10)는, 예를 들면, 유저가 「내일, 수영장에 갈거야 1개월만이야」라는 발화를 행하면, 음성 인식부(8)로부터 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 취득하고, 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 문자열 취득부(10)로부터 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 받으면, 실시형태 1과 마찬가지로, 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다.
단, 표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열 취득부(10)에 의해 취득된 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 문자열의 일부를 가상 영역에 배치하고 있다.
도 20의 예에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열 중, 「내일, 수영장에」의 문자열을 표시 영역에 표시하고 있지만, 「갈거야. 1개월만이야」의 문자열을 가상 영역에 배치하고 있다.
연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다도 짧은 취지를 나타내고 있으면, 실시형태 1과 마찬가지로, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정한다.
곡선 연장부(17)는, 연장 곡선 형상 결정부(14)가 연장 곡선의 형상을 결정하면, 실시형태 1과 마찬가지로, 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가함으로써, 곡선을 연장한다.
실시형태 2에서도, 실시형태 1과 마찬가지로, 곡선 연장부(17)가, 도 20에 나타내는 바와 같이, 가상 영역까지 곡선을 연장하고 있다(도 21의 스텝 ST20A).
표시 처리부(18)는, 전술한 바와 같이, 「갈거야. 1개월만이야」의 문자열을 가상 영역에 배치하고 있지만, 가상 영역까지 연장하고 있는 곡선을 따라, 「갈거야. 1개월만이야」의 문자열을 배치한다.
표시 처리부(18)는, 「갈거야. 1개월만이야」의 문자열을 가상 영역에 배치하면, 가상 영역까지 연장한 곡선을 잘라내고, 잘라낸 곡선을 실재 영역의 곡선 아래에 배치한다(도 21의 스텝 ST21A).
표시 처리부(18)는, 문자열 취득부(10)로부터 출력된 「내일, 수영장에 갈거야. 1개월만이야」가 나타내는 문자열을, 디스플레이(32)에 있어서의 표시 영역의 우단에서 개행한다. 도 20의 예에서는, 「에」의 문자와 「갈」의 문자 사이에서 개행하고 있다. 도 20에 있어서, "←"는, 문자열의 개행을 나타내고 있다.
다음에, 표시 처리부(18)는, 곡선의 시점을 좌우 방향으로 일치시킴으로써, 개행한 문자열인 「갈거야. 1개월만이야」의 시점의 문자인 「갈」과, 「내일, 수영장에 갈거야. 1개월만이야」의 시점의 문자인 「내」가, 도면 중, 좌우 방향의 위치에서 대체로 일치하도록 「갈거야. 1개월만이야」를 배치한다.
표시 처리부(18)는, 「갈거야. 1개월만이야」의 문자열 중, 「갈거야. 1개」의 문자열을, 잘라낸 곡선을 따라, 디스플레이(32)의 표시 영역에 표시한다(도 21의 스텝 ST21B).
도 20의 예에서는, 「갈거야. 1개월만이야」의 문자열 중, 「갈거야. 1개」에 대해서는, 디스플레이(32)의 표시 영역에 표시되어 있다. 그러나, 「월만이야」의 문자열은, 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리고 있다.
곡선 연장부(17)는, 「월만이야」의 문자열이 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리고 있기 때문에, 「갈거야. 1개」의 문자열이 따르고 있는 곡선을 가상 영역까지 연장한다(도 21의 스텝 ST20A).
표시 처리부(18)는, 가상 영역까지 연장하고 있는 곡선을 따라, 「월만이야」의 문자열을 가상 영역에 배치한다.
표시 처리부(18)는, 「월만이야」의 문자열을 가상 영역에 배치하면, 가상 영역까지 연장한 곡선을 잘라내고, 잘라낸 곡선을 실재 영역의 곡선 아래에 배치한다(도 21의 스텝 ST21A).
표시 처리부(18)는, 「갈거야. 1개월만이야」가 나타내는 문자열을, 디스플레이(32)에 있어서의 표시 영역의 우단에서 개행한다. 도 20의 예에서는, 「개」의 문자와 「월」의 문자 사이에서 개행하고 있다.
다음에, 표시 처리부(18)는, 곡선의 시점을 좌우 방향으로 일치시킴으로써, 개행한 문자열인 「월만이야」의 문자열의 시점의 문자인 「월」과, 「갈거야. 1개월만이야」의 시점의 문자인 「갈」이, 도면 중, 좌우 방향의 위치에서 대체로 일치하도록, 「월만이야」의 문자열을 배치한다.
표시 처리부(18)는, 「월만이야」의 문자열을, 잘라낸 곡선을 따라, 디스플레이(32)의 표시 영역에 표시한다(도 21의 스텝 ST21B).
도 20의 예에서는, 「월만이야」의 문자열이 디스플레이(32)의 표시 영역에 표시되어 있고, 「내일, 수영장에」의 문자열과, 「갈거야. 1개」의 문자열과, 「월만이야」의 문자열이 3행으로 표시되어 있다.
표시 처리부(18)는, 가상 영역까지 연장한 곡선의 모두를 잘라내기까지, 스텝 ST21A∼ST21C의 처리를 반복하여 실시한다.
도 20에서는, 표시 처리부(18)가, 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 2회 개행함으로써, 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 3행으로 표시시키고 있다. 그러나, 이것은 일례에 지나지 않고, 표시 처리부(18)가, 예를 들면, 2행째의 문자열을 표시 영역의 좌단에 가까이 댐으로써, 「내일, 수영장에」의 문자열과, 「갈거야. 1개월만이야」의 문자열을 2행으로 표시시키도록 해도 된다. 또, 2행째의 문자열의 마지막 문자를 표시 영역의 우단에 맞춤으로써 2행으로 하도록 해도 된다.
여기에서는, 표시 처리부(18)가, 2행째의 문자열 및 3행째의 문자열의 각각에 포함되어 있는 복수의 문자를 일직선 상에 나란히 표시시키고 있다. 그러나, 이것은 일례에 지나지 않고, 곡선 연장부(17)가, 2행째의 문자열 및 3행째의 문자열의 각각을 배치하기 위한 곡선의 형상이, 1행째의 문자열을 배치하기 위한 곡선과 동일 형상이 되도록, 2행째의 문자열 및 3행째의 문자열의 각각을 배치하기 위한 곡선을 생성한다. 그리고, 표시 처리부(18)가, 도 22에 나타내는 바와 같이, 2행째의 문자열 및 3행째의 문자열의 각각에 포함되어 있는 복수의 문자를, 곡선 연장부(17)에 의해 생성된 각각의 곡선을 따르도록, 디스플레이(32)의 표시 영역에 표시시키도록 해도 된다. 도 22에 있어서, "←"는, 문자열의 개행을 나타내고 있다.
도 22는, 디스플레이(32)에 있어서의 표시 영역의 우단에서, 문자열이 자동 개행됨으로써, 가상 영역에 배치된 문자열이 표시 영역에 표시되는 예를 나타내는 설명도이다.
이상의 실시형태 2는, 표시 제어부(12)가, 문자열 취득부(10)에 의해 취득된 문자열을 개행함으로써, 가상 영역에 배치한 문자열의 일부를 표시 영역에 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 일부를 가상 영역에 배치한 문자열에 포함되어 있는 모든 문자를 자동적으로 디스플레이(32)의 표시 영역에 표시시킬 수 있다.
실시형태 3.
도 1에 나타내는 입력 표시 시스템에서는, 표시 제어부(12)가, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 표시 영역에 배치하기 위한 이동이 접수되면, 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하고 있다.
실시형태 3에서는, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 전체를 디스플레이(32)의 표시 영역으로 이동시키고, 당해 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하는 입력 표시 시스템에 대해 설명한다.
실시형태 3의 입력 표시 제어 장치(100)를 포함하는 입력 표시 시스템을 나타내는 구성도는, 실시형태 1과 마찬가지로 도 1이다. 단, 표시 처리부(18)는, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 구비하고 있을 필요가 없다.
도 23은, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 전체를 디스플레이(32)의 표시 영역으로 이동시키고, 당해 문자열의 전체를 표시 영역에 표시시키고 있는 예를 나타내는 설명도이다.
다음에, 실시형태 3의 입력 표시 시스템의 동작에 대해 설명한다.
도 24는, 실시형태 3에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다. 도 24에 있어서, 도 5와 동일 부호는 동일 또는 상당 부분을 나타내고 있다.
문자열 취득부(10)는, 예를 들면, 유저가 「내일, 수영장에 갈거야」라는 발화를 행하면, 음성 인식부(8)로부터 「내일, 수영장에 갈거야」를 나타내는 문자열을 취득하고, 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 문자열 취득부(10)로부터 「내일, 수영장에 갈거야」를 나타내는 문자열을 받으면, 실시형태 1과 마찬가지로, 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다.
단, 표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 문자열의 일부를 가상 영역에 배치하고 있다.
도 23의 예에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열 중, 「내일, 수영장에」의 문자열을 표시 영역에 표시하고 있지만, 「갈거야」의 문자열을 가상 영역에 배치하고 있다.
표시 처리부(18)는, 문자열의 일부를 가상 영역에 배치하면, 도 23에 나타내는 바와 같이, 예를 들면, 문자열의 전체를, 도면 중, 표시 영역의 좌단측의 방향으로 이동시킴으로써, 문자열의 전체를 표시 영역에 표시시킨다(도 24의 스텝 ST25). 도 23에 있어서, "←"는, 문자열의 이동을 나타내고 있다.
도 23의 예에서는, 표시 처리부(18)가, 문자열의 전체를, 도면 중, 표시 영역의 좌단측의 방향으로 이동시킴으로써, 문자열의 전체를 표시 영역에 표시시킬 수 있다.
이상의 실시형태 3은, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 전체를 표시 영역으로 이동시키고, 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 일부를 가상 영역에 배치한 문자열에 포함되어 있는 모든 문자를 자동적으로 디스플레이(32)의 표시 영역에 표시시킬 수 있다.
한편, 문자열 취득부(10)로부터 출력된 문자열의 길이가, 예를 들면, 표시 영역의 좌우 방향의 길이보다도 긴 경우, 표시 처리부(18)가, 문자열의 전체를, 표시 영역의 좌단측의 방향으로 이동시켜도, 문자열의 전체를 표시 영역에 표시시킬 수 없다. 구체적으로는, 이하와 같다.
문자열 취득부(10)는, 예를 들면, 유저가 「내일, 수영장에 갈거야 1개월만이야」라는 발화를 행하면, 음성 인식부(8)로부터 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 취득하고, 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 문자열 취득부(10)로부터 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 받으면, 실시형태 1과 마찬가지로, 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다.
단, 표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 문자열의 일부를 가상 영역에 배치하고 있다.
도 25는, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열의 전체를 이동시킨 후, 문자열을 개행함으로써, 문자열의 전체를 표시 영역에 표시시키고 있는 예를 나타내는 설명도이다.
도 25의 예에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열 중, 「내일, 수영장에」의 문자열을 표시 영역에 표시시키고 있지만, 「갈거야. 1개월만이야」의 문자열을 가상 영역에 배치하고 있다.
표시 처리부(18)는, 문자열의 시점의 문자인 「내」를, 예를 들면, 표시 영역의 좌단의 바로 앞까지 이동시킨 후, 당해 문자열을, 디스플레이(32)에 있어서의 표시 영역의 우단에서 개행한다.
도 25의 예에서는, 표시 처리부(18)가, 문자열의 전체를 이동시킴으로써, 「내일, 수영장에 갈거야. 1」의 문자열을 표시 영역에 표시시키고 있다. 그러나, 「개월만이야」의 문자열이 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 표시 처리부(18)가, 「개월만이야」의 문자열을 가상 영역에 배치하고 있다.
다음에, 표시 처리부(18)는, 전체를 이동시킨 문자열을, 디스플레이(32)에 있어서의 표시 영역의 우단에서 개행한다. 도 25의 예에서는, 「1」의 문자와 「개」의 문자 사이에서 개행하고 있다.
표시 처리부(18)는, 개행한 문자열인 「개월만이야」의 문자열을 디스플레이(32)의 표시 영역에 표시시키고 있다.
도 25의 예에서는, 「내일, 수영장에 갈거야. 1」의 문자열을 배치하기 위한 곡선의 형상과, 「개월만이야」의 문자열을 배치하기 위한 곡선의 형상이, 동일한 형상이지만, 상이한 형상이어도 된다.
상기와 같이 구성함으로써, 문자열의 길이가 긴 경우여도, 문자열에 포함되어 있는 모든 문자를 자동적으로 디스플레이(32)의 표시 영역에 표시시킬 수 있다.
실시형태 4.
도 1에 나타내는 입력 표시 시스템에서는, 표시 제어부(12)가, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 표시 영역에 배치하기 위한 이동이 접수되면, 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하고 있다.
실시형태 4에서는, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열에 포함되어 있는 문자의 문자 사이즈를 작게 하고, 문자열의 길이를, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이 이하로 하는 입력 표시 시스템에 대해 설명한다.
실시형태 4의 입력 표시 제어 장치(100)를 포함하는 입력 표시 시스템을 나타내는 구성도는, 실시형태 1과 마찬가지로 도 1이다. 단, 표시 처리부(18)는, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 구비하고 있을 필요가 없다.
도 26은, 표시 제어부(12)가, 문자열에 포함되어 있는 문자의 문자 사이즈를 작게 하고, 문자열의 전체를 표시 영역에 표시시키고 있는 예를 나타내는 설명도이다.
다음에, 실시형태 4의 입력 표시 시스템의 동작에 대해 설명한다.
도 27은, 실시형태 4에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다. 도 27에 있어서, 도 5와 동일 부호는 동일 또는 상당 부분을 나타내고 있다.
문자열 취득부(10)는, 예를 들면, 유저가 「내일, 수영장에 가지 않겠습니까」라는 발화를 행하면, 음성 인식부(8)로부터 「내일, 수영장에 가지 않겠습니까?」를 나타내는 문자열을 취득하고, 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 문자열 취득부(10)로부터 「내일, 수영장에 가지 않겠습니까?」를 나타내는 문자열을 받으면, 실시형태 1과 마찬가지로, 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다.
단, 표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 문자열의 일부를 가상 영역에 배치하고 있다.
도 26의 예에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열 중, 「내일, 수영장에 가지」의 문자열을 표시 영역에 표시하고 있지만, 「않겠습니까?」의 문자열을 가상 영역에 배치하고 있다.
도 26의 예에서는, 「내일, 수영장에 가지 않겠습니까?」의 문자열에 포함되어 있는 각각의 문자의 문자 사이즈는, 문자 관리 DB(2)에 기억되어 있는 문자 속성표의 기술과 같다.
표시 처리부(18)는, 문자열의 일부를 가상 영역에 배치하면, 문자열의 길이가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이 이하가 되도록, 문자열에 포함되어 있는 모든 문자에 있어서의 각각의 문자 사이즈를 작게 한다(도 27의 스텝 ST26).
표시 처리부(18)는, 모든 문자에 있어서의 각각의 문자 사이즈를 작게 한 후, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 도 26에 나타내는 바와 같이, 생성한 표시 정보에 따라서, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시시킨다(도 27의 스텝 ST21).
여기에서는, 표시 처리부(18)가, 문자열의 길이가, 곡선의 길이 이하가 되도록, 문자열에 포함되어 있는 모든 문자에 있어서의 각각의 문자 사이즈를 작게 하고 있다.
표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가, 곡선의 길이보다도 짧은 경우, 문자열의 길이가, 곡선의 길이보다도 길어지지 않는 범위에서, 문자열에 포함되어 있는 모든 문자에 있어서의 각각의 문자 사이즈를 크게 하도록 해도 된다.
도 28은, 표시 제어부(12)가, 문자열의 길이가, 곡선의 길이보다도 길어지지 않는 범위에서, 문자열에 포함되어 있는 문자의 문자 사이즈를 크게 하고 있는 예를 나타내는 설명도이다.
도 28의 예에서는, 표시 제어부(12)가, 문자열의 길이가, 곡선의 길이와 거의 동일한 길이가 되도록, 문자열에 포함되어 있는 모든 문자에 있어서의 각각의 문자 사이즈를 크게 하고 있다. 그러나, 문자열 취득부(10)에 의해 취득된 문자열의 길이가, 곡선의 길이보다도 짧은 경우, 표시 제어부(12)가, 문자열에 포함되어 있는 모든 문자에 있어서의 각각의 문자 사이즈를 변경하지 않고, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시시키도록 해도 된다.
이상의 실시형태 4는, 표시 제어부(12)가, 일부가 가상 영역에 배치되어 있는 문자열에 포함되어 있는 문자의 문자 사이즈를 작게 하고, 문자열의 길이를, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이 이하로 하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 문자열 취득부(10)에 의해 취득된 문자열에 포함되어 있는 모든 문자를 자동적으로 디스플레이(32)의 표시 영역에 표시시킬 수 있다.
한편, 연장 곡선을 묘화하지 않고, 곡선의 길이가 문자열의 길이보다도 짧은 경우, 문자열에 포함되는 문자의 사이즈를 작게 하고 문자열 전체를 표시하도록 해도 된다.
실시형태 5.
도 1에 나타내는 입력 표시 시스템에서는, 표시 제어부(12)가, 문자열 이동부(18c)에 의해서, 문자열 선택부(18a)에 의해 선택이 접수된 문자열의 전체를 표시 영역에 배치하기 위한 이동이 접수되면, 문자열의 전체를 표시 영역에 표시하기 위한 표시 정보를 생성하고 있다.
실시형태 5에서는, 표시 제어부(12)가, 문자열 취득부(10)에 의해 취득된 문자열을, 당해 문자열과 동일한 의미를 갖고, 또한, 당해 문자열보다도 길이가 짧은 문자열로 치환하는 처리를 실시한다. 그리고, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 치환 처리 후의 문자열을 표시하기 위한 표시 정보를 생성하는 입력 표시 시스템에 대해 설명한다.
도 29는, 실시형태 5에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다. 도 29에 있어서, 도 1과 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
표시 처리부(18)는, 예를 들면, 도 2에 나타내는 표시 처리 회로(31)에 의해 실현된다.
표시 처리부(18)는, 도 1에 나타내는 표시 처리부(18)와 상이하게, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c) 대신에, 테이블 기억부(18d)를 포함하고 있다.
표시 처리부(18)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서 디스플레이(32)에 문자열을 표시시킨다. 표시 처리부(18)에 의해 생성되는 표시 정보는, 문자열 취득부(10)에 의해 취득된 문자열을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보에 포함되는 곡선 화상 위에 겹쳐 표시하기 위한 정보이다. 표시 처리부(18)는, 표시 정보에 따라서 문자열을 곡선 화상 위에 겹쳐 디스플레이(32)에 표시시킨다.
또, 표시 처리부(18)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자열의 길이보다도 짧은 취지를 나타내고 있으면, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 곡선 화상 위에 겹쳐 표시할 수 없는 문자열의 일부를 디스플레이(32)에 표시하기 위한 표시 정보를 생성한다. 표시 처리부(18)는, 생성한 표시 정보에 따라서 디스플레이(32)에 문자열의 일부를 표시시킨다.
또한, 표시 처리부(18)는, 디스플레이(32)에 문자열을 표시시킨 후, 곡선 화상의 표시를 소거하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서 디스플레이(32)에 곡선 화상을 소거시킨다.
테이블 기억부(18d)는, 예를 들면, 도 2에 나타내는 기억 처리 회로(22)에 의해 실현된다. 테이블 기억부(18d)는, 도 30에 나타내는 바와 같이, 「문자열」과 「간이한 문자열」의 대응 관계를 나타내는 테이블을 기억하고 있다.
도 30은, 「문자열」과 「간이한 문자열」의 대응 관계를 나타내는 테이블을 나타내는 설명도이다.
*도 30에서는, 간이한 문자열을 「간이판」이라고 표기하고 있다. 「간이한 문자열」은, 「문자열」과 동일한 의미를 갖고, 또한, 「문자열」보다도 길이가 짧아져 있다.
표시 처리부(18)는, 테이블 기억부(18d)로부터, 문자열 취득부(10)에 의해 취득된 문자열과 대응 관계가 있는 간이한 문자열을 취득하고, 문자열 취득부(10)에 의해 취득된 문자열을 취득한 간이한 문자열로 치환한다.
표시 처리부(18)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 치환 처리 후의 문자열을 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서 치환 처리 후의 문자열을 디스플레이(32)의 표시 영역에 표시시킨다.
다음에, 도 29에 나타내는 입력 표시 제어 장치의 동작에 대해 설명한다.
도 31은, 실시형태 5에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다. 도 31에 있어서, 도 5와 동일 부호는 동일 또는 상당 부분을 나타내고 있다.
표시 처리부(18) 이외의 동작은, 도 1에 나타내는 입력 표시 제어 장치의 동작과 마찬가지이기 때문에, 여기에서는, 주로 표시 처리부(18)의 동작만을 설명한다.
문자열 취득부(10)는, 예를 들면, 유저가 「오늘, 라면을 먹으러 갔습니다」라는 발화를 행하면, 음성 인식부(8)로부터 「오늘, 라면을 먹으러 갔습니다」를 나타내는 문자열을 취득하고, 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 문자열 취득부(10)로부터 「오늘, 라면을 먹으러 갔습니다」를 나타내는 문자열을 받으면, 실시형태 1과 마찬가지로, 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다.
단, 표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 문자열의 일부를 가상 영역에 배치하고 있다.
표시 처리부(18)는, 「오늘, 라면을 먹으러 갔습니다」를 나타내는 문자열 중, 「갔습니다」의 문자열을 가상 영역에 배치하고 있다.
표시 처리부(18)는, 문자열의 전체를 디스플레이(32)의 표시 영역에 표시할 수 있도록 하기 위해, 문자열 취득부(10)에 의해 취득된 문자열을 간이한 문자열로 치환하여, 문자열의 길이를 짧게 한다(도 31의 스텝 ST27).
구체적으로는, 표시 처리부(18)는, 테이블 기억부(18d)로부터, 문자열 취득부(10)에 의해 취득된 문자열과 대응 관계가 있는 간이한 문자열을 취득한다.
도 30에 나타내는 테이블에는, 「오늘, 라면을 먹으러 갔습니다」를 나타내는 문자열 중, 「먹으러 갔습니다」를 나타내는 문자열과 대응 관계가 있는 간이한 문자열로서, 「먹었다」가 기억되어 있다.
또, 도 30에 나타내는 테이블에는, 「오늘, 라면을 먹으러 갔습니다」를 나타내는 문자열 중, 「라면」을 나타내는 문자열과 대응 관계가 있는 간이한 문자열로서, 라면을 나타내는 그림 문자가 기억되어 있다.
그래서, 표시 처리부(18)는, 「먹으러 갔습니다」를 「먹었다」로 치환하고, 「라면」을 「라면을 나타내는 그림 문자」로 치환한다.
표시 처리부(18)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 치환 처리 후의 문자열을 표시하기 위한 표시 정보를 생성하고, 도 32에 나타내는 바와 같이, 생성한 표시 정보에 따라서, 치환 처리 후의 문자열을 디스플레이(32)의 표시 영역에 표시시킨다(도 31의 스텝 ST21D).
도 32는, 표시 제어부(12)가, 치환 처리 후의 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
*도 32의 예에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열을 간이한 문자열로 치환함으로써, 문자열의 길이가 짧아지고, 문자열의 전체가 디스플레이(32)의 표시 영역에 표시되도록 되어 있다.
여기에서는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 표시 영역으로부터 비어져 나와 버릴 때에, 표시 처리부(18)가, 문자열을 간이한 문자열로 치환하고 있다. 그러나, 이것은 일례에 지나지 않고, 표시 처리부(18)는, 문자열의 일부가 표시 영역으로부터 비어져 나오지 않을 때여도, 문자열을 간이한 문자열로 치환하도록 해도 된다.
이상의 실시형태 5는, 표시 제어부(12)가, 문자열 취득부(10)에 의해 취득된 문자열을, 당해 문자열과 동일한 의미를 갖고, 또한, 당해 문자열보다도 길이가 짧은 문자열로 치환하고, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 치환한 문자열을 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 문자열 취득부(10)에 의해 취득된 문자열에 포함되어 있는 모든 문자를 자동적으로 디스플레이(32)의 표시 영역에 표시시킬 수 있다.
실시형태 6.
실시형태 6에서는, 곡선 정보 취득부(9)가, 복수의 곡선 정보를 취득한다. 그리고, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 입력 표시 시스템에 대해 설명한다.
실시형태 6의 입력 표시 제어 장치(100)를 포함하는 입력 표시 시스템을 나타내는 구성도는, 실시형태 1과 마찬가지로 도 1이다. 단, 표시 처리부(18)는, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 구비하고 있을 필요가 없다.
도 33은, 표시 제어부(12)가, 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
다음에, 실시형태 6의 입력 표시 시스템의 동작에 대해 설명한다.
도 34는, 실시형태 6에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 플로 차트이다. 도 34에 있어서, 도 4와 동일 부호는 동일 또는 상당 부분을 나타내고 있다.
궤적 판별부(4)는, 조작 접수부(1)로부터 선을 그리는 조작의 내용을 받으면(도 34의 스텝 ST3: YES의 경우), 실시형태 1과 마찬가지로, 조작 내용으로부터 조작에 의해 그려진 선의 궤적을 판별하고, 궤적을 나타내는 곡선의 길이 및 형상 등을 나타내는 정보로서, 곡선을 나타내는 곡선 정보를 생성한다(도 34의 스텝 ST6).
궤적 판별부(4)는, 실시형태 1과 마찬가지로, 곡선 화상을 포함하는 곡선 정보를 곡선 정보 취득부(9)에 출력한다.
실시형태 6의 입력 표시 시스템에서는, 조작 접수부(1)가, 복수의 선을 그리는 조작의 내용을 받으면, 궤적 판별부(4)가, 복수의 곡선 정보를 생성한다.
곡선 정보 취득부(9)는, 궤적 판별부(4)로부터 출력된 곡선 정보를 취득하고, 곡선 정보를 길이 비교부(13), 형상 결정 처리부(16), 곡선 연장부(17) 및 표시 처리부(18)의 각각에 출력한다.
문자열 취득부(10)는, 예를 들면, 유저가 「내일, 수영장에 갈거야 1개월만이야」라는 발화를 행하면, 음성 인식부(8)로부터 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 취득하고, 문자열을 길이 비교부(13) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 문자열 취득부(10)로부터 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열을 받으면, 실시형태 1과 마찬가지로, 문자열을 곡선 화상 위에 겹쳐 표시하기 위한 표시 정보를 생성한다.
단, 표시 처리부(18)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리므로, 문자열의 일부를 가상 영역에 배치하고 있다.
도 33의 예에서는, 「내일, 수영장에 갈거야. 1개월만이야」를 나타내는 문자열 중, 곡선에 들어가는 범위의 문자열이, 「내일, 수영장」의 문자열이기 때문에, 표시 처리부(18)가, 「내일, 수영장」의 문자열을 곡선을 따라 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 「내일, 수영장」의 문자열을 곡선을 따라 디스플레이(32)의 표시 영역에 표시시키면, 미표시된 문자열의 선두의 위치에서, 문자열을 개행한다. 도 33의 예에서는, 「장」의 문자와 「에」의 문자 사이에서 개행하고 있다. 도 33에 있어서, "←"는, 문자열의 개행을 나타내고 있다.
단, 실시형태 6의 입력 표시 제어 시스템에서는, 표시 처리부(18)가, 문자열을 개행하기 전에, 개행한 문자열을 표시하기 위한 곡선을 추가하는 조작을 접수한다.
궤적 판별부(4)는, 조작 접수부(1)로부터 선을 그리는 조작의 내용을 받으면, 조작 내용으로부터 조작에 의해 그려진 선의 궤적을 판별하고, 궤적을 나타내는 곡선의 길이 및 형상 등을 나타내는 정보로서, 곡선을 나타내는 곡선 정보를 생성한다.
도 33의 예에서는, 조작 접수부(1)가, 2개의 선을 그리는 조작을 접수하고 있고, 궤적 판별부(4)가, 2개의 선을 그리는 각각의 조작의 내용에 따라서, 2개의 곡선에 대한 곡선 정보를 각각 생성한다.
궤적 판별부(4)는, 생성한 2개의 곡선 정보를 곡선 정보 취득부(9)에 출력한다.
곡선 정보 취득부(9)는, 궤적 판별부(4)로부터 출력된 2개의 곡선 정보를 취득하고, 2개의 곡선 정보를 길이 비교부(13), 형상 결정 처리부(16), 곡선 연장부(17) 및 표시 처리부(18)의 각각에 출력한다.
표시 처리부(18)는, 곡선 정보 취득부(9)로부터 2개의 곡선 정보를 받으면, 2개의 곡선 정보가 나타내는 곡선 중, 표시가 완료된 「내일, 수영장」의 문자열의 표시 위치에 가까운 쪽의 곡선(이하, 제 1 곡선이라고 칭함)을 따라, 「에 갈거야.」의 문자열을 표시하기 위한 표시 정보를 생성한다. 한편, 여기에서는 가까운 쪽의 곡선을 제 1 곡선으로 하고 있지만, 곡선이 그려진 순번을 기억해 두고, 빠른 쪽의 순번의 곡선을 제 1 곡선으로 하도록 해도 된다. 「1개월만이야」의 문자열은, 제 1 곡선에 들어가지 않기 때문에, 이 단계에서는, 표시 처리부(18)는, 「에 갈거야.」의 문자열을 표시하기 위한 표시 정보만을 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 「에 갈거야.」의 문자열을 제 1 곡선을 따라 디스플레이(32)의 표시 영역에 표시시키면, 미표시된 문자열의 선두의 위치에서, 문자열을 개행한다. 도 33의 예에서는, 「.」의 문자와 「1」의 문자 사이에서 개행하고 있다.
표시 처리부(18)는, 2개의 곡선 정보가 나타내는 곡선 중, 제 1 곡선이 아닌 쪽의 곡선(이하, 제 2 곡선이라고 칭함)을 따라, 「1개월만이야」의 문자열을 표시하기 위한 표시 정보를 생성한다.
표시 처리부(18)는, 생성한 표시 정보에 따라서, 「1개월만이야」의 문자열을 제 2 곡선을 따라 디스플레이(32)의 표시 영역에 표시시킨다.
이상의 실시형태 6은, 곡선 정보 취득부(9)가, 복수의 곡선 정보를 취득하고, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가, 1개의 곡선의 길이보다도 긴 경우에도, 유저가 소망하는 레이아웃으로, 문자열을 표시시킬 수 있다.
실시형태 7.
실시형태 6의 입력 표시 시스템에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열의 일부를 가상 영역에 배치하고 나서, 문자열을 개행하고 있다.
실시형태 7에서는, 표시 처리부(18)가, 문자열 취득부(10)에 의해 취득된 문자열의 일부를 가상 영역에 배치하지 않고, 문자열을 개행하는 입력 표시 시스템에 대해 설명한다.
도 35는, 유저가 복수의 선을 그리는 조작을 행하고 나서, 유저가 발화를 행함으로써, 표시 제어부(12)가, 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
도 35의 예에서는, 유저가, 우선 3개의 선을 그리는 조작을 행하고, 그 후, 「내일, 수영장에 갈거야. 1개월만이야. 기대됩니다」라고 발성한 경우를 나타내고 있다. 이때, 유저가 그린 곡선의 길이가 문자열의 길이보다도 짧기 때문에, 3행째에 「만이야.」밖에 표시되지 않고, 「기대됩니다」가 표시되어 있지 않다. 디스플레이(32)를 본 유저는, 「기대됩니다」의 표시가 없는 것을 알아차리고, 추가로 4개째의 선을 그리는 조작을 행한다. 그러면, 표시 제어부(12)는, 추가된 4개째의 곡선을 따라, 표시되어 있지 않았던 「기대됩니다」의 문자열을 표시한다. 도 35의 예에서는, 상기와 같이 하여, 표시 제어부(12)가, 4개의 곡선을 따라, 「내일, 수영장에 갈거야. 1개월만이야. 기대됩니다」를 나타내는 문자열을 표시시키고 있다.
도 36은, 유저가 발화를 행하고 나서, 유저가 복수의 선을 그리는 조작을 행함으로써, 표시 제어부(12)가, 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열을 표시시키고 있는 예를 나타내는 설명도이다.
도 36의 예에서는, 표시 제어부(12)가, 4개의 곡선을 따라, 「내일, 수영장에 갈거야. 1개월만이야. 기대됩니다」를 나타내는 문자열을 표시시키고 있다.
이상의 실시형태 7은, 곡선 정보 취득부(9)가, 복수의 곡선 정보를 취득하고, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 문자열 취득부(10)에 의해 취득된 문자열의 길이가, 1개의 곡선의 길이보다도 긴 경우에도, 유저가 소망하는 레이아웃으로, 문자열을 표시시킬 수 있다.
실시형태 8.
도 1 및 도 29에 나타내는 입력 표시 시스템에서는, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열 취득부(10)에 의해 취득된 문자열을 디스플레이(32)에 표시시키고 있다.
실시형태 8에서는, 문자열 취득부(10)에 의해 취득된 문자열을 번역하고, 문자열의 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시시키는 입력 표시 시스템에 대해 설명한다.
도 37은, 실시형태 8에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이고, 도 38은, 실시형태 8에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 37 및 도 38에 있어서, 도 1, 도 2 및 도 29와 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
번역부(52)는, 예를 들면, 도 38에 나타내는 번역 처리 회로(34)에 의해 실현된다. 번역부(52)는, 문자열 취득부(10)에 의해 취득된 문자열을 번역하고, 문자열의 번역 결과를 나타내는 문자열을 길이 비교부(13) 및 표시 처리부(53)의 각각에 출력한다.
표시 제어부(51)는, 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 번역부(52) 및 표시 처리부(53)을 포함하고 있다. 표시 제어부(51)는, 도 1 및 도 29에 나타내는 표시 제어부(12)와 마찬가지의 처리를 실시하는 것 외에, 번역부(52)로부터 출력된 번역 결과를 나타내는 문자열의 길이 이상의 길이를 갖는 번역 문자열 표시용의 곡선을 생성한다. 또, 표시 제어부(51)는, 번역 문자열 표시용의 곡선을 따라, 번역부(52)의 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 생성한 표시 정보에 따라서 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시시킨다.
표시 처리부(53)는, 예를 들면, 도 38에 나타내는 표시 처리 회로(31)에 의해 실현되는 것이고, 도 1에 나타내는 표시 처리부(18)와 마찬가지로, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 구비하고 있다.
도 37에 나타내는 표시 처리부(53)는, 문자열 선택부(18a), 가장자리 부가부(18b) 및 문자열 이동부(18c)를 구비하고 있다. 그러나, 이것은 일례에 지나지 않고, 표시 처리부(53)는, 도 29에 나타내는 표시 처리부(18)와 마찬가지로, 테이블 기억부(18d)를 구비하고 있어도 된다.
표시 처리부(53)는, 도 1 및 도 29에 나타내는 표시 처리부(18)와 상이하게, 번역부(52)로부터 출력된 번역 결과를 나타내는 문자열의 길이 이상의 길이를 갖는 번역 문자열 표시용의 곡선을 생성한다. 표시 처리부(53)는, 번역 문자열 표시용의 곡선을 따라, 번역부(52)로부터 출력된 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시시킨다.
도 37에서는, 입력 표시 시스템의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 문자열 인식부(5), 곡선 정보 취득부(9), 문자열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 번역부(52), 표시 처리부(53) 및 문자열 일시 보존부(19)의 각각이, 도 38에 나타내는 전용의 하드웨어에 의해 실현된다. 즉, 입력 표시 시스템이, 포인팅 디바이스(21), 기억 처리 회로(22), 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 마이크(25), 음성 인식 처리 회로(26), 입력 인터페이스 회로(27), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30), 표시 처리 회로(31), 디스플레이(32) 및 번역 처리 회로(34)에 의해 실현되는 것을 상정하고 있다.
그러나, 입력 표시 시스템은, 소프트웨어, 펌웨어, 또는, 소프트웨어와 펌웨어의 조합으로 실현되는 것이어도 된다.
입력 표시 시스템이, 소프트웨어 또는 펌웨어 등으로 실현되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자열 일시 보존부(19)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 더불어, 조작 접수부(1), 문자 관리부(3), 궤적 판별부(4), 음성 검출부(6), 음성 인식부(8) 및 표시 제어부(51)의 처리 순서를 컴퓨터로 하여금 실행하게 하기 위한 프로그램을 메모리(41)에 저장한다. 그리고, 도 3에 나타내는 프로세서(42)가, 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
다음에, 도 37에 나타내는 입력 표시 시스템의 동작에 대해 설명한다.
단, 번역부(52) 및 표시 처리부(53) 이외에는, 실시형태 1∼7 중 어느 하나의 입력 표시 시스템과 마찬가지이기 때문에, 여기에서는, 주로 번역부(52) 및 표시 처리부(53)의 처리 내용에 대해 설명한다.
번역부(52)는, 문자열 취득부(10)가 문자열 인식부(5)로부터 출력된 음성의 인식 결과를 나타내는 문자열을 취득하면, 취득한 문자열을 번역하고, 문자열의 번역 결과를 나타내는 문자열을 길이 비교부(13) 및 표시 처리부(53)의 각각에 출력한다.
음성의 인식 결과를 나타내는 문자열이 「여름 휴가에 바다에 갔었어」이면, 예를 들면, 문자열의 번역 결과를 나타내는 문자열은 「I went to the sea in summer vacation」와 같이 된다.
표시 처리부(53)는, 도 1 또는 도 29의 표시 처리부(18)와 마찬가지로, 문자열 인식부(5)에 의해 취득된 음성의 인식 결과를 나타내는 문자열을 곡선 정보 취득부(9)에 의해 취득된 곡선 화상 위에 겹쳐 표시시킨다.
또, 표시 처리부(53)는, 곡선 정보가 나타내는 곡선의 길이가 문자열의 길이보다 짧기 때문에, 문자열의 일부를 곡선을 따라 표시시킬 수 없으면, 도 1 또는 도 29의 표시 처리부(18)와 마찬가지로, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 문자열의 일부를 디스플레이(32)에 표시시킨다.
표시 처리부(53)는, 번역부(52)로부터 번역 결과를 나타내는 문자열을 받으면, 번역 결과를 나타내는 문자열의 길이 이상의 길이를 갖는 번역 문자열 표시용의 곡선을 생성한다.
이때, 번역 결과를 나타내는 문자열을 구성하는 문자의 문자폭을 나타내는 문자 속성 정보는, 문자 관리부(3)로부터 받는 것으로 한다.
예를 들면, 번역 결과를 나타내는 문자열이 「I went to the sea in summer vacation」인 경우, 문자수가 스페이스를 포함시켜 36이다. 따라서, 번역 결과를 나타내는 문자열을 구성하는 문자의 문자폭이 "2mm"인 것으로 하면, 번역 결과를 나타내는 문자열의 길이는, 하기의 식(5)에 나타내는 바와 같이, 72mm가 된다.
번역 결과를 나타내는 문자열의 길이=2mm×36=72mm (5)
따라서, 이 경우에는, 번역 문자열 표시용의 곡선의 길이는, 72mm 이상의 길이가 된다.
또, 번역 문자열 표시용의 곡선의 형상은, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선, 즉, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상과 동일한 형상으로 한다. 곡선 연장부(17)에 의해 곡선이 연장되어 있는 경우에는, 곡선 연장부(17)에 의해 연장된 곡선의 형상과 동일한 형상으로 한다.
예를 들면, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 형상이 원호 형상이면, 번역 문자열 표시용의 곡선의 형상도 원호 형상이다. 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 형상이 파선 형상이면, 번역 문자열 표시용의 곡선의 형상도 파선 형상이다.
한편, 곡선 연장부(17)에 의해 곡선이 연장되어 있고, 번역 문자열 표시용의 곡선의 길이가, 곡선 연장부(17)에 의해 연장된 곡선의 길이보다 긴 경우, 또는, 곡선 연장부(17)에 의해 곡선이 연장되어 있지 않고, 번역 문자열 표시용의 곡선의 길이가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이보다 긴 경우, 번역 문자열 표시용의 곡선을 연장하는 것으로 한다. 번역 문자열 표시용의 곡선의 연장은, 곡선 정보가 나타내는 곡선을 연장하는 경우와 마찬가지의 방법을 이용하는 것으로 한다. 구체적으로는, 번역 문자열 표시용의 곡선의 형상으로부터, 번역 문자열 표시용의 곡선의 연장 부분의 형상을 결정하여, 번역 문자열 표시용의 곡선을 연장하는 것으로 한다.
표시 처리부(53)는, 번역 문자열 표시용의 곡선을 생성하면, 번역 문자열 표시용의 곡선을 따라, 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 표시 정보에 따라서 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시시킨다.
여기에서, 도 39는, 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
스텝 A에서는, 표시 처리부(53)가, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 곡선 화상을 디스플레이(32)에 표시하고 있다.
스텝 B에 있어서, 음성 인식부(8)가, 유저의 음성의 인식 처리를 실시하면, 스텝 C에서는, 표시 처리부(53)가, 음성의 인식 결과를 나타내는 문자열을 곡선 화상 위에 겹쳐 표시시키고 있다. 스텝 A∼스텝 C까지는, 실시형태 1과 마찬가지이다. 단, 여기에서는, 음성 인식부(8)로부터 음성의 인식 결과를 나타내는 문자열이 출력되기 전에, 궤적 판별부(4)로부터 곡선 화상을 포함하는 곡선 정보가 출력된 경우의 예를 나타내고 있다.
스텝 D에서는, 표시 처리부(53)가, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선과 동일 형상의 번역 문자열 표시용의 곡선을 따라, 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시시키고 있다.
도 39의 예에서는, 표시 처리부(53)가, 번역 문자열 표시용의 곡선을, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 하측에 나열하고 있지만, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 상측에 나열해도 되고, 좌측이나 우측에 나열해도 된다.
스텝 E에서는, 표시 처리부(53)가, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 곡선 화상을 소거하고 있다.
실시형태 8의 입력 표시 시스템에서는, 표시 처리부(53)가, 번역 문자열 표시용의 곡선을 디스플레이(32)에 표시시키는 것을 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 번역 문자열 표시용의 곡선은, 투명해도 된다.
실시형태 8의 입력 표시 시스템에서는, 음성의 인식 결과를 나타내는 문자열과, 번역 결과를 나타내는 문자열을 나란히 표시시키는 것을 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 도 40에 나타내는 바와 같이, 표시 처리부(53)가, 스텝 C에서 음성의 인식 결과를 나타내는 문자열을 표시시킨 후, 스텝 D에서 음성의 인식 결과를 나타내는 문자열을 선두로부터 소거시키면서, 번역 결과를 나타내는 문자열을 선두로부터 곡선 화상 위에 겹쳐 표시시키도록 해도 된다. 이 경우, 최종적으로 표시되는 문자열은, 번역 결과를 나타내는 문자열만으로 된다.
도 40은, 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
실시형태 8의 입력 표시 시스템에서는, 도 41에 나타내는 바와 같이, 표시 처리부(53)가, 역 번역(back translation)의 결과를 나타내는 문자열을, 음성의 인식 결과를 나타내는 문자열 및 번역 결과를 나타내는 문자열과 나란히 표시시키도록 해도 된다. 도 41은, 번역 결과를 나타내는 문자열을 표시하는 예를 나타내는 설명도이다.
실시형태 8의 입력 표시 시스템에서는, 번역부(52)가, 일본어로부터 영어로 번역하고 있기 때문에, 이 경우의 역 번역은, 번역한 영어를 일본어로 다시 번역하는 것을 의미한다.
도 41의 예에서는, 스텝 D에 있어서, 표시 처리부(53)가, 음성의 인식 결과를 나타내는 문자열인 일본어 아래에, 번역 결과를 나타내는 문자열인 영어를 표시시키고, 그 영어 아래에, 역 번역을 나타내는 문자열인 일본어를 표시시키고 있다.
또, 도 42에 나타내는 바와 같이, 스텝 D에 있어서, 표시 처리부(53)가, 곡선 화상 위에 겹쳐 표시시킨 음성의 인식 결과를 나타내는 문자열인 일본어를 지우고 나서, 번역 결과를 나타내는 문자열인 영어를 곡선 화상 위에 겹쳐 표시시킨다. 그리고, 표시 처리부(53)가, 영어 아래에, 역 번역을 나타내는 문자열인 일본어를 표시시키도록 해도 된다. 도 42는, 번역 결과를 나타내는 문자열을 표시하는 예를 나타내는 설명도이다.
이상의 실시형태 8은, 문자열 취득부(10)에 의해 취득된 문자열을 번역하는 번역부(52)를 구비하고, 표시 처리부(53)가, 번역부(52)로부터 출력된 번역 결과를 나타내는 문자열의 길이 이상의 길이를 갖는 번역 문자열 표시용의 곡선을 생성하고, 번역 문자열 표시용의 곡선을 따라, 번역 결과를 나타내는 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하도록, 입력 표시 제어 장치(100)를 구성했다. 따라서, 입력 표시 제어 장치(100)는, 선을 그리는 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 길이가, 번역 결과를 나타내는 문자열보다 짧은 경우에도, 문자열의 전부를 곡선을 따라 표시시킬 수 있다.
실시형태 8의 입력 표시 시스템에서는, 표시 처리부(53)가, 음성의 인식 결과를 나타내는 문자열과, 번역 결과를 나타내는 문자열을 나란히 표시시키는 것을 나타내고 있다. 그러나, 이것은 일례에 지나지 않고, 표시 처리부(53)가, 도 43에 나타내는 바와 같이, 디스플레이(32)가 2화면으로 구성되어 있고, 또한, 2화면의 상면이 서로 접하고 있는 대면 구성의 경우, 표시 처리부(53)가, 이하와 같은 표시를 행하도록 해도 된다.
도 43은, 디스플레이(32)가 대면 2화면으로 구성되어 있는 경우의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
표시 처리부(53)는, 예를 들면, 도면 중, 대면 2화면의 하측의 화면에, 음성의 인식 결과를 나타내는 문자열을 표시시키고, 도면 중, 대면 2화면의 상측의 화면에, 번역 결과를 나타내는 문자열을 표시시킨다.
또는, 표시 처리부(53)는, 대면 2화면의 하측의 화면에, 번역 결과를 나타내는 문자열을 표시시키고, 대면 2화면의 상측의 화면에, 음성의 인식 결과를 나타내는 문자열을 표시시킨다.
단, 대면 2화면이기 때문에, 대면 2화면의 상측의 화면에서는, 문자가 180도 회전하고 있다.
또, 대면 2화면의 경우에도, 도 44에 나타내는 바와 같이, 표시 처리부(53)가, 역 번역의 결과를 나타내는 문자열을 표시시키도록 해도 된다. 도 44는, 번역 결과를 나타내는 문자열을 표시하는 예를 나타내는 설명도이다.
한편, 실시형태 8에 있어서도, 실시형태 1과 마찬가지로, 문자열 취득부(10)에 의해 취득된 문자열의 길이가 길기 때문에, 문자열 취득부(10)에 의해 취득된 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치하도록, 입력 표시 제어 장치(100)를 구성하도록 해도 된다.
또, 번역 결과를 나타내는 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우, 번역 결과를 나타내는 문자열의 일부를 가상 영역에 배치하도록 해도 된다. 이와 같이 함으로써, 번역 결과를 나타내는 문자열이 완전히 생성되지 않는 사태를 회피할 수 있다.
번역 결과를 나타내는 문자열을 가상 영역에 생성하는 경우에 있어서, 유저가 번역 결과를 나타내는 문자열을 선택한 경우, 실시형태 1과 마찬가지로, 문자열에 포함되어 있는 문자의 윤곽에, 당해 문자와 상이한 색의 가장자리를 부가하도록 해도 된다.
또한, 실시형태 1과 마찬가지로, 선택된 문자열의 이동을 접수하도록 해도 된다. 이와 같이 함으로써, 번역 결과를 나타내는 문자열의 전체를 완전히 표시하지 않는 사태를 회피할 수 있다.
또, 유저가, 문자열 취득부(10)에 의해 취득된 문자열 또는 번역 결과를 나타내는 문자열 중 어느 하나 또는 양쪽을 선택하여 이동시킨 경우, 취득된 문자열과 번역 결과를 나타내는 문자열을 함께 이동하도록 해도 된다. 이와 같이 함으로써, 이동시킨 후에, 문자가 떨어진 위치에 배치되어 버리는 것을 방지할 수 있다. 한편, 따로따로 이동시키도록 구성할 수도 있다.
또한, 역 번역에 대해서도, 상기와 마찬가지로, 표시 영역과 가상 영역에 걸쳐 생성함과 더불어, 유저에 의해 선택 가능하게 하고, 선택 후에 이동시킴으로써, 문자열의 전체를 표시시키도록 해도 된다.
실시형태 9.
도 1 및 도 29에 나타내는 입력 표시 시스템에서는, 문자열 인식부(5)가, 표시 대상의 문자열로서, 음성의 인식 결과를 나타내는 문자열을 취득하고 있다.
실시형태 9에서는, 문자열 인식부(60)가, 표시 대상의 문자열로서, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자의 인식 결과를 나타내는 문자열을 취득하는 입력 표시 시스템에 대해 설명한다.
도 45는, 실시형태 9에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이고, 도 46은, 실시형태 9에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 45 및 도 46에 있어서, 도 1 및 도 2와 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
문자열 인식부(60)는, 문자 인식 처리부(61)를 포함하고 있고, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자의 인식 결과를 나타내는 문자열을 표시 대상의 문자열로서, 궤적 판별부(4) 및 문자열 취득부(10)의 각각에 출력한다.
문자 인식 처리부(61)는, 예를 들면, 광학 문자 인식 처리인 OCR(Optical Character Recognition) 기능을 실장하고 있는 문자 인식 처리 회로(35)에 의해 실현된다. 문자 인식 처리부(61)는, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자를 인식하고, 문자의 인식 결과를 나타내는 문자열을 표시 대상의 문자열로서, 궤적 판별부(4) 및 문자열 취득부(10)의 각각에 출력한다.
도 45에서는, 입력 표시 시스템의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 문자열 인식부(60), 곡선 정보 취득부(9), 문자열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 표시 처리부(18) 및 문자열 일시 보존부(19)의 각각이, 도 46에 나타내는 전용의 하드웨어에 의해 실현된다. 즉, 입력 표시 시스템이, 포인팅 디바이스(21), 기억 처리 회로(22), 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 마이크(25), 음성 인식 처리 회로(26), 입력 인터페이스 회로(27), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30), 표시 처리 회로(31), 디스플레이(32) 및 문자 인식 처리 회로(35)에 의해 실현되는 것을 상정하고 있다.
그러나, 입력 표시 시스템은, 소프트웨어, 펌웨어, 또는, 소프트웨어와 펌웨어의 조합으로 실현되는 것이어도 된다.
입력 표시 시스템이, 소프트웨어 또는 펌웨어 등으로 실현되는 경우, 문자 관리 DB(2) 및 문자열 일시 보존부(19)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 더불어, 조작 접수부(1), 문자 관리부(3), 궤적 판별부(4), 문자 인식 처리부(61) 및 표시 제어부(12)의 처리 순서를 컴퓨터로 하여금 실행하게 하기 위한 프로그램을 메모리(41)에 저장한다. 그리고, 도 3에 나타내는 프로세서(42)가, 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 47은, 문자의 인식 결과를 나타내는 문자열의 표시 처리의 일례를 나타내는 설명도이다.
다음에, 도 45에 나타내는 입력 표시 시스템의 동작에 대해 설명한다.
도 45에 나타내는 입력 표시 시스템에서는, 조작 접수부(1)를 실현하고 있는 포인팅 디바이스(21)가 터치 패널인 것을 상정하고 있다. 따라서, 유저가 자기의 손가락 또는 터치 패널용의 입력 펜 등을 이용하여, 선을 그리는 조작으로서, 문자를 그리는 조작을 터치 패널에 행하면, 조작 접수부(1)가, 문자를 그리는 조작을 접수하고, 조작의 내용을 궤적 판별부(4) 및 문자열 인식부(60)의 각각에 출력한다.
출력되는 문자를 그리는 조작의 내용은, 예를 들면, 터치 패널에 접촉하고 있는 손가락의 위치 또는 입력 펜의 위치의 좌표로서, 터치 패널 상의 위치 좌표의 연속적인 변화를 나타내는 시계열 데이터이다.
도 47의 예에서는, 스텝 A에 있어서, 유저가 「나는 일식을 먹고 싶습니다」라는 문자열을 수기하고 있다.
문자열 인식부(60)의 문자 인식 처리부(61)는, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 복수의 문자를 인식하고, 복수의 문자의 인식 결과를 나타내는 문자열을 취득하고, 취득한 문자열을 궤적 판별부(4) 및 입력 표시 제어 장치(100)의 각각에 출력한다.
궤적 판별부(4)는, 조작 접수부(1)로부터 1개 이상의 문자를 그리는 조작의 내용을 받고, 문자 인식 처리부(61)로부터 문자열을 받으면, 1개 이상의 문자를 그리는 조작의 내용을, 문자마다 분배하는 처리를 실시한다.
구체적으로는, 이하와 같다.
우선, 궤적 판별부(4)는, 문자를 그리는 조작의 내용인 시계열 데이터가 나타내는 터치 패널 상의 각각의 위치 좌표 중, X 좌표가 가장 작은 좌표 XLEFT와, X 좌표가 가장 큰 좌표 XRIGHT를 특정한다. 궤적 판별부(4)는, 특정한 좌표 XRIGHT로부터 좌표 XLEFT를 감산함으로써, 문자열의 X 방향의 길이를 산출한다.
그리고, 궤적 판별부(4)는, 문자열의 X 방향의 길이를 문자수로 제산(除算)함으로써, 1문자당 X 방향의 길이를 산출하고, 또, 1문자당 X 방향의 길이와 좌표 XLEFT로부터, 각각의 문자가 존재하고 있는 X 방향의 좌표 범위를 산출한다. 예를 들면, 문자열의 좌단으로부터 n번째의 문자가 존재하고 있는 X 방향의 좌표 범위는, (1문자당 X 방향의 길이×(n-1)+XLEFT)∼(1문자당 X 방향의 길이×n+XLEFT)와 같이 산출한다.
궤적 판별부(4)는, 시계열 데이터가 나타내는 각각의 위치 좌표가 포함되는 X 방향의 좌표 범위를 발견하여, 시계열 데이터가 나타내는 각각의 위치 좌표에 대응하는 X 방향의 좌표 범위에 분배함으로써, 1개 이상의 문자를 그리는 조작의 내용을, 문자마다 분배하도록 한다.
다음에, 궤적 판별부(4)는, X 방향의 좌표 범위 단위로, 당해 좌표 범위에 대응하는 문자의 중심 좌표로서, 당해 좌표 범위에 포함되어 있는 시계열 데이터가 나타내는 복수의 위치 좌표의 X 좌표의 평균값과 Y 좌표의 평균값을 산출한다.
궤적 판별부(4)는, 문자열에 포함되어 있는 각각의 문자의 중심 좌표를 산출하면, 도 47의 스텝 B에 나타내는 바와 같이, 각각의 문자의 중심 좌표를 연결함으로써 1개의 선을 생성하고, 1개의 선을 문자열의 궤적을 나타내는 곡선으로서, 곡선을 나타내는 곡선 정보를 입력 표시 제어 장치(100)에 출력한다.
여기에서는, 문자열에 포함되어 있는 각각의 문자의 크기가 균등한 것으로 하여, 문자열의 X 방향의 길이를 문자수로 제산함으로써, 1문자당 X 방향의 길이를 산출하고 있다. 수기 문자(handwritten character)의 경우, 각각의 문자의 크기가 균등하다고는 할 수 없기 때문에, X 방향의 좌표 범위 단위가, 문자열에 포함되어 있는 각각의 문자와 일치하지 않는 경우가 있다.
그러나, 도 45에 나타내는 입력 표시 시스템에서는, 각각의 문자의 중심 좌표를 엄밀하게 알 수 없어도, 문자열이 존재하고 있는 영역을 X 방향으로 분할한 각각의 영역의 중심 좌표를 알 수 있으면, 문자열의 나열 방향을 나타내는 곡선을 구할 수 있다. 따라서, 각각의 문자의 크기가 균등하지 않은 경우에도, 상기의 방법으로, 곡선을 구할 수 있다.
또, 여기에서는, 궤적 판별부(4)가, 문자열의 나열 방향을 나타내는 곡선을 구할 때, X 방향의 좌표 범위 단위로, 시계열 데이터가 나타내는 각각의 위치 좌표를 분배하도록 하고 있지만, 예를 들면, 수기 문자가 세로쓰기인 경우에는, Y 방향의 좌표 범위 단위로, 시계열 데이터가 나타내는 각각의 위치 좌표를 분배하도록 해도 된다.
여기에서 설명하고 있는 각각의 위치 좌표를 분배하는 방법은 일례에 지나지 않고, 다른 방법을 이용해도 되는 것은 말할 필요도 없다.
도 45에 나타내는 입력 표시 시스템에서는, 문자를 그리는 조작 내용으로부터 곡선을 구하고 있다. 그러나, 이것은 일례에 지나지 않고, 유저가, 문자를 그리는 조작과는 별도로, 실시형태 1에서 나타내고 있는 선을 그리는 조작을 행함으로써, 조작 접수부(1)에 의해 문자를 그리는 조작 및 선을 그리는 조작이 접수된 경우, 궤적 판별부(4)가, 조작 접수부(1)에 의해 접수된 선을 그리는 조작의 내용으로부터, 그려진 선의 궤적을 나타내는 곡선을 판별하도록 해도 된다.
표시 처리부(18)는, 문자열 취득부(10)가 문자열 인식부(60)의 문자 인식 처리부(61)로부터 출력된 문자열을 취득하면, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성한다. 표시 처리부(18)는, 생성한 표시 정보에 따라서, 문자열을 디스플레이(32)에 표시시킨다.
도 47의 스텝 C에서는, 표시 처리부(18)가, 수기 문자에 나열하도록 궤적을 나타내는 곡선을 그리고, 문자열을 표시시키고 있다. 그러나, 이것에 한정하는 것은 아니고, 표시 처리부(18)가, 예를 들면, 수기 문자를 소거시키고 나서, 수기 문자의 위치에 곡선을 그리고, 문자열을 표시시키도록 해도 된다.
또, 궤적을 나타내는 곡선은, 투명해도 된다.
도 45에 나타내는 입력 표시 시스템에서는, 궤적 판별부(4)가, 문자를 그리는 조작 내용으로부터 곡선을 구할 수 있다. 그러나, 인식된 문자열은, 실시형태 1과 마찬가지로, 미리 결정된 속성의 문자로 표시되게 된다. 따라서, 표시 처리부(18)는, 구한 곡선의 길이가, 문자열의 길이보다 짧은 경우, 실시형태 1과 마찬가지로, 문자열에 포함되어 있는 문자의 일부를 곡선을 따라 표시시킬 수 없다.
이 경우는, 실시형태 1과 마찬가지로, 곡선 연장부(17)가, 곡선을 연장함으로써, 표시 처리부(18)가, 표시되어 있지 않은 문자의 일부를 표시시키도록 한다.
구체적으로는, 길이 비교부(13)가, 곡선의 길이와 문자열의 길이를 비교하고, 연장 곡선 형상 결정부(14)가, 연장 곡선의 형상을 결정하여, 곡선 연장부(17)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선으로 연장 곡선을 부가함으로써, 곡선을 연장한다. 그리고, 표시 처리부(18)가, 연장 곡선을 따라, 표시되어 있지 않은 문자의 일부를 표시시킨다.
이상의 실시형태 9는, 문자열 인식부(60)가, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자를 인식하고, 문자의 인식 결과를 나타내는 문자열을 표시 대상의 문자열로서 취득하는 문자 인식 처리부(61)를 구비하도록, 입력 표시 시스템을 구성했다. 따라서, 입력 표시 시스템은, 수기 문자를 표시하는 경우에도, 실시형태 1과 마찬가지로, 문자열의 전체를 표시할 수 없는 사태를 회피할 수 있다.
한편, 실시형태 9에 있어서도, 실시형태 1과 마찬가지로, 인식 결과를 나타내는 문자열의 길이가 길기 때문에, 당해 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치하도록, 입력 표시 제어 장치(100)를 구성하도록 해도 된다.
또, 인식 결과를 나타내는 문자열을 가상 영역에 배치하는 경우에 있어서, 유저가 당해 문자열을 선택한 경우, 실시형태 1과 마찬가지로, 문자열에 포함되어 있는 문자의 윤곽에, 당해 문자와 상이한 색의 가장자리를 부가하도록 해도 된다.
또한, 선택된 문자열의 이동을 접수하도록 해도 된다. 이와 같이 함으로써, 인식 결과를 나타내는 문자열의 전체를 완전히 생성하지 않는 사태를 회피할 수 있다.
또, 유저가, 수기의 문자열 또는 인식 결과를 나타내는 문자열 중 어느 하나 또는 양쪽을 선택하여 이동시킨 경우, 수기의 문자열과 인식 결과를 나타내는 문자열을 함께 이동하도록 해도 된다. 이와 같이 함으로써, 이동시킨 후에, 문자가 떨어진 위치에 배치되어 버리는 것을 방지할 수 있다. 한편, 따로따로 이동시키도록 구성할 수도 있다.
실시형태 10.
도 45에 나타내는 입력 표시 시스템에서는, 문자 인식 처리부(61)를 구비한 문자열 인식부(60)를 도 1에 나타내는 입력 표시 제어 장치에 적용하는 예를 나타내고 있다.
실시형태 10에서는, 문자 인식 처리부(61)를 구비한 문자열 인식부(60)를 도 37에 나타내는 입력 표시 제어 장치에 적용하고 있는 입력 표시 시스템에 대해 설명한다.
도 48은, 실시형태 10에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 49는, 번역 결과를 나타내는 문자열의 표시 처리의 일례를 나타내는 설명도이다.
도 45에 나타내는 입력 표시 시스템에서는, 표시 처리부(18)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 복수의 문자의 인식 결과를 나타내는 문자열을 디스플레이(32)에 표시시키고 있다.
한편, 도 48에 나타내는 입력 표시 시스템에서는, 표시 처리부(53)가, 도 49의 스텝 C에 나타내는 바와 같이, 곡선 정보가 나타내는 곡선을 따라, 번역 결과를 나타내는 문자열도 디스플레이(32)에 표시시키고 있는 점에서, 도 45에 나타내는 입력 표시 시스템과 상위하다.
이상의 실시형태 10은, 실시형태 8과 마찬가지로, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가, 번역부(52)의 번역 결과를 나타내는 문자열보다 짧은 경우에도, 표시 처리부(53)가, 문자열의 전부를 곡선을 따라 표시시킬 수 있다.
한편, 실시형태 10에 있어서도, 실시형태 1과 마찬가지로, 번역 결과를 나타내는 문자열의 길이가 길기 때문에, 당해 문자열의 일부가 디스플레이(32)의 표시 영역으로부터 비어져 나와 버리는 경우, 문자열의 일부를 표시 영역의 주위의 영역인 가상 영역에 배치하도록, 입력 표시 제어 장치(100)를 구성하도록 해도 된다.
또, 번역 결과를 나타내는 문자열을 가상 영역에 배치하는 경우에 있어서, 유저가 당해 문자열을 나타내는 문자열을 선택한 경우, 실시형태 1과 마찬가지로, 문자열에 포함되어 있는 문자의 윤곽에, 당해 문자와 상이한 색의 가장자리를 부가하도록 해도 된다.
또한, 선택된 문자열의 이동을 접수하도록 해도 된다. 이와 같이 함으로써, 번역 결과를 나타내는 문자열의 전체를 완전히 생성하지 않는 사태를 회피할 수 있다.
또, 유저가, 수기의 문자열 또는 번역 결과를 나타내는 문자열 중 어느 하나 또는 양쪽을 선택하여 이동시킨 경우, 수기의 문자열과 번역 결과를 나타내는 문자열을 함께 이동하도록 해도 된다. 이와 같이 함으로써, 이동시킨 후에, 문자가 떨어진 위치에 배치되어 버리는 것을 방지할 수 있다. 한편, 따로따로 이동시키도록 구성할 수도 있다.
한편, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시형태의 자유로운 조합 혹은 각 실시형태의 임의의 구성 요소의 변형, 혹은 각 실시형태에 있어서 임의의 구성 요소의 생략이 가능하다.
이 발명에 따른 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템은, 문자열을 표시시키는 용도에 적합하다.
1: 조작 접수부, 2: 문자 관리 DB, 3: 문자 관리부, 4: 궤적 판별부, 5: 문자열 인식부, 6: 음성 검출부, 7: 음성 인식 사전 DB, 8: 음성 인식부, 9: 곡선 정보 취득부, 10: 문자열 취득부, 11: 문자 속성 정보 취득부, 12: 표시 제어부, 13: 길이 비교부, 14: 연장 곡선 형상 결정부, 15: 곡선 기억부, 16: 형상 결정 처리부, 17: 곡선 연장부, 18: 표시 처리부, 18a: 문자열 선택부, 18b: 가장자리 부가부, 18c: 문자열 이동부, 18d: 테이블 기억부, 19: 문자열 일시 보존부, 21: 포인팅 디바이스, 22: 기억 처리 회로, 23: 문자 관리 처리 회로, 24: 화상 생성 처리 회로, 25: 마이크, 26: 음성 인식 처리 회로, 27: 입력 인터페이스 회로, 28: 길이 비교 처리 회로, 29: 형상 결정 처리 회로, 30: 곡선 연장 처리 회로, 31: 표시 처리 회로, 32: 디스플레이, 34: 번역 처리 회로, 35: 문자 인식 처리 회로, 41: 메모리, 42: 프로세서, 51: 표시 제어부, 52: 번역부, 53: 표시 처리부, 60: 문자열 인식부, 61: 문자 인식 처리부, 100: 입력 표시 제어 장치.

Claims (10)

  1. 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    문자열을 취득하는 문자열 취득부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 상기 문자열 취득부에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 표시 제어부를 구비하고,
    상기 표시 제어부는,
    상기 문자열 취득부에 의해 취득된 문자열의 길이에 비해, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧다고 판단한 경우, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선에 근거하여 당해 곡선의 연장 부분의 형상을 결정하여 당해 곡선을 연장하고,
    당해 곡선이 디스플레이의 표시 영역의 끝에 도달한 경우, 당해 곡선의 길이와 상기 문자열 취득부에 의해 취득된 문자열의 길이를 비교하고,
    당해 곡선의 길이에 비해, 상기 문자열 취득부에 의해 취득된 문자열의 길이가 길기 때문에, 상기 문자열 취득부에 의해 취득된 문자열의 일부가 상기 디스플레이의 표시 영역으로부터 비어져 나와 버린다고 판단한 경우, 상기 표시 영역의 주위의 영역인 가상 영역까지 당해 곡선을 더 연장하고,
    당해 곡선을 따라 상기 문자열의 일부를 상기 표시 영역의 주위의 영역인 가상 영역에 배치하고,
    상기 가상 영역에 배치된 상기 문자열을 개행(改行)함으로써, 상기 가상 영역에 배치한 문자열의 일부를 상기 표시 영역에 표시하고,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선과 동일 형상의 곡선을 생성하고, 상기 생성된 곡선을 따라, 개행된 상기 문자열의 일부를 표시하기 위한 상기 표시 정보를 생성하는 것을 특징으로 하는 입력 표시 제어 장치.
  2. 제 1 항에 있어서,
    상기 표시 제어부는, 일부가 상기 가상 영역에 배치되어 있는 문자열의 선택을 접수하는 문자열 선택부를 구비하고 있는 것을 특징으로 하는 입력 표시 제어 장치.
  3. 제 2 항에 있어서,
    상기 문자열 선택부는, 일부가 상기 가상 영역에 배치되어 있는 문자열에 포함되어 있는 문자 중, 상기 표시 영역 내의 문자에 대한 유저의 접촉 시간이 임계값보다도 길면, 당해 문자열의 선택을 접수하는 것을 특징으로 하는 입력 표시 제어 장치.
  4. 제 2 항에 있어서,
    상기 표시 제어부는, 상기 문자열 선택부에 의해 선택이 접수된 문자열에 포함되어 있는 문자의 윤곽에, 상기 문자와 상이한 색의 가장자리를 부가하는 가장자리 부가부를 구비하고 있는 것을 특징으로 하는 입력 표시 제어 장치.
  5. 제 2 항에 있어서,
    상기 표시 제어부는, 상기 문자열 선택부에 의해 선택이 접수된 문자열의 이동을 접수하는 문자열 이동부를 구비하고 있는 것을 특징으로 하는 입력 표시 제어 장치.
  6. 제 5 항에 있어서,
    상기 표시 제어부는, 상기 문자열 이동부에 의해, 상기 문자열 선택부에 의해 선택이 접수된 문자열의 전체를 상기 표시 영역에 배치하기 위한 이동이 접수되면, 당해 문자열의 전체를 상기 표시 영역에 표시하기 위한 표시 정보를 생성하는 것을 특징으로 하는 입력 표시 제어 장치.
  7. 제 5 항에 있어서,
    상기 표시 제어부는, 상기 문자열 이동부에 의해, 상기 문자열 선택부에 의해 선택이 접수된 문자열의 전체를 상기 표시 영역의 외측으로 내보내기 위한 이동이 접수되면, 당해 문자열을 파기하는 것을 특징으로 하는 입력 표시 제어 장치.
  8. 제 1 항에 있어서,
    상기 곡선 정보 취득부는, 복수의 곡선 정보를 취득하고,
    상기 표시 제어부는, 상기 곡선 정보 취득부에 의해 취득된 복수의 곡선 정보가 나타내는 각각의 곡선을 따라, 상기 문자열 취득부에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 것을 특징으로 하는 입력 표시 제어 장치.
  9. 곡선 정보 취득부가, 곡선을 나타내는 곡선 정보를 취득하고,
    문자열 취득부가, 문자열을 취득하고,
    표시 제어부가, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 상기 문자열 취득부에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 처리를 실시하고,
    상기 표시 제어부에서는,
    상기 문자열 취득부에 의해 취득된 문자열의 길이에 비해, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧다고 판단한 경우, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선에 근거하여 당해 곡선의 연장 부분의 형상을 결정하여 당해 곡선을 연장하고,
    당해 곡선이 디스플레이의 표시 영역의 끝에 도달한 경우, 당해 곡선의 길이와 상기 문자열 취득부에 의해 취득된 문자열의 길이를 비교하고,
    당해 곡선의 길이에 비해, 상기 문자열 취득부에 의해 취득된 문자열의 길이가 길기 때문에, 상기 문자열 취득부에 의해 취득된 문자열의 일부가 상기 디스플레이의 표시 영역으로부터 비어져 나와 버린다고 판단한 경우, 상기 표시 영역의 주위의 영역인 가상 영역까지 당해 곡선을 더 연장하고,
    당해 곡선을 따라 상기 문자열의 일부를 상기 표시 영역의 주위의 영역인 가상 영역에 배치하고,
    상기 가상 영역에 배치된 상기 문자열을 개행(改行)함으로써, 상기 가상 영역에 배치한 문자열의 일부를 상기 표시 영역에 표시하고,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선과 동일 형상의 곡선을 생성하고, 상기 생성된 곡선을 따라, 개행된 상기 문자열의 일부를 표시하기 위한 상기 표시 정보를 생성하는 것을 특징으로 하는 입력 표시 제어 방법.
  10. 선을 그리는 조작을 접수하는 조작 접수부와,
    상기 조작 접수부에 의해 접수된 조작에 의해 그려진 선의 궤적을 판별하는 궤적 판별부와,
    표시 대상의 문자열을 인식하는 문자열 인식부와,
    상기 궤적 판별부에 의해 판별된 궤적을 나타내는 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    상기 문자열 인식부에 의해 인식된 문자열을 취득하는 문자열 취득부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 상기 문자열 취득부에 의해 취득된 문자열을 표시하기 위한 표시 정보를 생성하는 표시 제어부를 구비하고,
    상기 표시 제어부는,
    상기 문자열 취득부에 의해 취득된 문자열의 길이에 비해, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧다고 판단한 경우, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선에 근거하여 당해 곡선의 연장 부분의 형상을 결정하여 당해 곡선을 연장하고,
    당해 곡선이 디스플레이의 표시 영역의 끝에 도달한 경우, 당해 곡선의 길이와 상기 문자열 취득부에 의해 취득된 문자열의 길이를 비교하고,
    당해 곡선의 길이에 비해, 상기 문자열 취득부에 의해 취득된 문자열의 길이가 길기 때문에, 상기 문자열 취득부에 의해 취득된 문자열의 일부가 상기 디스플레이의 표시 영역으로부터 비어져 나와 버린다고 판단한 경우, 상기 표시 영역의 주위의 영역인 가상 영역까지 당해 곡선을 더 연장하고,
    당해 곡선을 따라 상기 문자열의 일부를 상기 표시 영역의 주위의 영역인 가상 영역에 배치하고,
    상기 가상 영역에 배치된 상기 문자열을 개행(改行)함으로써, 상기 가상 영역에 배치한 문자열의 일부를 상기 표시 영역에 표시하고,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선과 동일 형상의 곡선을 생성하고, 상기 생성된 곡선을 따라, 개행된 상기 문자열의 일부를 표시하기 위한 상기 표시 정보를 생성하는 것을 특징으로 하는 입력 표시 시스템.
KR1020227007250A 2018-12-07 2018-12-07 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템 KR102603900B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020217016505A KR102413747B1 (ko) 2018-12-07 2018-12-07 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템
PCT/JP2018/045156 WO2020115907A1 (ja) 2018-12-07 2018-12-07 入力表示制御装置、入力表示制御方法及び入力表示システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217016505A Division KR102413747B1 (ko) 2018-12-07 2018-12-07 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템

Publications (2)

Publication Number Publication Date
KR20220031770A true KR20220031770A (ko) 2022-03-11
KR102603900B1 KR102603900B1 (ko) 2023-11-17

Family

ID=69320979

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227007250A KR102603900B1 (ko) 2018-12-07 2018-12-07 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템
KR1020217016505A KR102413747B1 (ko) 2018-12-07 2018-12-07 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217016505A KR102413747B1 (ko) 2018-12-07 2018-12-07 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템

Country Status (6)

Country Link
US (1) US11393230B2 (ko)
EP (1) EP3879390B1 (ko)
JP (1) JP6641530B1 (ko)
KR (2) KR102603900B1 (ko)
CN (1) CN113168271A (ko)
WO (1) WO2020115907A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107281A1 (ja) * 2020-11-19 2022-05-27 三菱電機株式会社 入力表示制御装置、入力表示制御方法および入力表示システム
US20230377223A1 (en) * 2022-05-18 2023-11-23 Snap Inc. Hand-tracked text selection and modification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009546A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140074725A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법
WO2014175395A1 (ja) * 2013-04-26 2014-10-30 京セラ株式会社 装置、方法、及びプログラム
WO2017138076A1 (ja) 2016-02-08 2017-08-17 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3402683B2 (ja) 1993-09-09 2003-05-06 株式会社東芝 ウィンドウ表示方法
JPH07320087A (ja) * 1994-05-30 1995-12-08 Hitachi Ltd ３次元コンピュータグラフィックスの表示制御方法と３次元コンピュータグラフィックスシステム
JP3138390B2 (ja) * 1994-08-08 2001-02-26 シャープ株式会社 図形描画装置
US6539117B2 (en) * 1999-04-12 2003-03-25 Hewlett-Packard Company System and method for rendering image based data
JP2001117694A (ja) 1999-10-21 2001-04-27 Casio Comput Co Ltd 携帯情報端末装置、及びタッチパネル入力用装置
JP2005038263A (ja) * 2003-07-16 2005-02-10 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム
JP4712675B2 (ja) * 2005-06-10 2011-06-29 株式会社メイクソフトウェア 画像編集装置、画像編集方法、画像編集プログラム及び自動写真撮影装置
JP2007304480A (ja) * 2006-05-15 2007-11-22 Softbank Bb Corp キャラクタ表示装置及びキャラクタ表示方法
KR101354906B1 (ko) * 2007-05-23 2014-01-22 삼성전자주식회사 입력장치 및 이를 갖는 전자장치
JP5123588B2 (ja) 2007-07-17 2013-01-23 キヤノン株式会社 表示制御装置および表示制御方法
CN101158940B (zh) * 2007-11-21 2010-06-23 金蝶软件（中国）有限公司 在目标区域内缩小字符填充的方法及装置
JP2009205304A (ja) * 2008-02-26 2009-09-10 Ntt Docomo Inc タッチパネルの制御装置、制御方法およびコンピュータプログラム
US20100145676A1 (en) * 2008-12-09 2010-06-10 Qualcomm Incorporated Method and apparatus for adjusting the length of text strings to fit display sizes
KR101387270B1 (ko) * 2009-07-14 2014-04-18 주식회사 팬택 터치 궤적에 따라 메뉴 정보를 표시하는 이동 단말기
JP2013047859A (ja) * 2009-12-25 2013-03-07 Konica Minolta Holdings Inc 認証装置および認証方法
JP2013020444A (ja) * 2011-07-11 2013-01-31 Hitachi Aloka Medical Ltd 画像処理装置
JP2013084101A (ja) * 2011-10-07 2013-05-09 Panasonic Corp 文字入力装置、文字入力方法、および文字入力プログラム
JP5838185B2 (ja) * 2013-07-16 2016-01-06 アンデックス株式会社 画像通信プログラム、画像通信方法、および電子機器
JP6201488B2 (ja) * 2013-07-29 2017-09-27 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
JP6213481B2 (ja) * 2015-01-07 2017-10-18 コニカミノルタ株式会社 操作表示装置
JP2016206603A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像処理プログラム
EP3306452B1 (en) * 2015-05-28 2022-04-20 Mitsubishi Electric Corporation Input display device and input display method
JP6696737B2 (ja) * 2015-06-26 2020-05-20 シャープ株式会社 コンテンツ表示装置及びプログラム
JP6716519B2 (ja) 2017-10-05 2020-07-01 シャープ株式会社 表示装置及び表示方法
JP6458889B2 (ja) 2018-02-07 2019-01-30 富士通株式会社 表示制御プログラム及び表示制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009546A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140074725A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법
WO2014175395A1 (ja) * 2013-04-26 2014-10-30 京セラ株式会社 装置、方法、及びプログラム
WO2017138076A1 (ja) 2016-02-08 2017-08-17 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム

Also Published As

Publication number Publication date
EP3879390A1 (en) 2021-09-15
EP3879390A4 (en) 2022-01-05
JPWO2020115907A1 (ja) 2021-02-15
CN113168271A (zh) 2021-07-23
KR20210073591A (ko) 2021-06-18
KR102413747B1 (ko) 2022-06-27
KR102603900B1 (ko) 2023-11-17
EP3879390B1 (en) 2023-07-26
WO2020115907A1 (ja) 2020-06-11
JP6641530B1 (ja) 2020-02-05
US11393230B2 (en) 2022-07-19
US20210248407A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
JP6355823B2 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
JP6987067B2 (ja) 複数の入力管理のためのシステムおよび方法
KR102284238B1 (ko) 입력 표시 장치, 입력 표시 방법, 및 프로그램
KR102413747B1 (ko) 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템
CN106537489A (zh) 用于识别包括单词序列的语音的方法和系统
JP6727279B2 (ja) 表示制御装置、入力表示システム、表示制御方法及びプログラム
EP3879391B1 (en) Input display control device, input display control method, and input display system
JP6448838B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6463442B2 (ja) 入力表示装置、入力表示方法及び入力表示プログラム
JP6675472B2 (ja) 入力表示装置
JPH0773172A (ja) データ加工方法、文字認識方法及び座標入力装置
JPH1040337A (ja) 手書き認識方法及び文書作成装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant