KR20190099347A - 입력 표시 장치, 입력 표시 방법, 및 프로그램 - Google Patents

입력 표시 장치, 입력 표시 방법, 및 프로그램 Download PDF

Info

Publication number
KR20190099347A
KR20190099347A KR1020197023932A KR20197023932A KR20190099347A KR 20190099347 A KR20190099347 A KR 20190099347A KR 1020197023932 A KR1020197023932 A KR 1020197023932A KR 20197023932 A KR20197023932 A KR 20197023932A KR 20190099347 A KR20190099347 A KR 20190099347A
Authority
KR
South Korea
Prior art keywords
trajectory
unit
image
character string
input
Prior art date
Application number
KR1020197023932A
Other languages
English (en)
Other versions
KR102284238B1 (ko
Inventor
마사토 히라이
아키코 이마이시
요시미치 우메키
츠토무 마츠바라
나오키 츠루
다카히로 야마구치
다카노리 히키마
다카시 야마우치
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Priority to KR1020207027668A priority Critical patent/KR102295131B1/ko
Publication of KR20190099347A publication Critical patent/KR20190099347A/ko
Application granted granted Critical
Publication of KR102284238B1 publication Critical patent/KR102284238B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30—Control of display attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/40—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which both a pattern determined by character code and another pattern are displayed simultaneously, or either pattern is displayed selectively, e.g. with character code memory and APA, i.e. all-points-addressable, memory
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G09G5/26—Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Abstract

궤적의 입력을 접수하는 접수부(1)와, 접수부(1)에 의해 접수된 그 궤적을 나타내는 궤적 화상을 생성하는 궤적 화상 생성부(4)와, 문자열을 취득하는 문자열 취득부(5)를 마련하고, 표시 제어부(9)가, 문자열 취득부(5)에 의해 취득된 문자열을 궤적 화상에 겹쳐 표시하고, 궤적의 입력을 접수하기 전에 상기 문자열 취득부가 문자열을 취득하면, 문자열의 표시를 대기한다.

Description

입력 표시 장치, 입력 표시 방법, 및 프로그램{INPUT DISPLAY DEVICE, INPUT DISPLAY METHOD, AND PROGRAM}
본 발명은, 음성의 인식 결과를 나타내는 문자열을 디스플레이에 표시하는 입력 표시 장치 및 입력 표시 방법에 관한 것이다.
이하의 특허 문헌 1에는, 음성의 인식 결과를 나타내는 문자열을 디스플레이에 표시하는 입력 표시 장치가 개시되어 있다.
이 입력 표시 장치에서는, 유저가 펜 형태의 입력기를 이용하여, 선을 그리는 조작을 행하면, 그 선의 시점과 종점을 검지하고, 그 시점과 종점을 연결하는 직선을 디스플레이에 묘화한다.
그 후, 유저가 마이크를 이용하여, 음성을 입력하면, 그 음성의 인식 처리를 실시하여, 그 음성의 인식 결과를 나타내는 문자열을 묘화가 끝난 직선에 따르도록 표시한다.
(선행 기술 문헌)
(특허 문헌)
(특허 문헌 1) 일본 특허 공개 2012-88969호 공보(도 2, 도 3, 도 6)
종래의 입력 표시 장치는 이상과 같이 구성되어 있으므로, 유저가 펜 형태의 입력기를 이용하여, 선을 그리는 조작을 행하면, 그 선의 시점과 종점을 연결하는 직선이 디스플레이에 묘화된다. 따라서, 유저가 마이크를 이용하여, 음성을 입력하기 전에, 음성의 인식 결과를 나타내는 문자열이 표시되는 위치를 사전에 파악할 수 있다. 그러나, 디스플레이에 묘화되는 선은, 시점과 종점을 연결하는 직선으로 한정되기 때문에, 유저의 자유로운 레이아웃으로, 음성의 인식 결과를 나타내는 문자열을 표시할 수 없다고 하는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 유저의 자유로운 레이아웃으로, 음성의 인식 결과를 나타내는 문자열을 표시할 수 있는 입력 표시 장치 및 입력 표시 방법을 얻는 것을 목적으로 한다.
본 발명과 관련되는 입력 표시 장치는, 궤적의 입력을 접수하는 접수부와, 접수부에 의해 접수된 그 궤적을 나타내는 궤적 화상을 생성하는 궤적 화상 생성부와, 문자열을 취득하는 문자열 취득부를 마련하고, 표시 제어부가, 문자열 취득부에 의해 취득된 문자열을 궤적 화상에 겹쳐 표시하고, 상기 궤적의 입력을 접수하기 전에 상기 문자열 취득부가 문자열을 취득하면, 상기 문자열의 표시를 대기하도록 한 것이다.
본 발명에 의하면, 궤적의 입력을 접수하는 접수부와, 접수부에 의해 접수된 그 궤적을 나타내는 궤적 화상을 생성하는 궤적 화상 생성부와, 문자열을 취득하는 문자열 취득부를 마련하고, 표시 제어부가, 문자열 취득부에 의해 취득된 문자열을 궤적 화상에 겹쳐 표시하고, 상기 궤적의 입력을 접수하기 전에 상기 문자열 취득부가 문자열을 취득하면, 상기 문자열의 표시를 대기하도록 구성했으므로, 유저의 자유로운 레이아웃으로, 음성의 인식 결과를 나타내는 문자열을 표시할 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 의한 입력 표시 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 3은 입력 표시 장치가 컴퓨터로 구성되는 경우의 하드웨어 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다(플로차트 1).
도 5는 본 발명의 실시의 형태 1에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다(플로차트 2).
도 6은 문자 관리 DB에 기억되어 있는 문자 속성표를 나타내는 설명도이다.
도 7은 음성의 인식 결과를 나타내는 문자열이 생성되기 전에 궤적 화상이 생성된 경우의 표시 처리를 나타내는 설명도이다.
도 8은 궤적 화상이 생성되기 전에 음성의 인식 결과를 나타내는 문자열이 생성된 경우의 표시 처리를 나타내는 설명도이다.
도 9는 본 발명의 실시의 형태 2에 의한 입력 표시 장치를 나타내는 구성도이다.
도 10은 본 발명의 실시의 형태 2에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 11은 본 발명의 실시의 형태 2에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다.
도 12는 유저의 필기압(writing pressure)에 따라 선폭이 설정된 궤적 화상을 나타내는 설명도이다.
도 13은 터치 그리기 속도에 따라 선폭이 설정된 궤적 화상을 나타내는 설명도이다.
도 14는 도중에 변화하는 유저의 필기압이나 터치 그리기 속도에 따라 선폭이 설정된 궤적 화상을 나타내는 설명도이다.
도 15는 본 발명의 실시의 형태 3에 의한 입력 표시 장치를 나타내는 구성도이다.
도 16은 본 발명의 실시의 형태 3에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 17은 본 발명의 실시의 형태 3에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다.
도 18은 음성의 언어에 대응하는 궤적 화상의 색을 나타내는 설명도이다.
도 19는 본 발명의 실시의 형태 4에 의한 입력 표시 장치를 나타내는 구성도이다.
도 20은 본 발명의 실시의 형태 4에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 21은 조작 접수부(1)에 의해 접수되는 조작이 전환되었을 때의 처리 내용을 나타내는 플로차트이다.
도 22는 조작 접수부(1)에 의해 접수되는 조작을 전환하기 위한 조작의 일례를 나타내는 설명도이다.
도 23은 그림 그리기(picture drawing)의 조작 내용에 따라 생성되는 그림의 화상의 일례를 나타내는 설명도이다.
이하, 본 발명을 보다 상세하게 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부한 도면에 따라 설명한다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1에 의한 입력 표시 장치를 나타내는 구성도이고, 도 2는 본 발명의 실시의 형태 1에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 1 및 도 2에 있어서, 조작 접수부(1)는 포인팅 디바이스(21)로 실현되고, 유저의 조작으로서, 터치 그리기의 조작을 접수하는 처리를 실시한다.
본 실시의 형태 1에서는, 포인팅 디바이스(21)로서, 터치 패널을 이용하는 것을 상정하고 있지만, 터치 패널에 한하는 것이 아니고, 예컨대, 조이스틱, 포인팅 스틱(트랙 포인트), 터치 패드, 스타일러스, 데이터 글로브, 트랙볼, 펜 태블릿, 마우스, 라이트 펜, 조이패드 등을 이용할 수 있다.
문자 관리 DB(2)는 예컨대 RAM이나 하드 디스크 등의 메모리(22)로 실현되고, 문자 종류와 문자 사이즈와 문자 높이와 문자 폭의 대응 관계를 나타내는 문자 속성표를 기억하고 있다.
문자 관리부(3)는 예컨대 CPU(Central Processing Unit)를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 문자 관리 처리 회로(23)로 실현되는 것이다. 문자 관리부(3)는 사전에 디스플레이(29)에 표시하는 문자의 사이즈가 설정되고, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조하여, 그 문자 사이즈에 대응하는 문자 높이를 나타내는 문자 속성 정보를 궤적 화상 생성부(4)에 출력하는 처리를 실시한다.
궤적 화상 생성부(4)는 예컨대 GPU(Graphics Processing Unit)를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 화상 생성 처리 회로(24)로 실현되는 것이다. 궤적 화상 생성부(4)는 조작 접수부(1)에 의해 접수된 터치 그리기의 조작으로부터, 터치 그리기에 의해 그려지는 선의 궤적을 판별하여, 그 궤적을 나타내는 궤적 화상을 생성하는 처리를 실시한다. 그때, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이에 대응하는 선폭의 궤적 화상을 생성한다.
문자열 취득부(5)는 음성 검출부(6), 음성 인식 사전 DB(7) 및 음성 인식부(8)로 구성되어 있고, 음성의 인식 결과를 나타내는 문자열을 취득하는 처리를 실시한다.
음성 검출부(6)는 예컨대 마이크(25)로 실현되고, 유저의 음성을 검출한다.
음성 인식 사전 DB(7)는 예컨대 RAM이나 하드 디스크 등의 메모리(26)로 실현되는 것이고, 음성 인식 사전 DB(7)는, 예컨대, 인간의 발성의 작은 단위인 음소의 음향 특징이 기술되어 있는 음향 모델과, 음성 인식하는 단어가 기술되어 있는 인식 사전으로 구성되어 있다.
음성 인식부(8)는 예컨대 CPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 음성 인식 처리 회로(27)로 실현되는 것이고, 음성 검출부(6)에 의해 검출된 음성을 인식하는 음성 인식 엔진을 탑재하고 있다.
즉, 음성 인식부(8)는 음성 검출부(6)에 의해 검출된 음성을 분석하여, 그 음성의 음향 특징을 산출하고, 음성 인식 사전 DB(7)의 인식 사전에 기술되어 있는 단어 중에서, 그 산출한 음향 특징과 가장 가까운 음향 특징을 갖는 단어를 탐색하고, 그 단어를 나타내는 문자열을 음성의 인식 결과를 나타내는 문자열로서 표시 제어부(9)에 출력하는 처리를 실시한다.
도 1에서는, 문자열 취득부(5)가 음성 인식 사전 DB(7) 및 음성 인식부(8)를 실장하고 있는 예를 나타내고 있지만, 음성 인식 사전 DB(7) 및 음성 인식부(8) 대신에, 데이터 송수신부가 실장되어 있는 것이더라도 좋다.
이 데이터 송수신부는, 예컨대, 인터넷이나 LAN 등의 통신 경로를 통해서, 도시하지 않는 음성 인식 서버와 데이터의 송수신을 행하는 것이 가능한 네트워크 카드 등의 네트워크 통신 기기이고, 음성 검출부(6)에 의해 검출된 음성을 나타내는 데이터를 음성 인식 서버에 송신한다.
음성 인식 서버는, 음성을 인식하는 음성 인식 엔진을 탑재하고 있고, 데이터 송수신부로부터 송신된 음성을 나타내는 데이터를 수신하면, 그 음성을 인식하여, 그 음성의 인식 결과를 나타내는 문자열을 해당 데이터 송수신부에 송신한다.
이 데이터 송수신부는, 음성 인식 서버로부터 송신된 음성의 인식 결과를 나타내는 문자열을 수신하면, 그 문자열을 표시 제어부(9)에 출력한다.
표시 제어부(9)는 예컨대 GPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 표시 처리 회로(28)로 실현되는 것이다. 표시 제어부(9)는 궤적 화상 생성부(4)에 의해 생성된 궤적 화상을 디스플레이(29)에 표시함과 아울러, 문자열 취득부(5)에 의해 취득된 문자열을 궤적 화상의 위에 겹쳐 표시하는 처리를 실시한다.
즉, 표시 제어부(9)는 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력되기 전에, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성된 경우, 그 궤적 화상을 디스플레이(29)에 표시한 후, 문자열 취득부(5)의 음성 인식부(8)로부터 출력된 문자열을 궤적 화상의 위에 겹쳐 표시한다. 한편, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성되기 전에, 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력된 경우, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성될 때까지 대기하고, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성되면, 그 궤적 화상을 디스플레이(29)에 표시함과 아울러, 그 문자열을 궤적 화상의 위에 겹쳐 표시하는 처리를 실시한다.
또한, 표시 제어부(9)는 문자열을 궤적 화상의 위에 겹쳐 표시한 후, 그 궤적 화상의 표시를 지우는 처리를 실시한다.
문자열 일시 보존부(10)는 예컨대 RAM이나 하드 디스크 등의 메모리(30)로 실현되고, 문자열 취득부(5)의 음성 인식부(8)로부터 출력된 문자열을 일시적으로 보존한다.
도 1에서는, 입력 표시 장치의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 화상 생성부(4), 문자열 취득부(5), 표시 제어부(9) 및 문자열 일시 보존부(10)의 각각이 전용 하드웨어로 구성되어 있는 것을 상정하고 있지만, 입력 표시 장치가 컴퓨터로 구성되어 있는 것이더라도 좋다.
도 3은 입력 표시 장치가 컴퓨터로 구성되는 경우의 하드웨어 구성도이다.
입력 표시 장치가 컴퓨터로 구성되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자열 일시 보존부(10)를 컴퓨터의 메모리(41) 상에 구성함과 아울러, 조작 접수부(1), 문자 관리부(3), 궤적 화상 생성부(4), 음성 검출부(6), 음성 인식부(8) 및 표시 제어부(9)의 처리 내용을 기술하고 있는 프로그램을 메모리(41)에 저장하고, 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 4 및 도 5는 본 발명의 실시의 형태 1에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다.
다음으로 동작에 대하여 설명한다.
도 6은 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 나타내는 설명도이다.
도 6의 문자 속성표에서는, 각각의 문자 종류(예컨대, 명조체, 고딕체 등)마다, 문자 사이즈에 대응하고 있는 문자 높이와 문자 폭이 기술되어 있다.
문자 관리부(3)에는, 디스플레이(29)에 표시하는 문자의 사이즈가 사전에 설정되어 있고, 문자 관리부(3)는, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조하여, 그 문자 사이즈에 대응하는 문자 높이를 나타내는 문자 속성 정보를 궤적 화상 생성부(4)에 출력한다(도 4의 스텝 ST1).
예컨대, 사전에 설정되어 있는 문자의 문자 종류가 "A"이고, 그 문자 사이즈가 "10"이면, 문자 높이가 "5㎜"인 것을 나타내는 문자 속성 정보가 궤적 화상 생성부(4)에 출력된다.
또한, 사전에 설정되어 있는 문자의 문자 종류가 "B"이고, 그 문자 사이즈가 "5"이면, 문자 높이가 "2㎜"인 것을 나타내는 문자 속성 정보가 궤적 화상 생성부(4)에 출력된다.
또한, 문자 관리부(3)는, 그 문자 사이즈에 대응하는 문자 높이 및 문자 폭을 나타내는 문자 속성 정보를 표시 제어부(9)에 출력한다.
궤적 화상 생성부(4)는, 문자 관리부(3)로부터 문자 속성 정보를 받으면, 생성하는 궤적 화상의 선폭을 문자 속성 정보가 나타내는 문자 높이에 대응하는 선폭으로 설정한다(스텝 ST2).
예컨대, 문자 속성 정보가 나타내는 문자 높이가 "10㎜"일 때, 만일 문자의 상부 및 하부의 여백이 "0.5㎜"로 설정되어 있다고 하면, 궤적 화상의 선폭을 "11㎜"로 설정한다.
11=10+0.5+0.5(㎜)
여기서는, 문자의 상부 및 하부에 여백을 마련하는 예를 나타내고 있지만, 여백을 마련하지 않고, 문자 속성 정보가 나타내는 문자 높이와 궤적 화상의 선폭이 일치하는 것이더라도 좋다.
본 실시의 형태 1에서는, 조작 접수부(1)를 실현하고 있는 포인팅 디바이스(21)가 터치 패널인 것을 상정하고 있으므로, 유저가 자기의 손가락이나, 터치 패널용의 입력 펜 등을 이용하여, 터치 그리기의 조작을 터치 패널에 행하면(스텝 ST3 : 예의 경우), 조작 접수부(1)가, 터치 그리기의 조작을 접수하여, 터치 그리기의 조작 내용을 궤적 화상 생성부(4)에 출력한다(스텝 ST4).
터치 그리기의 조작 내용은, 터치 패널에 접촉하고 있는 손가락이나 입력 펜의 위치(터치 패널 상의 좌표)의 연속적인 변화를 나타내는 시계열 데이터에 상당하는 것이다.
궤적 화상 생성부(4)는, 조작 접수부(1)로부터 터치 그리기의 조작 내용을 받으면, 그 조작 내용으로부터 터치 그리기에 의해 그려지는 선의 궤적을 판별한다(스텝 ST5).
터치 그리기의 조작 내용은, 상술한 바와 같이, 터치 패널에 대한 접촉 위치의 연속적인 변화를 나타내고 있으므로, 시계열의 접촉 위치를 연결함으로써, 터치 그리기에 의해 그려지는 선의 궤적을 판별할 수 있다.
궤적 화상 생성부(4)는, 터치 그리기에 의해 그려지는 선의 궤적을 판별하면, 그 궤적을 나타내는 궤적 화상을 생성하고, 그 궤적 화상을 표시 제어부(9)에 출력한다(스텝 ST6).
이 궤적 화상의 선폭은, 스텝 ST2에서 설정한 선폭이고, 상기의 예에서는, 궤적 화상의 선폭을 "11㎜"로 설정하고 있으므로, 선폭이 "11㎜"인 궤적 화상을 생성한다.
문자열 취득부(5)의 음성 인식부(8)는, 음성 검출부(6)가 유저의 음성을 검출하면(스텝 ST7 : 예의 경우), 음성 인식 사전 DB(7)를 이용하여, 그 음성의 인식 처리를 실시함으로써, 그 음성의 인식 결과를 나타내는 문자열(텍스트)을 생성하고, 그 문자열을 표시 제어부(9)에 출력한다(스텝 ST8).
음성 인식부(8)에 의한 음성의 인식 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 음성 검출부(6)에 의해 검출된 음성을 분석하여, 그 음성의 음향 특징을 산출하고, 음성 인식 사전 DB(7)의 인식 사전에 기술되어 있는 단어 중에서, 그 산출한 음향 특징과 가장 가까운 음향 특징을 갖는 단어를 탐색하고, 그 단어를 나타내는 문자열을 음성의 인식 결과를 나타내는 문자열로서 출력하는 방법을 생각할 수 있다.
본 실시의 형태 1에서는, 설명의 편의상, 유저가 「봄이 되면 벚꽃을 보러 갑시다」라고 하는 발화(發話)를 하고 있고, 음성 인식부(8)가 「봄이 되면 벚꽃을 보러 갑시다」를 나타내는 문자열을 출력하는 것으로 한다.
여기서, 도 7은 음성의 인식 결과를 나타내는 문자열이 생성되기 전에 궤적 화상이 생성된 경우의 표시 처리를 나타내는 설명도이다.
또한, 도 8은 궤적 화상이 생성되기 전에 음성의 인식 결과를 나타내는 문자열이 생성된 경우의 표시 처리를 나타내는 설명도이다.
표시 제어부(9)는, 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력되기 전에, 궤적 화상 생성부(4)로부터 궤적 화상이 출력되면(도 5의 스텝 ST11 : 예의 경우), 도 7(a)에 나타내는 바와 같이, 그 궤적 화상을 디스플레이(29)에 표시한다(스텝 ST12).
여기서, 궤적 화상의 표시는, 궤적 화상의 전체를 동시에 표시하도록 하더라도 좋지만, 나중에 표시하는 문자열의 선두측으로부터 순차적으로 표시하는 애니메이션을 행하도록 하더라도 좋다.
표시 제어부(9)는, 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력될 때까지 대기하고(스텝 ST13 : 아니오의 경우), 도 7(b)에 나타내는 바와 같이, 유저가 발화함으로써, 음성 인식부(8)로부터 음성의 인식 결과를 나타내는 문자열이 출력되면(스텝 ST13 : 예의 경우), 도 7(c)에 나타내는 바와 같이, 그 문자열을 궤적 화상의 위에 겹쳐 표시한다(스텝 ST14). 궤적 화상의 위에 표시하는 문자열에 있어서의 문자의 크기는, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이 및 문자 폭에 대응하고 있다.
여기서, 문자열의 표시는, 문자열을 구성하고 있는 모든 문자를 동시에 표시하도록 하더라도 좋지만, 문자열의 선두의 문자로부터 차례로 후미의 문자까지 표시하는 애니메이션 표시의 형태이더라도 좋다.
표시 제어부(9)는, 도 8(a)에 나타내는 바와 같이, 유저가 터치 그리기의 조작을 행하기 전에 발화함으로써, 궤적 화상 생성부(4)로부터 궤적 화상이 출력되기 전에, 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력되면(도 5의 스텝 ST11 : 아니오의 경우), 그 문자열을 문자열 일시 보존부(10)에 저장하여, 궤적 화상 생성부(4)로부터 궤적 화상이 출력될 때까지 대기한다(스텝 ST15 : 아니오의 경우).
표시 제어부(9)는, 그 후, 유저가 터치 그리기의 조작을 행함으로써, 궤적 화상 생성부(4)로부터 궤적 화상이 출력되면(스텝 ST15 : 예의 경우), 문자열 일시 보존부(10)로부터 문자열을 읽어내고, 도 8(b)에 나타내는 바와 같이, 그 궤적 화상을 디스플레이(29)에 표시함과 아울러, 그 문자열을 궤적 화상의 위에 겹쳐 표시한다. 즉, 표시 제어부(9)는, 궤적 화상과 문자열을 동일한 위치에 겹쳐 표시한다(스텝 ST16). 단, 궤적 화상 및 문자열의 표시는, 전체를 동시에 표시하도록 하더라도 좋지만, 문자열의 선두측으로부터 순차적으로 표시하는 애니메이션 표시의 형태이더라도 좋다.
표시 제어부(9)는, 문자열을 궤적 화상의 위에 겹쳐 표시하면, 도 7(d), 도 7(e) 및 도 8(c), 도 8(d)에 나타내는 바와 같이, 궤적 화상을 지우고, 문자열만을 표시하고 있는 상태로 한다(스텝 ST17).
궤적 화상의 소거는, 궤적 화상의 전체를 동시에 소거하도록 하더라도 좋지만, 문자열의 선두측으로부터 순차적으로 소거하는 애니메이션을 행하도록 하더라도 좋다.
여기서는, 궤적 화상과 문자열을 겹쳐 표시하고 나서, 일정 시간 후에, 궤적 화상을 소거하는 것을 상정하고 있지만, 문자열의 표시가 완료되면, 즉시, 궤적 화상을 소거하는 것이더라도 좋다.
이상에서 분명한 바와 같이, 본 실시의 형태 1에 의하면, 터치 그리기의 조작을 접수하는 조작 접수부(1)와, 조작 접수부(1)에 의해 접수된 터치 그리기의 조작으로부터, 터치 그리기에 의해 그려지는 선의 궤적을 판별하여, 그 궤적을 나타내는 궤적 화상을 생성하는 궤적 화상 생성부(4)와, 음성의 인식 결과를 나타내는 문자열을 취득하는 문자열 취득부(5)를 마련하고, 표시 제어부(9)가, 궤적 화상 생성부(4)에 의해 생성된 궤적 화상을 디스플레이(29)에 표시함과 아울러, 문자열 취득부(5)에 의해 취득된 문자열을 궤적 화상의 위에 겹쳐 표시하도록 구성했으므로, 유저의 자유로운 레이아웃으로, 음성의 인식 결과를 나타내는 문자열을 표시할 수 있는 효과를 갖는다.
또한, 본 실시의 형태 1에 의하면, 표시 제어부(9)가, 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력되기 전에, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성된 경우, 그 궤적 화상을 디스플레이(29)에 표시한 후, 문자열 취득부(5)의 음성 인식부(8)로부터 출력된 문자열을 궤적 화상의 위에 겹쳐 표시하는 한편, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성되기 전에, 문자열 취득부(5)의 음성 인식부(8)로부터 문자열이 출력된 경우, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성될 때까지 대기하고, 궤적 화상 생성부(4)에 의해 궤적 화상이 생성되면, 그 궤적 화상을 디스플레이(29)에 표시함과 아울러, 그 문자열을 궤적 화상의 위에 겹쳐 표시하도록 구성했으므로, 유저가 발화하기 전에 터치 그리기의 조작을 행한 경우, 음성의 인식 결과를 나타내는 문자열이 표시되는 위치를 사전에 파악할 수 있다. 따라서, 유저가 문자열의 표시 이미지를 파악할 수 있는 효과를 갖는다. 또한, 유저가 터치 그리기의 조작을 행하기 전에 발화한 경우, 터치 그리기의 조작이 행해지면, 즉시 궤적 화상과 문자열이 동일한 위치에 겹쳐 표시되기 때문에, 응답성이 높은 조작감을 유저에게 줄 수 있는 효과를 갖는다.
실시의 형태 2.
상기 실시의 형태 1에서는, 궤적 화상의 선폭이 사전에 설정되어 있는 문자 사이즈의 문자 높이에 대응하는 선폭으로 설정되는 것을 나타냈지만, 유저에 의한 터치 그리기의 조작의 상태에 따라 궤적 화상의 선폭이 설정되도록 하더라도 좋다.
도 9는 본 발명의 실시의 형태 2에 의한 입력 표시 장치를 나타내는 구성도이고, 도 10은 본 발명의 실시의 형태 2에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 9 및 도 10에 있어서, 도 1 및 도 2와 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
조작 상태 검지부(11)는 예컨대 CPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 조작 상태 검지 처리 회로(31)로 실현되는 것이고, 조작 접수부(1)에 의해 접수된 조작의 상태를 검지하는 처리를 실시한다.
즉, 조작 상태 검지부(11)는, 조작 접수부(1)에 의해 접수된 조작의 상태로서, 예컨대, 포인팅 디바이스(21)인 터치 패널에 대한 유저의 손가락이나 입력 펜의 압력(필기압)을 감지한다.
궤적 화상 생성부(12)는 예컨대 GPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 화상 생성 처리 회로(32)로 실현되는 것이다. 궤적 화상 생성부(12)는, 도 1의 궤적 화상 생성부(4)와 마찬가지로, 조작 접수부(1)에 의해 접수된 터치 그리기의 조작으로부터, 터치 그리기에 의해 그려지는 선의 궤적을 판별하여, 그 궤적을 나타내는 궤적 화상을 생성하는 처리를 실시한다. 그때, 도 1의 궤적 화상 생성부(4)와 달리, 조작 상태 검지부(11)에 의해 검지된 조작의 상태에 대응하는 선폭의 궤적 화상을 생성한다.
표시 제어부(13)는 예컨대 GPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 표시 처리 회로(33)로 실현되는 것이고, 도 1의 표시 제어부(9)와 마찬가지의 표시 처리를 실시한다.
또한, 표시 제어부(13)는 궤적 화상 생성부(12)에 의해 설정된 선폭에 따라, 문자열 취득부(5)에 의해 취득된 문자열을 구성하는 문자의 문자 사이즈를 변경하고, 변경 후의 문자 사이즈로 문자열을 궤적 화상의 위에 겹쳐 표시하는 처리를 실시한다.
도 9에서는, 입력 표시 장치의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 조작 상태 검지부(11), 궤적 화상 생성부(12), 문자열 취득부(5), 표시 제어부(13) 및 문자열 일시 보존부(10)의 각각이 전용 하드웨어로 구성되어 있는 것을 상정하고 있지만, 입력 표시 장치가 컴퓨터로 구성되어 있는 것이더라도 좋다.
입력 표시 장치가 컴퓨터로 구성되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자열 일시 보존부(10)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 아울러, 조작 접수부(1), 문자 관리부(3), 조작 상태 검지부(11), 궤적 화상 생성부(12), 음성 검출부(6), 음성 인식부(8) 및 표시 제어부(13)의 처리 내용을 기술하고 있는 프로그램을 메모리(41)에 저장하고, 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 11 및 도 5는 본 발명의 실시의 형태 2에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다.
도 11에 있어서, 도 4와 동일한 스텝 번호는 동일 또는 상당 부분을 나타내는 것이다.
다음으로 동작에 대하여 설명한다.
본 실시의 형태 2에서는, 포인팅 디바이스(21)인 터치 패널에 필기압을 감지하는 필기압 감지 센서가 탑재되어 있는 것으로 한다.
조작 상태 검지부(11)는, 포인팅 디바이스(21)에 탑재되어 있는 필기압 감지 센서로부터 필기압의 감지 결과를 취득함으로써, 조작 접수부(1)에 의해 접수된 조작의 상태로서, 포인팅 디바이스(21)인 터치 패널에 대한 유저의 필기압을 검지한다(도 11의 스텝 ST21).
궤적 화상 생성부(12)는, 조작 상태 검지부(11)가 조작 접수부(1)에 의해 접수된 조작의 상태로서, 유저의 필기압을 검지하면, 유저의 필기압과 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이로부터, 생성하는 궤적 화상의 선폭을 설정한다(스텝 ST22).
예컨대, 문자 속성 정보가 나타내는 문자 높이를 궤적 화상의 기준의 선폭으로 설정하고, 유저의 필기압이 사전에 설정되어 있는 기준치 이상이면, 그 필기압이 기준치보다 클수록, 큰 오프셋 값을 설정하고, 기준의 선폭과 오프셋 값을 가산한 값을 최종적인 궤적 화상의 선폭으로 결정한다.
최종적인 궤적 화상의 선폭=기준의 선폭+오프셋 값
한편, 유저의 필기압이 사전에 설정되어 있는 기준치보다 작으면, 그 필기압이 기준치보다 작을수록, 큰 오프셋 값을 설정하고, 기준의 선폭으로부터 오프셋 값을 감산한 값을 최종적인 궤적 화상의 선폭으로 결정한다.
최종적인 궤적 화상의 선폭=기준의 선폭-오프셋 값
표시 제어부(13)는, 도 1의 표시 제어부(9)와 마찬가지로, 도 5의 플로차트에 따라 궤적 화상과 문자열을 디스플레이(29)에 표시한다.
단, 본 실시의 형태 2에서는, 궤적 화상의 선폭을 유저의 필기압에 따라 설정하고 있으므로, 궤적 화상 생성부(12)가 최종적인 궤적 화상의 선폭을 기준의 선폭보다 굵게 하고 있는 경우에는, 최종적인 궤적 화상의 선폭에 따라, 문자열을 구성하는 문자의 문자 사이즈를 크게 하여, 문자열을 궤적 화상의 위에 표시한다.
예컨대, 기준의 선폭(=문자 속성 정보가 나타내는 문자 높이)이 "5㎜"일 때, 최종적인 궤적 화상의 선폭을 "10㎜"로 설정하고 있으면, 문자열을 구성하는 문자의 문자 높이를 "10㎜"로 변경하여, 문자열을 궤적 화상의 위에 표시한다. 여기서는, 문자 높이와 궤적 화상의 선폭이 일치하는 예를 나타내고 있지만, 문자의 상부 및 하부에 여백을 마련하는 경우, 예컨대, 상부 및 하부의 여백이 모두 "1㎜"라고 하면, 문자열을 구성하는 문자의 문자 높이를 "8㎜"로 변경하여, 문자열을 궤적 화상의 위에 표시한다.
또한, 표시 제어부(13)는, 궤적 화상 생성부(12)가 최종적인 궤적 화상의 선폭을 기준의 선폭보다 가늘게 하고 있는 경우에는, 최종적인 궤적 화상의 선폭에 따라, 문자열을 구성하는 문자의 문자 사이즈를 작게 하여, 문자열을 궤적 화상의 위에 표시한다.
예컨대, 기준의 선폭(=문자 속성 정보가 나타내는 문자 높이)이 "5㎜"일 때, 최종적인 궤적 화상의 선폭을 "3㎜"로 설정하고 있으면, 문자열을 구성하는 문자의 문자 높이를 "3㎜"로 변경하여, 문자열을 궤적 화상의 위에 표시한다. 여기서는, 문자 높이와 궤적 화상의 선폭이 일치하는 예를 나타내고 있지만, 문자의 상부 및 하부에 여백을 마련하는 경우, 예컨대, 상부 및 하부의 여백이 모두 "0.5㎜"라고 하면, 문자열을 구성하는 문자의 문자 높이를 "2㎜"로 변경하여, 문자열을 궤적 화상의 위에 표시한다.
도 12는 유저의 필기압에 따라 선폭이 설정된 궤적 화상을 나타내는 설명도이다.
도 12(a)는 유저의 필기압이 기준치 이상이기 때문에, 굵은 선폭이 설정된 궤적 화상을 나타내고 있고, 도 12(b)는 유저의 필기압이 기준치 미만이기 때문에, 가는 선폭이 설정된 궤적 화상을 나타내고 있다.
본 실시의 형태 2에서는, 조작 상태 검지부(11)가, 조작 접수부(1)에 의해 접수된 조작의 상태로서, 포인팅 디바이스(21)인 터치 패널에 대한 유저의 필기압을 검지하는 예를 나타냈지만, 이것은 일례에 지나지 않고, 예컨대, 조작 접수부(1)에 의해 접수된 조작의 상태로서, 유저가, 포인팅 디바이스(21)인 터치 패널에 터치 그리기 속도를 검지하도록 하더라도 괜찮다.
터치 패널에 터치 그리기 속도에 대해서는, 조작 상태 검지부(11)가, 조작 접수부(1)에 의해 접수된 터치 그리기의 조작 내용으로부터, 터치 패널에 대한 접촉 위치의 연속적인 변화를 특정하면, 터치 패널에 대한 접촉 위치의 단위 시간당 변화로부터 구할 수 있다.
궤적 화상 생성부(12)는, 조작 상태 검지부(11)가 조작 접수부(1)에 의해 접수된 조작의 상태로서, 터치 패널에 터치 그리기 속도를 검지하면, 터치 그리기 속도와 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이로부터, 생성하는 궤적 화상의 선폭을 설정한다.
예컨대, 문자 속성 정보가 나타내는 문자 높이를 궤적 화상의 기준의 선폭으로 설정하고, 터치 그리기 속도가 사전에 설정되어 있는 기준치 이상이면, 터치 그리기 속도가 기준치보다 빠를수록, 큰 오프셋 값을 설정하고, 기준의 선폭과 오프셋 값을 가산한 값을 최종적인 궤적 화상의 선폭으로 결정한다.
최종적인 궤적 화상의 선폭=기준의 선폭+오프셋 값
한편, 터치 그리기 속도가 사전에 설정되어 있는 기준치보다 느리면, 터치 그리기 속도가 기준치보다 느릴수록, 큰 오프셋 값을 설정하고, 기준의 선폭으로부터 오프셋 값을 감산한 값을 최종적인 궤적 화상의 선폭으로 결정한다.
최종적인 궤적 화상의 선폭=기준의 선폭-오프셋 값
도 13은 터치 그리기 속도에 따라 선폭이 설정된 궤적 화상을 나타내는 설명도이다.
도 13(a)는 터치 그리기 속도가 기준치 이상이기 때문에, 굵은 선폭이 설정된 궤적 화상을 나타내고 있고, 도 13(b)는 터치 그리기 속도가 기준치 미만이기 때문에, 가는 선폭이 설정된 궤적 화상을 나타내고 있다.
본 실시의 형태 2에서는, 유저의 필기압이나 터치 그리기 속도가 균일한 예를 나타냈지만, 유저의 필기압이나 터치 그리기 속도가 도중에 변화하는 경우에는, 궤적 화상 생성부(12)가, 선폭이 도중에 변화하는 궤적 화상을 생성하도록 하더라도 좋다.
도 14는 도중에 변화하는 유저의 필기압이나 터치 그리기 속도에 따라 선폭이 설정된 궤적 화상을 나타내는 설명도이다.
도 14(a)는 터치 그리기 속도가 서서히 빨라지고 있는 경우나, 유저의 필기압이 서서히 강해지고 있는 경우의 궤적 화상을 나타내고 있고, 궤적 화상의 선폭이 서서히 굵어지고 있다.
도 14(b)는 터치 그리기 속도나 유저의 필기압이 불규칙하게 변화하고 있는 경우의 궤적 화상을 나타내고 있고, 궤적 화상의 선폭이 굵어지거나, 가늘어지거나 하고 있다.
이상에서 분명한 바와 같이, 본 실시의 형태 2에 의하면, 조작 접수부(1)에 의해 접수된 조작의 상태를 검지하는 조작 상태 검지부(11)를 구비하고, 궤적 화상 생성부(12)가, 조작 상태 검지부(11)에 의해 검지된 조작의 상태에 대응하는 선폭의 궤적 화상을 생성하도록 구성했으므로, 문자열의 표시 형태의 다양화를 도모할 수 있는 효과를 갖는다.
본 실시의 형태 2에서는, 궤적 화상 생성부(12)가, 조작 상태 검지부(11)가 조작 접수부(1)에 의해 접수된 조작의 상태(예컨대, 유저의 필기압)와, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이로부터, 생성하는 궤적 화상의 선폭을 설정하는 것을 나타냈지만, 문자 관리부(3)로부터 출력되는 문자 속성 정보가 나타내는 문자 높이를 사용하지 않고, 조작 접수부(1)에 의해 접수된 조작의 상태만으로부터, 생성하는 궤적 화상의 선폭을 설정하도록 하더라도 좋다.
예컨대, 유저의 필기압(또는, 터치 그리기 속도)과, 궤적 화상의 선폭의 대응 관계를 저장하고 있는 테이블을 준비하고, 궤적 화상 생성부(12)가, 그 테이블로부터 유저의 필기압(또는, 터치 그리기 속도)에 대응하는 선폭을 읽어내고, 그 선폭을 궤적 화상의 선폭으로 설정하는 형태를 생각할 수 있다.
본 실시의 형태 2에서는, 조작 접수부(1)에 의해 접수된 조작의 상태에 대응하는 선폭의 궤적 화상을 생성하는 것을 나타냈지만, 조작 접수부(1)에 의해 접수된 조작의 상태에 따라, 디스플레이(29)에 표시하는 문자의 농담을 바꾸도록 하더라도 좋다. 예컨대, 유저의 필기압이 강할수록, 혹은, 터치 그리기 속도가 빠를수록, 문자의 농담을 진하게 하는 형태를 생각할 수 있다. 또한, 조작 접수부(1)에 의해 접수된 조작의 상태에 따라, 디스플레이(29)에 표시하는 문자의 굵기를 바꾸도록 하더라도 좋다. 예컨대, 유저의 필기압이 강할수록, 혹은, 터치 그리기 속도가 빠를수록, 문자의 굵기를 굵게 하는 형태를 생각할 수 있다.
또한, 궤적 화상 생성부(12)에 의해 생성된 궤적 화상의 선폭에 따라, 그 궤적 화상에 겹쳐 표시하는 문자의 문자 높이를 바꾸는 것을 나타냈지만, 궤적 화상의 선폭에 따라, 문자열을 구성하는 문자의 문자 종류를 바꾸도록 하더라도 좋다.
예컨대, 궤적 화상의 선폭이 서서히 굵어지는 경우, 문자 종류를 문자 종류 A→문자 종류 B→문자 종류 C와 같이 바꾸는 형태를 생각할 수 있다.
실시의 형태 3.
상기 실시의 형태 1, 2에서는, 표시 제어부(9, 13)가, 궤적 화상 생성부(4, 12)에 의해 생성된 궤적 화상을 디스플레이(29)에 표시하는 것을 나타냈지만, 음성의 언어의 판별 결과를 취득하고, 그 판별 결과가 나타내는 언어에 대응하는 색으로, 궤적 화상을 표시하도록 하더라도 좋다.
도 15는 본 발명의 실시의 형태 3에 의한 입력 표시 장치를 나타내는 구성도이고, 도 16은 본 발명의 실시의 형태 3에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 15 및 도 16에 있어서, 도 9 및 도 10과 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
문자열 취득부(5)의 언어 판별부(14)는 예컨대 CPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 언어 판별 처리 회로(34)로 실현되는 것이고, 음성 검출부(6)에 의해 검출된 음성의 언어 판별 처리를 실시하고, 그 언어의 판별 결과를 표시 제어부(15)에 출력한다.
본 실시의 형태 3에서는, 문자열 취득부(5)가 언어 판별부(14)를 실장하고 있는 예를 나타내고 있지만, 언어 판별부(14) 대신에, 데이터 송수신부가 실장되어 있는 것이더라도 좋다.
이 데이터 송수신부는, 예컨대, 인터넷이나 LAN 등의 통신 경로를 통해서, 도시하지 않는 언어 판별 서버와 데이터의 송수신을 행하는 것이 가능한 네트워크 카드 등의 네트워크 통신 기기이고, 음성 검출부(6)에 의해 검출된 음성을 나타내는 데이터를 언어 판별 서버에 송신한다.
언어 판별 서버는, 음성의 언어를 판별하는 언어 판별 엔진을 탑재하고 있고, 데이터 송수신부로부터 송신된 음성을 나타내는 데이터를 수신하면, 그 음성을 인식하여, 그 음성의 언어 판별 결과를 해당 데이터 송수신부에 송신한다.
이 데이터 송수신부는, 언어 판별 서버로부터 송신된 음성의 언어 판별 결과를 표시 제어부(15)에 출력한다.
표시 제어부(15)는 예컨대 GPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 표시 처리 회로(35)로 실현되는 것이고, 도 9의 표시 제어부(13)와 마찬가지의 표시 처리를 실시한다.
또한, 표시 제어부(15)는 언어 판별부(14)로부터 출력된 판별 결과가 나타내는 언어에 대응하는 색으로, 궤적 화상 생성부(12)에 의해 생성된 궤적 화상을 디스플레이(29)에 표시하는 처리를 실시한다.
도 15에서는, 입력 표시 장치의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 조작 상태 검지부(11), 궤적 화상 생성부(12), 문자열 취득부(5), 표시 제어부(15) 및 문자열 일시 보존부(10)의 각각이 전용 하드웨어로 구성되어 있는 것을 상정하고 있지만, 입력 표시 장치가 컴퓨터로 구성되어 있는 것이더라도 좋다.
입력 표시 장치가 컴퓨터로 구성되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자열 일시 보존부(10)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 아울러, 조작 접수부(1), 문자 관리부(3), 조작 상태 검지부(11), 궤적 화상 생성부(12), 음성 검출부(6), 음성 인식부(8), 언어 판별부(14) 및 표시 제어부(15)의 처리 내용을 기술하고 있는 프로그램을 메모리(41)에 저장하고, 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 17 및 도 5는 본 발명의 실시의 형태 3에 의한 입력 표시 장치의 처리 내용인 입력 표시 방법을 나타내는 플로차트이다.
도 17에 있어서, 도 11과 동일한 스텝 번호는 동일 또는 상당 부분을 나타내는 것이다.
다음으로 동작에 대하여 설명한다.
문자열 취득부(5)의 언어 판별부(14)는, 음성 검출부(6)가 유저의 음성을 검출하면, 그 음성의 언어 판별 처리를 실시하고, 그 언어의 판별 결과를 표시 제어부(15)에 출력한다(도 17의 스텝 ST9). 음성의 언어 판별 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략한다.
표시 제어부(15)는, 도 9의 표시 제어부(13)와 마찬가지로, 도 5의 플로차트에 따라 궤적 화상과 문자열을 디스플레이(29)에 표시한다.
단, 표시 제어부(15)는, 도 9의 표시 제어부(13)와 달리, 언어 판별부(14)로부터 출력된 판별 결과가 나타내는 언어에 대응하는 색으로, 궤적 화상 생성부(12)에 의해 생성된 궤적 화상을 디스플레이(29)에 표시한다.
또, 음성 검출부(6)가 유저의 음성을 검출할 때까지는, 언어 판별부(14)가 음성의 언어를 판별할 수 없으므로, 음성 검출부(6)가 유저의 음성을 검출하기 전에, 궤적 화상 생성부(12)에 의해 궤적 화상이 생성된 경우, 음성 검출부(6)가 유저의 음성을 검출할 때까지, 표시 제어부(15)는, 궤적 화상의 표시를 행하지 않는다. 또한, 음성 검출부(6)가 유저의 음성을 검출할 때까지는 그레이의 색으로 궤적을 표시하고, 유저의 음성을 검출하여 언어의 판별 결과가 나오면 언어에 대응하는 색으로 궤적 화상을 표시하도록 하더라도 좋다.
도 18은 음성의 언어에 대응하는 궤적 화상의 색을 나타내는 설명도이다.
도 18(a)는 음성의 언어가 일본어인 경우를 나타내고 있고, 궤적 화상이 예컨대 청색으로 표시된다.
도 18(b)는 음성의 언어가 영어인 경우를 나타내고 있고, 궤적 화상이 예컨대 적색으로 표시된다.
여기서는, 음성의 언어가 일본어이면, 청색의 궤적 화상을 표시하고, 음성의 언어가 영어이면, 적색의 궤적 화상을 표시하는 예를 나타내고 있지만, 어디까지나 일례에 지나지 않고, 다른 색으로 표시하더라도 좋은 것은 말할 필요도 없다.
이상에서 분명한 바와 같이, 본 실시의 형태 3에 의하면, 음성 검출부(6)에 의해 검출된 음성의 언어 판별 처리를 실시하여, 그 언어의 판별 결과를 출력하는 언어 판별부(14)를 구비하고, 표시 제어부(15)가, 언어 판별부(14)로부터 출력된 판별 결과가 나타내는 언어에 대응하는 색으로, 궤적 화상 생성부(12)에 의해 생성된 궤적 화상을 디스플레이(29)에 표시하도록 구성했으므로, 어느 언어의 문자가 표시되고 있는지를 직감적으로 파악할 수 있는 효과를 갖는다.
실시의 형태 4.
상기 실시의 형태 1~3에서는, 궤적 화상과 문자열이 표시된 후, 궤적 화상이 지워짐으로써, 최종적으로는, 문자열만이 디스플레이(29)에 표시되는 것을 나타냈지만, 유저의 그림 그리기의 조작에 따라 생성된 그림의 화상이 디스플레이(29)에 표시되도록 하더라도 좋다.
도 19는 본 발명의 실시의 형태 4에 의한 입력 표시 장치를 나타내는 구성도이고, 도 20은 본 발명의 실시의 형태 4에 의한 입력 표시 장치의 하드웨어 구성도이다.
도 19 및 도 20에 있어서, 도 15 및 도 16과 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
조작 전환부(16)는 예컨대 CPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 조작 전환 처리 회로(36)로 실현되는 것이고, 조작 접수부(1)에 의해 접수되는 조작을 전환하기 위한 조작으로서, 예컨대, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 접수부(1)에 의해 접수되는 조작을 전환하는 처리를 실시한다.
즉, 조작 전환부(16)는 조작 접수부(1)에 의해 접수되는 조작이 터치 그리기의 조작일 때, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 접수부(1)에 의해 접수되는 조작을, 디스플레이(29)에 그림을 묘화하는 그림 그리기의 조작으로 전환하는 처리를 실시한다. 한편, 조작 접수부(1)에 의해 접수되는 조작이 그림 그리기의 조작일 때, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 접수부(1)에 의해 접수되는 조작을 터치 그리기의 조작으로 전환하는 처리를 실시한다.
그림 화상 생성부(17)는 예컨대 GPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 화상 생성 처리 회로(37)로 실현되는 것이고, 조작 전환부(16)에 의해 전환된 조작이, 그림 그리기의 조작이면, 조작 접수부(1)에 의해 접수된 그림 그리기의 조작에 따라 그림의 화상을 생성하는 처리를 실시한다.
표시 제어부(18)는 예컨대 GPU를 실장하고 있는 반도체 집적 회로나 원 칩 마이크로컴퓨터 등으로 구성되어 있는 표시 처리 회로(38)로 실현되는 것이고, 조작 전환부(16)에 의해 전환된 조작이, 터치 그리기의 조작이면, 도 15의 표시 제어부(15)와 마찬가지의 표시 처리를 실시한다.
표시 제어부(18)는 조작 전환부(16)에 의해 전환된 조작이, 그림 그리기의 조작이면, 그림 화상 생성부(17)에 의해 생성된 그림의 화상을 디스플레이(29)에 표시하는 처리를 실시한다.
도 19에서는, 입력 표시 장치의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 조작 상태 검지부(11), 궤적 화상 생성부(12), 조작 전환부(16), 그림 화상 생성부(17), 문자열 취득부(5), 표시 제어부(18) 및 문자열 일시 보존부(10)의 각각이 전용의 하드웨어로 구성되어 있는 것을 상정하고 있지만, 입력 표시 장치가 컴퓨터로 구성되어 있는 것이더라도 좋다.
입력 표시 장치가 컴퓨터로 구성되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자열 일시 보존부(10)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 아울러, 조작 접수부(1), 문자 관리부(3), 조작 상태 검지부(11), 궤적 화상 생성부(12), 조작 전환부(16), 그림 화상 생성부(17), 음성 검출부(6), 음성 인식부(8), 언어 판별부(14) 및 표시 제어부(18)의 처리 내용을 기술하고 있는 프로그램을 메모리(41)에 저장하고, 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 21은 조작 접수부(1)에 의해 접수되는 조작이 전환되었을 때의 처리 내용을 나타내는 플로차트이다.
다음으로 동작에 대하여 설명한다.
조작 전환부(16)는, 조작 접수부(1)에 의해 접수되는 조작을 전환하기 위한 조작으로서, 길게 누름 조작을 검출하면(도 21의 스텝 ST31 : 예의 경우), 조작 접수부(1)에 의해 접수되는 조작을 전환하는 처리를 실시한다(스텝 ST32).
도 22는 조작 접수부(1)에 의해 접수되는 조작을 전환하기 위한 조작의 일례를 나타내는 설명도이다.
도 22에서는, 조작 접수부(1)에 의해 접수되는 조작을 전환하기 위한 조작이, 길게 누름 조작인 예를 나타내고 있고, 길게 누름 조작은, 예컨대, 포인팅 디바이스(21)인 터치 패널의 동일한 장소에 미리 설정된 시간 이상 계속하여, 유저의 손가락이 접촉하고 있는 조작이다.
즉, 조작 전환부(16)는, 현시점에 있어서, 조작 접수부(1)에 의해 접수되는 조작이 터치 그리기의 조작일 때, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 이후, 조작 접수부(1)에 의해 접수되는 조작을 그림 그리기의 조작으로 전환하는 지령을 조작 접수부(1)에 출력한다.
한편, 현시점에 있어서, 조작 접수부(1)에 의해 접수되는 조작이 그림 그리기의 조작일 때, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 이후, 조작 접수부(1)에 의해 접수되는 조작을 터치 그리기의 조작으로 전환하는 지령을 조작 접수부(1)에 출력한다.
조작 접수부(1)는, 조작 전환부(16)의 지령에 따라 접수하는 조작을 전환한다.
따라서, 조작 접수부(1)는, 접수하는 조작을 터치 그리기의 조작으로 전환하고 있는 상태에서는(스텝 ST33 : 예의 경우), 상기 실시의 형태 1~3과 마찬가지로, 터치 그리기의 조작을 접수하여, 터치 그리기의 조작 내용을 궤적 화상 생성부(12)에 출력한다(스텝 ST34).
또한, 조작 접수부(1)는, 접수하는 조작을 그림 그리기의 조작으로 전환하고 있는 상태에서는(스텝 ST33 : 아니오의 경우), 그림 그리기의 조작을 접수하여, 그림 그리기의 조작 내용을 그림 화상 생성부(17)에 출력한다(스텝 ST35).
궤적 화상 생성부(12)는, 조작 접수부(1)가 터치 그리기의 조작을 접수하면, 상기 실시의 형태 2와 마찬가지로, 그 터치 그리기의 조작 내용에 따라 궤적 화상을 생성한다(스텝 ST36).
그림 화상 생성부(17)는, 조작 접수부(1)가 그림 그리기의 조작을 접수하면, 그 그림 그리기의 조작 내용에 따라 그림의 화상을 생성한다(스텝 ST37).
도 23은 그림 그리기의 조작 내용에 따라 생성되는 그림의 화상의 일례를 나타내는 설명도이다.
그림 그리기의 조작 내용에 따라 그림의 화상을 생성하는 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략한다. 또, 그림 그리기의 조작 내용에는, 선을 묘화하는 기능 외에, 묘화하는 선의 굵기나 색을 바꾸는 기능이나, 선을 소거하는 지우개의 기능 등이 포함되어 있더라도 좋다.
표시 제어부(18)는, 궤적 화상 생성부(12)가 궤적 화상을 생성하면, 도 15의 표시 제어부(15)와 마찬가지로, 그 궤적 화상과 문자열 취득부(5)로부터 출력된 문자열을 디스플레이(29)에 표시하는 처리를 실시한다(스텝 ST38).
또한, 표시 제어부(18)는, 그림 화상 생성부(17)가 그림의 화상을 생성하면, 그 그림의 화상을 디스플레이(29)에 표시한다(스텝 ST39).
이상에서 분명한 바와 같이, 본 실시의 형태 4에 의하면, 조작 접수부(1)에 의해 접수되는 조작을 전환하는 조작 전환부(16)와, 조작 전환부(16)에 의해 전환된 조작이, 그림 그리기의 조작이면, 조작 접수부(1)에 의해 접수된 그림 그리기의 조작에 따라 그림의 화상을 생성하는 그림 화상 생성부(17)를 구비하고, 표시 제어부(18)가, 조작 전환부(16)에 의해 전환된 조작이, 터치 그리기의 조작이면, 도 15의 표시 제어부(15)와 마찬가지로, 궤적 화상과 문자열을 겹쳐 표시하는 한편, 조작 전환부(16)에 의해 전환된 조작이, 그림 그리기의 조작이면, 그림 화상 생성부(17)에 의해 생성된 그림의 화상을 표시하도록 구성했으므로, 문자열과 함께 그림의 화상을 디스플레이(29)에 표시할 수 있는 효과를 갖는다.
본 실시의 형태 4에서는, 조작 전환부(16)가, 조작 접수부(1)에 의해 접수되는 조작이 터치 그리기의 조작일 때, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 접수부(1)에 의해 접수되는 조작을 그림 그리기의 조작으로 전환하는 한편, 조작 접수부(1)에 의해 접수되는 조작이 그림 그리기의 조작일 때, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 접수부(1)에 의해 접수되는 조작을 터치 그리기의 조작으로 전환하는 예를 나타내고 있다.
그러나, 조작 접수부(1)에 의해 접수되는 조작의 전환 방법은, 이것에 한하는 것이 아니고, 하기에 나타내는 바와 같은 전환 방법을 이용하더라도 좋다.
예컨대, 통상시에 있어서, 조작 접수부(1)에 의해 접수되는 조작은, 그림 그리기의 조작으로 설정되어 있고, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 전환부(16)가, 조작 접수부(1)에 의해 접수되는 조작을 터치 그리기의 조작으로 전환하는 지령을 조작 접수부(1)에 출력하여, 조작 접수부(1)에 의해 터치 그리기의 조작이 접수되도록 한다.
터치 그리기의 조작이 끝나면, 조작 접수부(1)에 의해 접수되는 조작이, 자동적으로 그림 그리기의 조작으로 돌아가고, 그 후, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 다시, 조작 전환부(16)가, 조작 접수부(1)에 의해 접수되는 조작을 터치 그리기의 조작으로 전환하는 지령을 조작 접수부(1)에 출력하여, 조작 접수부(1)에 의해 터치 그리기의 조작이 접수되도록 한다.
본 실시의 형태 4에서는, 조작 전환부(16)가, 포인팅 디바이스(21)의 길게 누름 조작을 검출하면, 조작 접수부(1)에 의해 접수되는 조작을 전환하는 것을 나타냈지만, 현재, 조작 접수부(1)에 의해 접수되는 조작이, 터치 그리기의 조작인지, 그림 그리기의 조작인지를 나타내는 정보를 디스플레이(29)에 표시하도록 하더라도 좋다.
또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.
(산업상 이용가능성)
본 발명과 관련되는 입력 표시 장치 및 입력 표시 방법은, 음성의 인식 결과를 나타내는 문자열을 디스플레이에 표시할 때, 유저의 자유로운 레이아웃으로 표시할 필요가 있는 것에 적합하다.
1 : 조작 접수부
2 : 문자 관리 DB
3 : 문자 관리부
4 : 궤적 화상 생성부
5 : 문자열 취득부
6 : 음성 검출부
7 : 음성 인식 사전 DB
8 : 음성 인식부
9 : 표시 제어부
10 : 문자열 일시 보존부
11 : 조작 상태 검지부
12 : 궤적 화상 생성부
13 : 표시 제어부
14 : 언어 판별부
15 : 표시 제어부
16 : 조작 전환부
17 : 그림 화상 생성부
18 : 표시 제어부
21 : 포인팅 디바이스
22 : 메모리
23 : 문자 관리 처리 회로
24 : 화상 생성 처리 회로
25 : 마이크
26 : 메모리
27 : 음성 인식 처리 회로
28 : 표시 처리 회로
29 : 디스플레이
30 : 메모리
31 : 조작 상태 검지 처리 회로
32 : 화상 생성 처리 회로
33 : 표시 처리 회로
34 : 언어 판별 처리 회로
35 : 표시 처리 회로
36 : 조작 전환 처리 회로
37 : 화상 생성 처리 회로
38 : 표시 처리 회로
41 : 메모리
42 : 프로세서

Claims (11)

  1. 터치 패널에 대하여 사용자의 터치에 의한 궤적의 입력을 접수하는 접수부와,
    상기 접수부에 의해 접수된 상기 궤적을 나타내는 궤적 화상을 생성하는 궤적 화상 생성부와,
    음성인식에 의해 문자열을 취득하는 문자열 취득부와,
    상기 문자열 취득부에 의한 상기 문자열의 취득 또는 상기 궤적 화상 생성부에 의한 상기 궤적 화상의 생성에 응답하여, 상기 문자열 취득부에 의해 취득된 문자열을 상기 궤적 화상에 겹쳐 표시하는 표시 제어부와,
    상기 접수부에 의해 접수된 궤적의 입력의 상태를 검지하는 상태 검지부를 구비하되,
    상기 표시 제어부는, 상기 궤적 화상과 상기 문자열을 겹쳐 표시한 후, 상기 궤적 화상을 지우고,
    상기 궤적 화상 생성부는, 상기 상태 검지부에 의해 검지된 궤적의 입력의 상태에 대응하는 선폭의 궤적 화상을 생성하며, 상기 상태 검지부에 의해 검지된 궤적의 입력의 상태가 도중에 변화하고 있으면, 선폭이 도중에 변화하는 궤적 화상을 생성하는 것을 특징으로 하는 입력 표시 장치.
  2. 제 1 항에 있어서,
    상기 표시 제어부는, 상기 궤적의 입력을 접수하기 전에 상기 문자열을 취득하면, 상기 문자열의 표시를 대기하고, 상기 궤적 화상이 표시되면, 상기 문자열을 상기 궤적에 겹쳐 표시하는 것을 특징으로 하는 입력 표시 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 접수부가 접수하는 궤적이란 상기 접수부로의 접촉 위치의 연속적인 변화인 입력 표시 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 표시 제어부는, 상기 문자열 취득부가 문자열을 취득하기 전에 상기 궤적의 입력을 접수하면, 상기 궤적을 표시한 후에 상기 문자열의 표시를 행하는 입력 표시 장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 표시 제어부는, 상기 문자열 취득부에 의해 취득된 문자열의 선두의 문자로부터 순서대로 후미의 문자까지 표시하는 것을 특징으로 하는 입력 표시 장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    디스플레이에 표시하는 문자의 사이즈를 관리하는 문자 관리부를 구비하고,
    상기 궤적 화상 생성부는, 상기 문자 관리부에 의해 관리되고 있는 문자의 사이즈에 대응하는 선폭의 궤적 화상을 생성하는
    것을 특징으로 하는 입력 표시 장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 문자열 취득부는, 음성의 인식 결과를 나타내는 문자열을 취득할 때, 상기 음성의 언어의 판별 결과를 취득하고,
    상기 표시 제어부는, 상기 문자열 취득부에 의해 취득된 판별 결과가 나타내는 언어에 대응하는 색으로, 상기 궤적 화상 생성부에 의해 생성된 궤적 화상을 표시하는
    것을 특징으로 하는 입력 표시 장치.
  8. 제 1 항에 있어서,
    상기 접수부에 의해 접수되는 조작을 전환하는 조작 전환부와,
    상기 조작 전환부에 의해 전환된 조작이, 디스플레이에 그림을 묘화하는 조작이면, 상기 접수부에 의해 접수된 묘화의 조작에 따라 그림의 화상을 생성하는 그림 화상 생성부
    를 구비하고,
    상기 궤적 화상 생성부는, 상기 조작 전환부에 의해 전환된 조작이, 상기 궤적의 입력일 때, 상기 접수부에 의해 접수된 궤적의 입력으로부터 상기 궤적을 나타내는 궤적 화상을 생성하고,
    상기 표시 제어부는, 상기 조작 전환부에 의해 전환된 조작이, 상기 묘화의 조작이면, 상기 그림 화상 생성부에 의해 생성된 그림의 화상을 상기 디스플레이에 표시하고, 상기 조작 전환부에 의해 전환된 조작이, 상기 궤적의 입력이면, 상기 궤적 화상 생성부에 의해 생성된 궤적 화상을 상기 디스플레이에 표시하는
    것을 특징으로 하는 입력 표시 장치.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 표시 제어부가 영상을 표시하는 디스플레이를 더 구비하는 입력 표시 장치.
  10. 터치 패널에 대하여 사용자의 터치에 의해, 문자열이 표시되는 위치를 나타내는 궤적의 입력을 접수하고,
    상기 접수한 궤적의 화상을 작성하고,
    음성인식에 의해 문자열을 취득하고,
    상기 문자열의 취득 또는 상기 궤적 화상의 작성에 응답하여, 상기 취득한 문자열을 상기 궤적 화상에 겹쳐 표시하는 표시 방법으로서,
    상기 궤적 화상과 상기 문자열을 겹쳐 표시한 후, 상기 궤적 화상을 지우고,
    상기 접수된 궤적의 입력의 상태를 검지하며,
    상기 검지된 궤적의 입력의 상태에 대응하는 선폭의 궤적 화상을 생성하고, 상기 검지된 궤적의 입력의 상태가 도중에 변화하고 있으면, 선폭이 도중에 변화하는 궤적 화상을 생성하는
    표시 방법.
  11. 터치 패널에 대하여 사용자의 터치에 의해, 문자열이 표시되는 위치를 나타내는 궤적의 입력을 접수하고,
    상기 접수한 궤적의 화상을 작성하고,
    음성인식에 의해 문자열을 취득하고,
    상기 문자열의 취득 또는 상기 궤적 화상의 작성에 응답하여, 상기 취득한 문자열을 상기 궤적 화상에 겹쳐 표시하는 표시 방법을 컴퓨터에 실행시키는 기록 매체에 기록된 컴퓨터 프로그램으로서,
    상기 궤적 화상과 상기 문자열을 겹쳐 표시한 후, 상기 궤적 화상을 지우고,
    상기 접수된 궤적의 입력의 상태를 검지하며,
    상기 검지된 궤적의 입력의 상태에 대응하는 선폭의 궤적 화상을 생성하고, 상기 검지된 궤적의 입력의 상태가 도중에 변화하고 있으면, 선폭이 도중에 변화하는 궤적 화상을 생성하는
    기록 매체에 기록된 컴퓨터 프로그램.
KR1020197023932A 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램 KR102284238B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207027668A KR102295131B1 (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/065431 WO2016189735A1 (ja) 2015-05-28 2015-05-28 入力表示装置及び入力表示方法
KR1020177027349A KR20170125366A (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177027349A Division KR20170125366A (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027668A Division KR102295131B1 (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Publications (2)

Publication Number Publication Date
KR20190099347A true KR20190099347A (ko) 2019-08-26
KR102284238B1 KR102284238B1 (ko) 2021-07-30

Family

ID=57392633

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020177027349A KR20170125366A (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램
KR1020197023932A KR102284238B1 (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램
KR1020207027668A KR102295131B1 (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177027349A KR20170125366A (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207027668A KR102295131B1 (ko) 2015-05-28 2015-05-28 입력 표시 장치, 입력 표시 방법, 및 프로그램

Country Status (6)

Country Link
US (2) US10510322B2 (ko)
EP (1) EP3306452B1 (ko)
JP (1) JP6235763B2 (ko)
KR (3) KR20170125366A (ko)
CN (2) CN107615232B (ko)
WO (1) WO2016189735A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170125366A (ko) * 2015-05-28 2017-11-14 미쓰비시덴키 가부시키가이샤 입력 표시 장치, 입력 표시 방법, 및 프로그램
CN108700981B (zh) 2016-02-08 2022-06-28 三菱电机株式会社 输入显示控制装置、输入显示控制方法和输入显示系统
CN107045498A (zh) * 2017-05-18 2017-08-15 深圳双猴科技有限公司 一种双面显示的同步翻译设备、方法、装置及电子设备
JP6848713B2 (ja) * 2017-06-21 2021-03-24 ブラザー工業株式会社 プログラム及び情報処理端末
JP6910451B2 (ja) * 2017-09-08 2021-07-28 三菱電機株式会社 表示制御装置及び表示制御方法
WO2019093156A1 (ja) * 2017-11-10 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 表示処理装置および表示処理方法、並びにプログラム
JP7023743B2 (ja) * 2018-02-28 2022-02-22 シャープ株式会社 情報処理装置、情報処理方法、及びプログラム
EP3879390B1 (en) * 2018-12-07 2023-07-26 Mitsubishi Electric Corporation Input display control method, and input display system
KR102165136B1 (ko) * 2020-03-06 2020-10-13 바즈바이오메딕(주) 무바늘 주사기
KR102165137B1 (ko) * 2020-03-06 2020-10-13 바즈바이오메딕(주) 무바늘 주사기

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830665A (ja) * 1994-07-15 1996-02-02 Sanyo Electric Co Ltd 文字図形編集方法及び装置
JPH103516A (ja) * 1996-06-17 1998-01-06 Canon Inc 情報処理方法及び装置
JP2002251280A (ja) * 2001-02-22 2002-09-06 Canon Inc 電子黒板装置およびその制御方法
KR20110133787A (ko) * 2010-06-07 2011-12-14 삼성전자주식회사 터치 스크린 및 디스플레이 방법
JP2012088969A (ja) * 2010-10-20 2012-05-10 Sharp Corp 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
KR20140074725A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0247763A (ja) * 1988-08-09 1990-02-16 Matsushita Electric Ind Co Ltd 文書処理装置
US5233438A (en) 1990-03-02 1993-08-03 Brother Kogyo Kabushiki Kaisha Entertainment apparatus for producing orchestral music accompaniment and a selected background video
JPH05127810A (ja) 1991-11-05 1993-05-25 Sharp Corp 手書文字処理装置
JPH0764998A (ja) * 1993-08-25 1995-03-10 Toshiba Corp 文書作成装置及び文字軌跡入力方法
KR0126787B1 (ko) * 1994-06-22 1998-04-01 김광호 영상노래반주장치의 예약곡 표시방법 및 이에 적합한 장치
JPH08305799A (ja) 1995-05-11 1996-11-22 Nec Home Electron Ltd 筆圧検出手書きデータ入力方法及び装置
JPH10124033A (ja) * 1996-08-30 1998-05-15 Canon Inc 文字処理装置、文字処理方法、及び、記憶媒体
JP4158236B2 (ja) * 1997-09-19 2008-10-01 ソニー株式会社 遠隔操作装置
JPH11154200A (ja) * 1997-11-21 1999-06-08 Oki Electric Ind Co Ltd 文字認識装置
US6202049B1 (en) * 1999-03-09 2001-03-13 Matsushita Electric Industrial Co., Ltd. Identification of unit overlap regions for concatenative speech synthesis system
JP2002297305A (ja) * 2001-03-30 2002-10-11 Mitsubishi Electric Corp 情報入力装置および携帯端末
JP2004102632A (ja) * 2002-09-09 2004-04-02 Ricoh Co Ltd 音声認識装置および画像処理装置
JP3865681B2 (ja) 2002-10-18 2007-01-10 株式会社 ワコムアイティ 毛筆描画装置、毛筆描画プログラムおよび毛筆描画方法
US20040119762A1 (en) 2002-12-24 2004-06-24 Fuji Xerox Co., Ltd. Systems and methods for freeform pasting
CN1750117A (zh) * 2004-09-16 2006-03-22 乐金电子（惠州）有限公司 伴唱机歌曲搜索系统及其旋律数据库构成方法
JP4712675B2 (ja) 2005-06-10 2011-06-29 株式会社メイクソフトウェア 画像編集装置、画像編集方法、画像編集プログラム及び自動写真撮影装置
CN101192107A (zh) * 2006-11-28 2008-06-04 国际商业机器公司 用于输入并显示字符串的方法和设备
CN101067929B (zh) * 2007-06-05 2011-04-20 南京大学 使用共振峰增强提取话音共振峰轨迹的方法
US8482545B2 (en) * 2008-10-02 2013-07-09 Wacom Co., Ltd. Combination touch and transducer input system and method
US8780131B2 (en) * 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US9035973B2 (en) * 2009-10-23 2015-05-19 Kyocera Mita Corporation Display device and display control method
CN201577180U (zh) * 2009-11-10 2010-09-08 北京九鹤科技有限公司 声道管适配器
JP5623853B2 (ja) * 2010-09-29 2014-11-12 株式会社カプコン 画像処理プログラム、及び画像処理装置
JP2012109901A (ja) * 2010-11-19 2012-06-07 Elmo Co Ltd 資料提示装置
KR101898202B1 (ko) * 2012-02-09 2018-09-12 삼성전자주식회사 필기 인식을 위한 필기 입력 가이드 장치 및 방법
US9529486B2 (en) * 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
JP5458161B1 (ja) * 2012-10-23 2014-04-02 株式会社東芝 電子機器および方法
KR102051093B1 (ko) * 2013-02-01 2019-12-02 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20140116642A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 음성 인식 기반의 기능 제어 방법 및 장치
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
CN104391643A (zh) * 2014-10-30 2015-03-04 深圳市金立通信设备有限公司 一种终端
KR20170125366A (ko) * 2015-05-28 2017-11-14 미쓰비시덴키 가부시키가이샤 입력 표시 장치, 입력 표시 방법, 및 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830665A (ja) * 1994-07-15 1996-02-02 Sanyo Electric Co Ltd 文字図形編集方法及び装置
JPH103516A (ja) * 1996-06-17 1998-01-06 Canon Inc 情報処理方法及び装置
JP2002251280A (ja) * 2001-02-22 2002-09-06 Canon Inc 電子黒板装置およびその制御方法
KR20110133787A (ko) * 2010-06-07 2011-12-14 삼성전자주식회사 터치 스크린 및 디스플레이 방법
JP2012088969A (ja) * 2010-10-20 2012-05-10 Sharp Corp 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
KR20140074725A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법

Also Published As

Publication number Publication date
KR20170125366A (ko) 2017-11-14
US10510322B2 (en) 2019-12-17
US20180005604A1 (en) 2018-01-04
CN113268186A (zh) 2021-08-17
CN107615232A (zh) 2018-01-19
EP3306452B1 (en) 2022-04-20
EP3306452A1 (en) 2018-04-11
US20200066232A1 (en) 2020-02-27
JP6235763B2 (ja) 2017-11-22
CN107615232B (zh) 2021-12-14
KR102295131B1 (ko) 2021-08-27
KR20200115670A (ko) 2020-10-07
US10748506B2 (en) 2020-08-18
JPWO2016189735A1 (ja) 2017-07-13
EP3306452A4 (en) 2018-11-21
KR102284238B1 (ko) 2021-07-30
WO2016189735A1 (ja) 2016-12-01

Similar Documents

Publication Publication Date Title
KR20190099347A (ko) 입력 표시 장치, 입력 표시 방법, 및 프로그램
JP6903808B2 (ja) リアルタイム手書き認識の管理
RU2702270C2 (ru) Обнаружение выбора рукописного фрагмента
JP6195939B2 (ja) 複合的な知覚感知入力の対話
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
KR20080104099A (ko) 입력 장치 및 그 입력 방법
JP6991486B2 (ja) 文字列に文字を挿入するための方法およびシステム
JP6841239B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6355823B2 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
JP6463442B2 (ja) 入力表示装置、入力表示方法及び入力表示プログラム
US9430702B2 (en) Character input apparatus and method based on handwriting
JP6675472B2 (ja) 入力表示装置
KR20070060885A (ko) 다양한 인식 기술을 이용한 입력 인터페이스 제공 방법
CN112788390A (zh) 一种基于人机交互的控制方法、装置、设备及存储介质
US20190235710A1 (en) Page Turning Method and System for Digital Devices
JP6448838B2 (ja) 表示制御装置、表示制御方法及びプログラム
Sachdeva et al. A Novel Technique for Hand Gesture Recognition
WO2020115909A1 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
JP2023042181A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101002375; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20200924

Effective date: 20210504

GRNO Decision to grant (after opposition)
GRNT Written decision to grant