KR20190055273A - 표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램 - Google Patents

표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20190055273A
KR20190055273A KR1020197013942A KR20197013942A KR20190055273A KR 20190055273 A KR20190055273 A KR 20190055273A KR 1020197013942 A KR1020197013942 A KR 1020197013942A KR 20197013942 A KR20197013942 A KR 20197013942A KR 20190055273 A KR20190055273 A KR 20190055273A
Authority
KR
South Korea
Prior art keywords
character string
curve
information
unit
display control
Prior art date
Application number
KR1020197013942A
Other languages
English (en)
Other versions
KR102174565B1 (ko
Inventor
마사토 히라이
아키코 이마이시
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20190055273A publication Critical patent/KR20190055273A/ko
Application granted granted Critical
Publication of KR102174565B1 publication Critical patent/KR102174565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F17/289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자 열 취득부(10)에 의해 취득된 문자 열의 일부를, 곡선을 따라 표시할 수 없다고 판단하는 경우, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 그 곡선의 연장 부분의 형상을 결정해서, 그 곡선을 연장하고, 연장 부분의 곡선을 따라, 그 문자 열의 일부를 표시하기 위한 표시 정보를 생성하도록 구성한다.

Description

표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램{DISPLAY CONTROL DEVICE, INPUT DISPLAY SYSTEM, DISPLAY CONTROL METHOD, AND PROGRAM}
본 발명은 문자 열을 표시하기 위한 표시 정보를 생성하는 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템에 관한 것이다.
이하의 특허문헌 1에는, 곡선 등의 선을 따라서 문자 열을 표시하는 표시 장치가 개시되어 있다.
특허문헌 1 : 일본 공개 특허 공보 특개평 10-124033 호
종래의 표시 장치는 이상과 같이 구성되어 있으므로, 곡선의 길이가 문자 열의 길이보다 길면, 문자 열의 전부를, 곡선을 따라 표시할 수 있다. 그러나, 곡선의 길이가 문자 열의 길이보다 짧은 경우, 문자 열의 일부를, 곡선을 따라 표시할 수 없다고 하는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 취득한 곡선의 길이가 문자 열의 길이보다 짧은 경우에도, 문자 열의 전부를, 곡선을 따라 표시할 수 있는 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템을 얻는 것을 목적으로 한다.
본 발명에 따른 입력 표시 제어 장치는, 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와, 문자 열을 취득하는 문자 열 취득부와, 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 따라서, 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부를 구비하고, 표시 제어부가, 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자 열 취득부에 의해 취득된 문자 열의 일부를, 곡선을 따라 표시할 수 없다고 판단한 경우, 그 곡선의 형상으로부터, 그 곡선의 연장 부분의 형상을 결정해서, 그 곡선을 연장하고, 그 연장 부분의 곡선을 따라서, 문자 열의 일부를 표시하기 위한 표시 정보를 생성하도록 한 것이다.
본 발명에 따르면, 표시 제어부가, 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자 열 취득부에 의해 취득된 문자 열의 일부를, 곡선을 따라 표시할 수 없다고 판단한 경우, 그 곡선의 형상으로부터, 그 곡선의 연장 부분의 형상을 결정해서, 그 곡선을 연장하고, 그 연장 부분의 곡선을 따라서, 문자 열의 일부를 표시하기 위한 표시 정보를 생성하도록 구성했으므로, 취득한 곡선의 길이가 문자 열의 길이보다 짧은 경우에도, 문자 열의 전부를, 곡선을 따라 표시할 수 있는 효과가 있다.
도 1은 본 발명의 실시 형태 1에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 2는 본 발명의 실시 형태 1에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 3은 입력 표시 시스템이 소프트웨어나 펌웨어 등으로 실현되는 경우의 컴퓨터의 하드웨어 구성도이다.
도 4는 본 발명의 실시 형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 흐름도이다(파트 1).
도 5는 본 발명의 실시 형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 흐름도이다(파트 2).
도 6은 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 나타내는 설명도이다.
도 7은 음성의 인식 결과를 나타내는 문자 열이 출력되기 전에 곡선 화상이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 8은 곡선 화상이 출력되기 전에 음성의 인식 결과를 나타내는 문자 열이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 9(a)는 곡선의 길이가 문자 열의 길이보다 길면, 그 문자 열을 구성하고 있는 모든 문자를 곡선 화상의 위에 겹쳐 표시할 수 있는 것을 나타내는 설명도이고, 도 9(b)는 곡선의 길이가 문자 열의 길이보다 짧으면, 그 문자 열을 구성하고 있는 일부의 문자를 곡선 화상의 위에 겹쳐 표시할 수 없는 것을 나타내는 설명도이다.
도 10(a)는 곡선의 형상이 직선인 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단 및 종단의 위치 좌표를 나타내는 설명도이고, 도 10(b)는 곡선의 형상이 휘어져 있는 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단, 종단 및 중간점의 위치 좌표를 나타내는 설명도이다.
도 11은 표시 제어부(12)의 연장 곡선 형상 결정부(14)의 처리 내용을 나타내는 설명도이다.
도 12(a)는 연장 곡선의 형상이 원래의 곡선의 종단부에 있어서의 접선의 형상인 예를 나타내는 설명도, 도 12(b)는 연장 곡선의 형상이 원래의 곡선의 형상과 동일한 곡율인 예를 나타내는 설명도, 도 12(c)는 연장 곡선의 형상이 원래의 곡선의 형상과 동일한 주기의 파선 형상인 예를 나타내는 설명도, 도 12(d)는 연장 곡선의 형상이 원호 형상인 예를 나타내는 설명도이다.
도 13은 표시 제어부(12)의 곡선 연장부(17)의 처리 내용을 나타내는 설명도이다.
도 14는 본 발명의 실시 형태 2에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 15는 본 발명의 실시 형태 2에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 16은 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
도 17은 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
도 18은 번역 결과를 나타내는 문자 열을 표시하는 예를 나타내는 설명도이다.
도 19는 번역 결과를 나타내는 문자 열을 표시하는 예를 나타내는 설명도이다.
도 20은 디스플레이(32)가 서로 상변을 맞댄(face-to-face) 2 화면으로 구성되어 있는 경우의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
도 21은 번역 결과를 나타내는 문자 열을 표시하는 예를 나타내는 설명도이다.
도 22는 본 발명의 실시 형태 3에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 23은 본 발명의 실시 형태 3에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 24는 문자의 인식 결과를 나타내는 문자 열의 표시 처리의 일례를 나타내는 설명도이다.
도 25는 본 발명의 실시 형태 4에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 26은 번역 결과를 나타내는 문자 열의 표시 처리의 일례를 나타내는 설명도이다.
이하, 본 발명을 보다 상세하게 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해, 첨부의 도면을 참조해서 설명한다.
실시 형태 1.
도 1은 본 발명의 실시 형태 1에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이며, 도 2는 본 발명의 실시 형태 1에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 1 및 도 2에 있어서, 조작 접수부(1)는 포인팅 디바이스(21)로 실현되고, 유저의 조작으로서, 선을 그리는 조작을 접수하는 처리를 실시한다.
본 실시 형태 1에서는, 포인팅 디바이스(21)로서 터치 패널을 이용하는 것을 상정하고 있지만, 터치 패널에 한정하는 것이 아니고, 예를 들면, 조이스틱, 포인팅 스틱(트랙 포인트), 터치 패드, 스타일러스, 데이터 글로브, 트랙볼, 펜 테이블, 마우스, 라이트 펜, 조이 패드 등을 이용할 수 있다.
문자 관리 DB(2)는 예를 들면 기억 처리 회로(22)로 실현되고, 문자 유형과 문자 사이즈와 문자 높이와 문자 폭의 대응 관계를 나타내는 문자 속성표를 기억하고 있다.
문자 관리부(3)는 예를 들면 문자 관리 처리 회로(23)로 실현되는 것이다. 문자 관리부(3)는 사전에 디스플레이(32)에 표시하는 문자의 사이즈가 설정되고, 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조해서, 그 문자 사이즈에 대응하는 문자 높이를 나타내는 문자 속성 정보를 궤적 판별부(4)에 출력함과 아울러, 그 문자 사이즈에 대응하는 문자 높이 및 문자 폭을 나타내는 문자 속성 정보를 입력 표시 제어 장치(100)에 출력하는 처리를 실시한다.
궤적 판별부(4)는 예를 들면 화상 생성 처리 회로(24)로 실현되는 것이고, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 선의 궤적을 판별해서, 그 궤적을 나타내는 곡선의 길이나 형상 등, 그 곡선을 나타내는 곡선 정보를 입력 표시 제어 장치(100)에 출력하는 처리를 실시한다. 이 곡선에는, 직선이나 꺽여진 선 등, 모든 형상의 선이 포함되는 것으로 한다.
또, 궤적 판별부(4)는 궤적을 나타내는 곡선의 화상인 곡선 화상을 생성하고, 그 곡선 화상을 입력 표시 제어 장치(100)에 출력하는 처리를 실시한다. 이 곡선 화상은 곡선 정보에 포함되어 입력 표시 제어 장치(100)에 출력된다.
이 곡선 화상의 선 폭은 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 높이에 대응하고 있다.
문자 열 인식부(5)는 음성 검출부(6), 음성 인식 사전 DB(7) 및 음성 인식부(8)를 포함하고 있고, 음성의 인식 결과를 나타내는 문자 열을 표시 대상의 문자 열으로 해서, 입력 표시 제어 장치(100)에 출력하는 처리를 실시한다.
음성 검출부(6)는 예를 들면 마이크(25)로 실현되어, 유저의 음성을 검출한다.
음성 인식 사전 DB(7)는 예를 들면 기억 처리 회로(22)로 실현되는 것이고, 음성 인식 사전 DB(7)는 예를 들면 인간의 발성의 작은 단위인 음소의 음향 특징이 기술되고 있는 음향 모델과, 음성 인식되는 단어가 기술되어 있는 인식 사전으로 구성되어 있다.
음성 인식부(8)는 예를 들면 음성 인식 처리 회로(26)로 실현되는 것이고, 음성 검출부(6)에 의해 검출된 음성을 인식하는 음성 인식 엔진을 탑재하고 있다.
즉, 음성 인식부(8)는 음성 검출부(6)에 의해 검출된 음성을 분석해서, 그 음성의 음향 특징을 산출하고, 음성 인식 사전 DB(7)의 인식 사전에 기술되어 있는 단어 중에서, 그 산출한 음향 특징과 가장 가까운 음향 특징을 가지는 단어를 탐색하고, 그 단어를 나타내는 문자 열을 음성의 인식 결과를 나타내는 문자 열로서 입력 표시 제어 장치(100)에 출력하는 처리를 실시한다.
도 1에서는, 문자 열 인식부(5)가 음성 인식 사전 DB(7) 및 음성 인식부(8)를 실장하고 있는 예를 나타내고 있지만, 음성 인식 사전 DB(7) 및 음성 인식부(8) 대신에, 데이터 송수신부가 실장되어 있는 것이어도 좋다.
이 데이터 송수신부는, 예를 들면, 인터넷이나 LAN 등의 통신 경로를 통해서, 도시하지 않는 음성 인식 서버와 데이터의 송수신을 행하는 것이 가능한 네트워크 카드 등의 네트워크 통신 기기이며, 음성 검출부(6)에 의해 검출된 음성을 나타내는 데이터를 음성 인식 서버에 송신한다.
음성 인식 서버는 음성을 인식하는 음성 인식 엔진을 탑재하고 있고, 데이터 송수신부로부터 송신된 음성을 나타내는 데이터를 수신하면, 그 음성을 인식해서, 그 음성의 인식 결과를 나타내는 문자 열을 해당 데이터 송수신부에 송신한다.
이 데이터 송수신부는, 음성 인식 서버로부터 송신된 음성의 인식 결과를 나타내는 문자 열을 수신하면, 그 문자 열을 입력 표시 제어 장치에 출력한다.
입력 표시 제어 장치(100)는 곡선 정보 취득부(9), 문자 열 취득부(10), 문자 속성 정보 취득부(11) 및 표시 제어부(12)를 구비하고 있다.
곡선 정보 취득부(9)는 예를 들면 LAN(Local Area Network) 포트나 USB(Universal Serial Bus) 포트 등을 갖는 입력 인터페이스 회로(27)로 실현되는 것이고, 궤적 판별부(4)로부터 출력된 곡선 정보를 취득하는 처리를 실시한다.
문자 열 취득부(10)는 예를 들면 입력 인터페이스 회로(27)로 실현되는 것이고, 문자 열 인식부(5)로부터 출력된 문자 열을 취득하는 처리를 실시한다.
문자 속성 정보 취득부(11)는 예를 들면 입력 인터페이스 회로(27)로 실현되는 것이고, 문자 관리부(3)로부터 출력된 문자 속성 정보를 취득하는 처리를 실시한다.
표시 제어부(12)는 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17) 및 표시 처리부(18)를 포함하고 있고, 궤적 판별부(4)로부터 출력된 곡선 정보가 나타내는 곡선을 따라서, 문자 열 인식부(5)로부터 출력된 문자 열을 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 문자 열을, 곡선을 따라서 표시시키는 처리를 실시한다. 즉, 문자 열 인식부(5)로부터 출력된 문자 열을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보에 포함되는 곡선 화상의 위에 겹쳐 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 문자 열을 곡선 화상의 위에 겹쳐 표시시키는 처리를 실시한다.
또, 표시 제어부(12)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자 열 인식부(5)로부터 출력된 문자 열의 일부를, 곡선을 따라 표시할 수 없다고 판단한 경우, 그 곡선의 형상으로부터, 그 곡선의 연장 부분의 형상을 결정해서, 그 곡선을 연장함과 아울러, 그 연장 부분의 곡선을 따라, 문자 열의 일부를 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 문자 열의 일부를 표시시키는 처리를 실시한다.
또한, 표시 제어부(12)는, 문자 열을 곡선 화상의 위에 겹쳐 표시한 후, 그 곡선 화상의 표시를 소거하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 곡선 화상을 소거시키는 처리를 실시한다.
길이 비교부(13)는 예를 들면 길이 비교 처리 회로(28)로 실현되는 것이고, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이와 문자 열 취득부(10)에 의해 취득된 문자 열의 길이를 비교하는 처리를 실시한다.
연장 곡선 형상 결정부(14)는 예를 들면 형상 결정 처리 회로(29)로 실현되는 것이고, 곡선 기억부(15) 및 형상 결정 처리부(16)를 구비하고 있다. 연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자 열의 길이보다 짧은 취지를 나타내고 있으면, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정하는 처리를 실시한다.
곡선 기억부(15)는 사전에 형상이 상이한 복수의 곡선을 기억하고 있다.
형상 결정 처리부(16)는 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상과, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상을 대조해서, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선에 대응하는 곡선의 형상을 선택하고, 그 선택한 곡선의 형상으로부터 연장 곡선의 형상을 결정하는 처리를 실시한다.
곡선 연장부(17)는 예를 들면 곡선 연장 처리 회로(30)로 실현되는 것이고, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자 열의 길이보다 짧은 취지를 나타내고 있으면, 연장 곡선 형상 결정부(14)에 의해 형상이 결정된 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가하는 처리를 실시한다.
표시 처리부(18)는 예를 들면 표시 처리 회로(31)로 실현되는 것이고, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자 열 취득부(10)에 의해 취득된 문자 열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 디스플레이(32)에 문자 열을 표시시키는 처리를 실시한다. 즉, 문자 열 취득부(10)로부터 출력된 문자 열을 곡선 정보 취득부(9)에 의해 취득된 곡선 화상의 위에 겹쳐 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 디스플레이(32)에 문자 열을 곡선 화상의 위에 겹쳐 표시시키는 처리를 실시한다.
또, 표시 처리부(18)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자 열의 길이보다 짧은 취지를 나타내고 있으면, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 곡선 화상의 위에 겹쳐 표시되지 않은 문자 열의 일부를 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 디스플레이(32)에 문자 열의 일부를 표시시키는 처리를 실시한다.
또한, 표시 처리부(18)는 디스플레이(32)에 문자 열을 표시한 후, 곡선 화상의 표시를 소거하기 위한 표시 정보를 생성해, 그 표시 정보에 따라 디스플레이(32)에 곡선 화상을 소거시키는 처리를 실시한다.
문자 열 일시 보존부(19)는 예를 들면 기억 처리 회로(22)로 실현되고, 문자 열 취득부(10)에 의해 취득된 문자 열을 일시적으로 보존한다.
도 1에서는, 입력 표시 시스템의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 문자 열 인식부(5), 곡선 정보 취득부(9), 문자 열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 표시 처리부(18) 및 문자 열 일시 보존부(19)의 각각이, 도 2에 나타내는 전용의 하드웨어, 즉, 포인팅 디바이스(21), 기억 처리 회로(22), 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 마이크(25), 음성 인식 처리 회로(26), 입력 인터페이스 회로(27), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30), 표시 처리 회로(31) 및 디스플레이(32)로 실현되는 것을 상정하고 있다.
여기서, 기억 처리 회로(22)는, 예를 들면, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 등의 비휘발성 또는 휘발성의 반도체 메모리나, 자기 디스크, 플렉시블 디스크, 광디스크, 콤팩트 디스크, 미니 디스크, DVD(Digital Versatile Disc) 등이 해당한다.
또, 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 음성 인식 처리 회로(26), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30) 및 표시 처리 회로(31)는 예를 들면, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array) 또는 이들을 조합한 것이 해당한다.
또, 입력 표시 시스템의 구성 요소가 전용의 하드웨어로 실현되는 것에 한정하는 것이 아니고, 입력 표시 시스템이 소프트웨어, 펌웨어, 또는 소프트웨어와 펌웨어의 조합으로 실현되는 것이어도 좋다.
소프트웨어나 펌웨어는 프로그램으로서 컴퓨터의 메모리에 저장된다. 컴퓨터는 프로그램을 실행하는 하드웨어를 의미하고, 예를 들면, CPU(Central Processing Unit), 중앙 처리 장치, 처리 장치, 연산 장치, 마이크로프로세서, 마이크로컴퓨터, 프로세서, DSP(Digital Signal Processor) 등이 해당한다.
도 3은 입력 표시 시스템이 소프트웨어나 펌웨어 등으로 실현되는 경우의 컴퓨터의 하드웨어 구성도이다.
입력 표시 시스템이 소프트웨어나 펌웨어 등으로 실현되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자 열 일시 보존부(19)를 컴퓨터의 메모리(41) 상에 구성함과 아울러, 문자 관리부(3), 궤적 판별부(4), 음성 인식부(8), 곡선 정보 취득부(9), 문자 열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17) 및 표시 처리부(18)의 처리 순서를 컴퓨터로 하여금 실행하게 하기 위한 프로그램을 메모리(41)에 저장하고, 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 좋다.
도 4 및 도 5는 본 발명의 실시 형태 1에 따른 입력 표시 시스템의 처리 내용인 입력 표시 제어 방법을 나타내는 흐름도이다.
또, 도 2에서는 입력 표시 시스템의 구성 요소의 각각이 전용의 하드웨어로 실현되는 예를 나타내고, 도 3에서는 입력 표시 시스템이 소프트웨어나 펌웨어 등으로 실현되는 예를 나타내고 있지만, 입력 표시 시스템에 있어서의 일부의 구성 요소가 전용의 하드웨어로 실현되고, 나머지의 구성 요소가 소프트웨어나 펌웨어 등으로 실현되는 것이어도 좋다.
예를 들면, 조작 접수부(1) 및 문자 열 인식부(5)를 전용의 하드웨어로 실현하고, 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 입력 표시 제어 장치(100) 및 문자 열 일시 보존부(19)를 소프트웨어나 펌웨어 등으로 실현하는 것이 가능하다. 다만, 전용의 하드웨어와 소프트웨어 등의 조합은 임의이다.
다음으로 동작에 대해 설명한다.
도 6은 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 나타내는 설명도이다.
도 6의 문자 속성표에서는, 예를 들면, 문자 유형마다, 문자 사이즈에 대응하고 있는 문자 높이와 문자 폭이 기술되어 있다. 문자 유형으로서는, 예를 들면, 명조체, 고딕체 등이 고려된다.
문자 관리부(3)에는, 디스플레이(32)에 표시하는 문자의 문자 유형 및 문자 사이즈가 사전에 설정되어 있고, 문자 관리부(3)는 문자 관리 DB(2)에 기억되어 있는 문자 속성표를 참조해서, 그 문자 유형 및 문자 사이즈에 대응하는 문자 높이를 나타내는 문자 속성 정보를 궤적 판별부(4)에 출력함과 아울러, 그 문자 유형 및 문자 사이즈에 대응하는 문자 높이 및 문자 폭을 나타내는 문자 속성 정보를 입력 표시 제어 장치(100)에 출력한다(도 4의 스텝 ST1).
예를 들면, 사전에 설정되어 있는 문자의 문자 유형이 “A”이고, 그 문자 사이즈가 “10”이면, 문자 높이가 “5mm”인 것을 나타내는 문자 속성 정보가 궤적 판별부(4)에 출력되고, 또한, 문자 높이가 “5mm”, 문자 폭이 “5mm”인 것을 나타내는 문자 속성 정보가 입력 표시 제어 장치(100)에 출력된다.
또, 사전에 설정되어 있는 문자의 문자 유형이 “B”이고, 그 문자 사이즈가 “5”이면, 문자 높이가 “2mm”인 것을 나타내는 문자 속성 정보가 궤적 판별부(4)에 출력되고, 또한, 문자 높이가 “2mm”, 문자 폭이 “1.25mm”인 것을 나타내는 문자 속성 정보가 입력 표시 제어 장치(100)에 출력된다.
궤적 판별부(4)는 문자 관리부(3)로부터 문자 속성 정보를 받으면, 생성하는 곡선 화상의 선 폭을 문자 속성 정보가 나타내는 문자 높이에 대응하는 선 폭으로 설정한다(스텝 ST2).
예를 들면, 문자 속성 정보가 나타내는 문자 높이가 “10mm”일 때, 만일 문자의 상부 및 하부의 여백이 “0.5mm”로 설정되어 있다고 하면, 10＋0.5＋0.5=11(mm)로 계산해서, 곡선 화상의 선 폭을 “11mm”로 설정한다.
여기에서는, 문자의 상부 및 하부에 여백을 마련하는 예를 나타내고 있지만, 여백을 마련하지 않고, 문자 속성 정보가 나타내는 문자 높이와 곡선 화상의 선 폭이 일치하는 것이어도 좋다.
본 실시 형태 1에서는, 조작 접수부(1)를 실현하고 있는 포인팅 디바이스(21)가 터치 패널인 것을 상정하고 있으므로, 유저가 자기의 손가락이나, 터치 패널용의 입력 펜 등을 이용해서, 선을 그리는 조작을 터치 패널에 행하면(스텝 ST3：YES의 경우), 조작 접수부(1)가, 선을 그리는 조작을 접수해서, 그 조작의 내용을 궤적 판별부(4)에 출력한다(스텝 ST4).
출력되는 선을 그리는 조작의 내용은, 예를 들면, 터치 패널에 접촉하고 있는 손가락이나 입력 펜의 위치의 좌표, 즉, 터치 패널 상의 위치 좌표의 연속적인 변화를 나타내는 시계열 데이터이다.
궤적 판별부(4)는, 조작 접수부(1)로부터 선을 그리는 조작의 내용을 받으면, 그 조작 내용으로부터 조작에 의해 그려진 선의 궤적을 판별한다(스텝 ST5).
선을 그리는 조작의 내용은, 상술한 바와 같이, 터치 패널에 대한 접촉 위치의 연속적인 변화를 나타내고 있으므로, 시계열의 접촉 위치를 연결함으로써, 그려진 선의 궤적을 판별할 수 있다.
궤적 판별부(4)는, 그려진 선의 궤적을 판별하면, 그 궤적을 나타내는 곡선의 길이나 형상 등, 그 곡선을 나타내는 곡선 정보를 생성한다.
또, 궤적 판별부(4)는, 그 궤적을 나타내는 곡선의 화상인 곡선 화상을 생성하고, 그 곡선 화상을 포함한 곡선 정보를 입력 표시 제어 장치(100)에 출력한다(스텝 ST6).
이 곡선 화상의 선 폭은 스텝 ST2에서 설정한 선 폭이며, 상기의 예에서는, 곡선 화상의 선 폭을 “11mm”로 설정하고 있으므로, 선 폭이 “11mm”인 곡선 화상을 생성한다.
문자 열 인식부(5)의 음성 인식부(8)는, 음성 검출부(6)가 유저의 음성을 검출하면(스텝 ST7：YES의 경우), 음성 인식 사전 DB(7)를 이용해서, 그 음성의 인식 처리를 실시함으로써, 그 음성의 인식 결과를 나타내는 문자 열을 생성하고, 그 문자 열을 입력 표시 제어 장치(100)에 출력한다(스텝 ST8).
음성 인식부(8)에 의한 음성의 인식 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예를 들면, 음성 검출부(6)에 의해 검출된 음성을 분석해서, 그 음성의 음향 특징을 산출하고, 음성 인식 사전 DB(7)의 인식 사전에 기술되고 있는 단어 중에서, 그 산출한 음향 특징과 가장 가까운 음향 특징을 가지는 단어를 탐색하고, 그 단어를 나타내는 문자 열을 음성의 인식 결과를 나타내는 문자 열로서 출력하는 방법이 고려된다.
본 실시 형태 1에서는, 설명의 편의상, 유저가 「
Figure pat00001
」라고 발화(發話)하고 있고, 음성 인식부(8)가 「
Figure pat00002
」를 나타내는 문자 열을 출력하는 것으로 한다.
입력 표시 제어 장치(100)는, 궤적 판별부(4)로부터 곡선 화상을 포함한 곡선 정보가 출력되면, 그 곡선 화상을 디스플레이(32)에 표시시킴과 아울러, 문자 열 인식부(5)로부터 출력된 문자 열을 곡선 화상의 위에 겹쳐 표시시킨다.
이하, 입력 표시 제어 장치(100)의 처리 내용을 구체적으로 설명한다.
도 7은 음성의 인식 결과를 나타내는 문자 열이 출력되기 전에 곡선 화상이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 8은 곡선 화상이 출력되기 전에 음성의 인식 결과를 나타내는 문자 열이 출력된 경우의 표시 처리를 나타내는 설명도이다.
도 9는 곡선 화상의 위에 겹쳐 표시하는 문자 열을 나타내는 설명도이다. 도 9(a)는 곡선의 길이가 문자 열의 길이보다 길면, 그 문자 열을 구성하고 있는 모든 문자를 곡선 화상의 위에 겹쳐 표시할 수 있는 것을 나타내고 있다. 도 9(b)는 곡선의 길이가 문자 열의 길이보다 짧으면, 그 문자 열을 구성하고 있는 일부의 문자를 곡선 화상의 위에 겹쳐 표시할 수 없는 것을 나타내고 있다.
도 10은 표시 제어부(12)의 길이 비교부(13)의 처리 내용을 나타내는 설명도이다. 도 10(a)는 곡선의 형상이 직선인 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단 및 종단의 위치 좌표를 나타내고 있다. 도 10(b)는 곡선의 형상이 휘어져 있는 경우에, 곡선의 길이 L의 산출에 이용하는 곡선의 선단, 종단 및 중간점의 위치 좌표를 나타내고 있다.
도 11은 표시 제어부(12)의 연장 곡선 형상 결정부(14)의 처리 내용을 나타내는 설명도이다.
도 12는 표시 제어부(12)의 연장 곡선 형상 결정부(14)에 의해 결정된 연장 곡선의 형상의 일례를 나타내는 설명도이다.
도 13은 표시 제어부(12)의 곡선 연장부(17)의 처리 내용을 나타내는 설명도이다.
표시 제어부(12)의 표시 처리부(18)는, 문자 열 인식부(5)의 음성 인식부(8)로부터 문자 열이 출력되기 전에, 궤적 판별부(4)로부터 곡선 화상을 포함한 곡선 정보가 출력됨으로써, 곡선 정보 취득부(9)가 곡선 정보를 취득하면(도 5의 스텝 ST11：YES의 경우), 곡선 화상을 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라, 도 7의 스텝 A에 나타내는 바와 같이, 그 곡선 화상을 디스플레이(32)에 표시시킨다(스텝 ST12).
본 실시 형태 1에서는, 설명의 편의상, 유저의 조작에 의해 그려져 있는 선의 길이가 짧기 때문에, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자 열의 길이보다 짧게 되어 있는 것으로 한다.
또한, 표시 처리부(18)가 곡선 화상을 표시시킬 때, 곡선 화상의 전체를 동시에 표시시키도록 해도 좋지만, 다음에 표시하는 문자 열의 선두측으로부터 순차 표시하는 애니메이션으로, 곡선 화상을 표시시키도록 해도 좋다.
표시 처리부(18)는, 예를 들면, 도 7의 스텝 B에 나타내는 바와 같이, 유저가 「
Figure pat00003
」라고 발화함으로써, 음성 인식부(8)로부터 「
Figure pat00004
」를 나타내는 문자 열을 받으면(도 5의 스텝 ST13：YES의 경우), 그 문자 열을 곡선 화상의 위에 겹쳐 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라, 도 7의 스텝 C에 나타내는 바와 같이, 그 문자 열을 곡선 화상의 위에 겹쳐 표시시킨다(스텝 ST14).
다만, 도 7의 예에서는, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자 열의 길이보다 짧기 때문에, 문자 열 가운데, 「
Figure pat00005
」에 대해서는 곡선 화상의 위에 겹쳐 표시되고 있지만, 「
Figure pat00006
」에 대해서는 곡선 화상의 위에 겹쳐 표시되어 있지 않다.
표시 제어부(12)의 길이 비교부(13)는, 문자 열 취득부(10)가 음성 인식부(8)로부터 출력된 「
Figure pat00007
」를 나타내는 문자 열을 취득하면, 문자 관리부(3)로부터 출력된 후, 문자 속성 정보 취득부(11)에 의해 취득된 문자 속성 정보가 나타내는 문자 폭을 참조해서, 그 문자 열의 길이를 산출한다(도 5의 스텝 ST15).
여기에서는, 음성 인식부(8)로부터 출력된 문자 열이 「
Figure pat00008
」이고, 그 문자 열의 문자수가 16이기 때문에, 예를 들면, 문자 관리부(3)로부터 출력된 문자 속성 정보가 나타내는 문자 폭이 “5mm”이면, 문자 열의 길이는, 아래와 같은 식(1)에 나타내는 바와 같이, 80mm가 된다.
Figure pat00009
다음으로, 길이 비교부(13)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이를 산출한다(스텝 ST16).
곡선의 길이 L는, 곡선의 형상이 예를 들면 도 10(a)에 나타내는 바와 같은 직선이면, 아래와 같은 식(2)에 나타내는 바와 같이, 그 곡선의 선단의 위치 좌표(Xs, Ys)와 종단의 위치 좌표(Xe, Ye)로부터 산출할 수 있다. 도 7의 스텝 A에 표시하고 있는 곡선 화상의 경우, 곡선의 좌단이 곡선의 선단, 곡선의 우단이 곡선의 종단이다. 이들의 위치 좌표는 문자 폭 등을 나타내는 단위와 동일한 단위인 것으로 한다. 여기에서는, mm가 단위이다.
Figure pat00010
식(2)에서는, 곡선의 형상이 직선인 경우의 곡선의 길이 L의 산출식을 나타내고 있지만, 곡선의 형상이 예를 들면 도 10(b)에 나타내는 곡선이면, 그 곡선의 선단의 위치 좌표(Xs, Ys) 및 종단의 위치 좌표(Xe, Ye)와, 그 곡선의 선단으로부터 종단에 이르는 복수의 중간점의 위치 좌표(Xn, Yn)(n=1,···, N：N는 1이상의 정수)를 이용해서, 곡선의 형상을 직선으로 근사함으로써, 곡선의 길이 L를 산출할 수 있다.
곡선의 길이 L는, 예를 들면, N=2의 경우, 아래의 식(3)에 나타내는 바와 같이, 곡선의 선단의 위치 좌표(Xs, Ys)와, 중간점의 위치 좌표(X1, Y1)와, 중간점의 위치 좌표(X2, Y2)와, 종단의 위치 좌표(Xe, Ye)로부터 산출할 수 있다.
Figure pat00011
식(3)에 있어서, Xs＜X1＜X2＜Xe이다.
도 10(b)에서는, N=2의 예를 나타내고 있지만, 근사 정밀도를 높이기 위해서, N를 3 이상으로 해서, 다수의 중간점의 위치 좌표(Xn, Yn)를 이용하도록 해도 좋은 것은 말할 필요도 없다.
길이 비교부(13)는, 곡선의 길이를 산출하면, 그 곡선의 길이와 문자 열의 길이를 비교한다(도 5의 스텝 ST17).
연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자 열의 길이보다 짧은 취지를 나타내고 있으면(도 5의 스텝 ST18：YES의 경우), 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정한다(스텝 ST19).
즉, 연장 곡선 형상 결정부(14)의 형상 결정 처리부(16)는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상과 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상을 대조함으로써, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 그 곡선 정보가 나타내는 곡선의 형상과 가장 일치도가 높은 곡선의 형상을 특정하고, 가장 일치도가 높은 곡선의 형상을 선택한다. 곡선의 형상을 대조해서, 일치도가 가장 높은 곡선의 형상을 특정하는 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략한다.
형상 결정 처리부(16)는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 도 11에 나타내는 곡선의 형상을 선택하면, 그 선택한 곡선의 형상으로부터 연장 곡선의 형상을 결정한다.
예를 들면, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 길이가, 조작에 의해 그려진 선의 궤적을 나타내는 곡선보다 충분히 길면, 선택한 곡선의 형상 중에서, 그 곡선 정보가 나타내는 곡선보다 긴 부분의 형상을, 연장 곡선의 형상으로 결정한다.
도 11의 예에서는, 조작에 의해 그려진 선의 궤적을 나타내는 곡선, 즉, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선을 파선으로 나타내고, 가장 일치도가 높은 선택한 곡선을 실선으로 나타내고 있고, 파선으로 나타내고 있는 곡선의 연장 부분의 형상을, 실선으로 나타내고 있는 곡선의 형상과 동일하게 하고 있다.
본 실시 형태 1에서는, 곡선 기억부(15)에 기억되어 있는 복수의 곡선의 형상 중에서, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선의 형상과 가장 일치도가 높은 곡선의 형상을 선택하고, 그 선택한 곡선의 형상으로부터 연장 곡선의 형상을 결정하는 예를 나타내고 있지만, 이것은 일례에 불과하며, 다른 방법으로, 연장 부분의 곡선인 연장 곡선의 형상을 결정하는 것이어도 좋다.
예를 들면, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선의 형상의 곡율의 변화 경향 등을 계산하고, 그 곡율의 변화 경향으로부터, 연장 곡선의 형상을 추정하는 등의 방법이 고려된다.
도 12는 연장 곡선의 형상 결정예를 나타내고 있고, 도 12(a)에서는, 완만히 휘어져 있는 곡선의 종단부에 있어서의 접선의 형상을 연장 곡선의 형상으로 하고 있다.
도 12(b)에서는, 곡선 전체의 곡율이 일정하기 때문에, 연장 곡선의 형상의 곡율을, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 곡선인 원래의 곡선의 형상의 곡율과 동일하게 하고 있다.
도 12(c)에서는, 곡선의 형상이 주기적인 파선 형상이기 때문에, 연장 곡선의 형상을 원래의 곡선과 동일한 주기의 파선 형상으로 하고 있다.
도 12(d)에서는, 곡선의 종단 부근이 원호 형상으로 휘어져 있기 때문에, 연장 곡선의 형상을 원래의 곡선의 종단 부근과 동일한 원호 형상으로 하고 있다.
곡선 연장부(17)는, 연장 곡선 형상 결정부(14)가 연장 곡선의 형상을 결정하면, 그 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가함으로써, 곡선을 연장한다(스텝 ST20).
도 13의 예에서는, 곡선의 길이가 60mm, 문자 열의 길이가 80mm이며, 곡선의 길이가 문자 열의 길이보다 20mm 짧기 때문에, 20mm만큼 곡선을 연장하고 있다.
표시 처리부(18)는, 곡선 연장부(17)가 곡선을 연장하면, 연장 부분의 곡선을 따라, 곡선이 짧기 때문에 미표시인 문자 열의 「
Figure pat00012
」를 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라, 도 7의 스텝 D에 나타내는 바와 같이, 연장 부분의 곡선을 따라, 곡선이 짧기 때문에 미표시인 문자 열의 일부인 「
Figure pat00013
」를 디스플레이(32)에 표시시킨다(스텝 ST21).
여기에서는, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 미표시인 문자 열의 일부를 디스플레이(32)에 표시시키는 것을 나타냈지만, 도 7의 스텝 D에 있어서의 우측의 도면과 같이, 연장 곡선을 나타내는 곡선 화상을 디스플레이(32)에 표시시키고, 미표시인 문자 열의 일부를 해당 곡선 화상의 위에 겹쳐 표시시키도록 해도 좋다.
표시 처리부(18)는, 문자 열을 구성하는 모든 문자를 곡선 화상의 위에 겹쳐 표시시킨 후, 곡선 화상을 소거하기 위한 표시 정보를 생성하고, 디스플레이(32)에, 그 표시 정보에 따라, 도 7의 스텝 E에 나타내는 바와 같이, 곡선 화상을 지워서, 문자 열만을 표시시킨다(스텝 ST22).
표시 처리부(18)가 곡선 화상을 소거시킬 때, 곡선 화상의 전체가 동시에 소거되도록 해도 좋지만, 문자 열의 선두측으로부터 차례로 소거하는 애니메이션으로, 곡선 화상이 소거되도록 해도 좋다.
여기에서는, 곡선 화상과 문자 열이 겹쳐 표시되고 나서, 일정 시간 후에, 곡선 화상이 소거되는 것을 상정하고 있지만, 문자 열의 표시가 완료되면, 즉시, 곡선 화상이 소거되는 것이어도 좋다.
표시 처리부(18)는, 도 8의 스텝 A에 나타내는 바와 같이, 유저가 선을 그리는 조작을 행하기 전에 발화함으로써, 궤적 판별부(4)로부터 곡선 화상을 포함한 곡선 정보가 출력되기 전에, 문자 열 인식부(5)의 음성 인식부(8)로부터 문자 열이 출력됨으로써, 문자 열 취득부(10)가 문자 열을 취득하면(도 5의 스텝 ST11：NO의 경우), 그 문자 열을 문자 열 일시 보존부(19)에 저장하고, 궤적 판별부(4)로부터 곡선 정보가 출력될 때까지 대기한다(스텝 ST23：NO의 경우).
그 후, 유저가 선을 그리는 조작을 개시해서, 그 조작이 완료되면, 궤적 판별부(4)로부터 곡선 정보가 출력된다.
표시 처리부(18)는, 궤적 판별부(4)로부터 곡선 정보가 출력됨으로써, 곡선 정보 취득부(9)가 곡선 정보를 취득하면(스텝 ST23：YES의 경우), 문자 열 일시 보존부(19)로부터 문자 열을 판독하고, 그 문자 열을 곡선 화상의 위에 겹쳐 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라, 도 8의 스텝 B에 나타내는 바와 같이, 그 문자 열을 곡선 화상의 위에 겹쳐 표시시킨다. 즉, 표시 처리부(18)는, 곡선 화상과 문자 열을 동일한 위치에 겹쳐 표시시킨다(스텝 ST24).
다만, 도 8의 예에서는, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자 열의 길이보다 짧기 때문에, 문자 열 중, 「
Figure pat00014
」에 대해서는 곡선 화상의 위에 겹쳐 표시되어 있지만, 「
Figure pat00015
」에 대해서는 곡선 화상의 위에 겹쳐 표시되어 있지 않다.
표시 처리부(18)가 곡선 화상과 문자 열을 동일한 위치에 겹쳐 표시시킬 때, 곡선 화상과 문자 열의 전체를 동시에 표시시키도록 해도 좋지만, 문자 열의 선두측으로부터 순차 표시하는 애니메이션으로, 곡선 화상과 문자 열을 표시시키도록 해도 좋다.
또, 유저의 손가락의 트레이싱(tracing)에 맞춰서, 곡선 화상과 문자 열이 손가락 아래로부터 분출되도록, 그 곡선 화상과 문자 열을 순차 표시시키도록 해도 좋다.
또한, 도 7에서는, 유저가 손가락을 트레이싱하고 나서 발화하는 예를 나타내고, 도 8에서는 유저가 발화하고 나서 손가락을 트레이싱하는 예를 나타냈지만, 손가락의 트레이싱과 발화가 동시에 행해지는 것이어도 좋다.
길이 비교부(13)는, 문자 열 취득부(10)가 음성 인식부(8)로부터 출력된 「
Figure pat00016
」를 나타내는 문자 열을 취득하면, 문자 관리부(3)로부터 출력된 후, 문자 속성 정보 취득부(11)에 의해 취득된 문자 속성 정보가 나타내는 문자 폭을 참조하고, 상기의 식(1)에 따라, 그 문자 열의 길이를 산출한다(도 5의 스텝 ST15).
또, 길이 비교부(13)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보를 받으면, 상기의 식(2) 또는 식(3)에 따라, 그 곡선 정보가 나타내는 곡선의 길이를 산출한다(스텝 ST16).
길이 비교부(13)는, 곡선의 길이를 산출하면, 그 곡선의 길이와 문자 열의 길이를 비교한다(도 5의 스텝 ST17).
연장 곡선 형상 결정부(14)는, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자 열의 길이보다 짧은 취지를 나타내고 있으면(도 5의 스텝 ST18：YES의 경우), 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 연장 부분의 곡선인 연장 곡선의 형상을 결정한다(스텝 ST19).
곡선 연장부(17)는, 연장 곡선 형상 결정부(14)가 연장 곡선의 형상을 결정하면, 그 연장 곡선을 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 종단에 부가함으로써, 곡선을 연장한다(스텝 ST20).
도 13의 예에서는, 곡선의 길이가 60mm, 문자 열의 길이가 80mm이며, 곡선의 길이가 문자 열의 길이보다 20mm 짧기 때문에, 20mm만큼 곡선을 연장하고 있다.
표시 처리부(18)는, 곡선 연장부(17)가 곡선을 연장하면, 연장 부분의 곡선을 따라, 곡선의 길이가 짧기 때문에 미표시인 문자 열의 일부인 「
Figure pat00017
」를 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라, 도 8의 스텝 C에 나타내는 바와 같이, 연장 부분의 곡선을 따라, 미표시인 문자 열의 일부인 「
Figure pat00018
」를 디스플레이(32)에 표시시킨다(스텝 ST21).
여기에서는, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 미표시인 문자 열의 일부를 디스플레이(32)에 표시시키는 것을 나타냈지만, 도 8의 스텝 C에 있어서의 우측의 도면과 같이, 연장 곡선을 나타내는 곡선 화상을 디스플레이(32)에 표시시키고, 미표시인 문자 열의 일부를 해당 곡선 화상의 위에 겹쳐 표시시키도록 해도 좋다.
표시 처리부(18)는, 문자 열을 구성하는 모든 문자를 곡선 화상의 위에 겹쳐 표시시킨 후, 곡선 화상을 소거하기 위한 표시 정보를 생성하고, 디스플레이(32)에, 그 표시 정보에 따라, 도 8의 스텝 D에 나타내는 바와 같이, 곡선 화상을 소거시켜, 문자 열만을 표시시킨다(스텝 ST22).
표시 처리부(18)가 곡선 화상을 소거시킬 때, 곡선 화상의 전체가 동시에 소거되도록 해도 좋지만, 문자 열의 선두측으로부터 차례로 소거하는 애니메이션으로, 곡선 화상이 소거되도록 해도 좋다.
여기에서는, 곡선 화상과 문자 열이 겹쳐 표시시키고 나서, 일정 시간 후에, 곡선 화상이 소거되는 것을 상정하고 있지만, 문자 열의 표시가 완료되면, 즉시, 곡선 화상이 소거되는 것이어도 좋다.
본 실시 형태 1에서는, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자 열의 길이보다 짧은 예를 나타내고 있지만, 곡선의 길이가, 음성의 인식 결과를 나타내는 문자 열의 길이 이상인 경우, 곡선의 길이를 연장하지 않고, 그 문자 열을 구성하는 모든 문자를 곡선 화상의 위에 겹쳐 표시시킬 수 있다.
이 때문에, 길이 비교부(13)의 비교 결과가, 곡선의 길이가 문자 열의 길이 이상인 취지를 나타내고 있으면(도 5의 스텝 ST18：No의 경우), 스텝 ST19~ST21의 처리를 실시하지 않고, 스텝 ST22의 처리로 이행하고, 곡선 화상을 소거해서, 문자 열만을 표시하고 있는 상태로 한다.
본 실시 형태 1에서는, 길이 비교부(13)가, 문자 열을 구성하는 각 문자의 사이가 떨어져 있지 않고, 문자간의 길이가 0mm인 것으로 해서, 식(1)에 의해 문자 열의 길이를 계산하고 있지만, 문자간의 길이가 0mm보다 크면, 그 문자간의 길이를 고려해서, 문자 열의 길이를 산출하도록 해도 좋다. 예를 들면, 문자간의 길이가 0.5mm이면, 문자 열의 길이는, 아래의 식(4)에 나타내는 바와 같이, 87.5mm가 된다.
Figure pat00019
식(4)은, 식(1)과 마찬가지로, 문자 열의 문자수가 16, 문자 폭이 “5mm”인 경우를 나타내고 있다.
이상으로 알 수 있는 바와 같이, 본 실시 형태 1에 따르면, 표시 제어부(12)가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 문자 열 취득부(10)에 의해 취득된 문자 열의 일부를, 곡선을 따라 표시할 수 없다고 판단하는 경우, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상으로부터, 그 곡선의 연장 부분의 형상을 결정해서, 그 곡선을 연장하고, 연장 부분의 곡선을 따라, 그 문자 열의 일부를 표시하기 위한 표시 정보를 생성하도록 구성했으므로, 곡선의 길이가 문자 열의 길이보다 짧은 경우에도, 문자 열의 전부를, 곡선을 따라 표시시킬 수 있는 효과를 갖는다.
또, 본 실시 형태 1에 따르면, 입력 표시 제어 장치(100)가, 문자 열 인식부(5)의 음성 인식부(8)로부터 문자 열이 출력되기 전에, 궤적 판별부(4)로부터 곡선 화상을 포함한 곡선 정보가 출력된 경우, 곡선 화상을 디스플레이(32)에 표시시킨 후, 문자 열 인식부(5)의 음성 인식부(8)로부터 출력된 문자 열을 곡선 화상의 위에 겹쳐 표시시키는 한편, 궤적 판별부(4)로부터 곡선 화상을 포함한 곡선 정보가 출력되기 전에, 문자 열 인식부(5)의 음성 인식부(8)로부터 문자 열이 출력된 경우, 궤적 판별부(4)로부터 곡선 정보가 출력될 때까지 대기하고, 궤적 판별부(4)로부터 곡선 정보가 출력되면, 곡선 화상을 디스플레이(32)에 표시시키는 것과 아울러, 문자 열을 곡선 화상의 위에 겹쳐 표시시키도록 구성했으므로, 유저가 발화하기 전에 선을 그리는 조작을 행했을 경우, 음성의 인식 결과를 나타내는 문자 열이 표시되는 위치를 사전에 파악할 수 있다. 따라서, 유저가 문자 열의 표시 이미지를 포착(grasp)할 수 있는 효과를 갖는다. 또, 유저가 선을 그리는 조작을 행하기 전에 발화했을 경우, 선을 그리는 조작을 하면, 곡선 화상과 문자 열이 동일한 위치에 겹쳐 표시되기 때문에, 응답성이 높은 조작감을 유저에게 줄 수 있는 효과를 갖는다.
본 실시 형태 1에서는, 입력 표시 제어 장치(100)가, 문자 열을 곡선 화상의 위에 겹쳐 표시시키는 것을 나타내고 있지만, 문자 열을 곡선 화상의 위에 겹치지 않고, 곡선 화상의 주위에서, 그 곡선 화상을 따르도록 문자 열을 표시시키도록 해도 좋다.
또, 곡선 화상은, 유저가 곡선 화상을 확인할 수 없어도 괜찮다면, 무색 투명의 화상이어도 좋다. 또, 곡선 화상은 유색 투명의 화상이어도 좋다.
곡선 화상이 무색 투명한 경우, 표시 제어부(12)의 표시 처리부(18)가, 궤적 판별부(4)에 의해 판별된 궤적을 나타내는 폭이 없는 곡선이나, 곡선 연장부(17)에 의해 연장된 궤적을 나타내는 폭이 없는 곡선을 디스플레이(32)에 표시시키도록 해도 좋다.
실시 형태 2.
상기 실시 형태 1에서는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 문자 열 취득부(10)에 의해 취득된 문자 열을 디스플레이(32)에 표시시키는 것을 나타냈지만, 추가로, 그 문자 열을 번역하고, 그 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시시키도록 해도 좋다.
도 14는 본 발명의 실시 형태 2에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이며, 도 15는 본 발명의 실시 형태 2에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 14 및 도 15에 있어서, 도 1 및 도 2와 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
번역부(52)는 예를 들면 CPU를 실장하고 있는 반도체 집적 회로 또는 원칩 마이크로컴퓨터 등으로 구성되어 있는 번역 처리 회로(34)로 실현되는 것이고, 문자 열 취득부(10)에 의해 취득된 문자 열을 번역하는 처리를 실시한다.
표시 제어부(51)는 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 번역부(52) 및 표시 처리부(53)를 포함하고 있고, 도 1의 표시 제어부(12)와 마찬가지의 처리를 실시하는 것 외에, 번역부(52)의 번역 결과를 나타내는 문자 열의 길이 이상의 길이를 갖는 번역 문자 열 표시용의 곡선을 생성하고, 번역 문자 열 표시용의 곡선을 따라, 번역부(52)의 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 번역부(52)의 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시시키는 처리를 실시한다.
표시 제어부(51)의 표시 처리부(53)는 예를 들면 표시 처리 회로(31)로 실현되는 것이고, 도 1의 표시 처리부(18)와 마찬가지의 처리를 실시한다.
또, 표시 처리부(53)는, 도 1의 표시 처리부(18)와 달리, 번역부(52)의 번역 결과를 나타내는 문자 열의 길이 이상의 길이를 갖는 번역 문자 열 표시용의 곡선을 생성하고, 번역 문자 열 표시용의 곡선을 따라, 번역부(52)의 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시시키는 처리도 실시한다.
도 14에서는, 입력 표시 시스템의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 문자 열 인식부(5), 곡선 정보 취득부(9), 문자 열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 번역부(52), 표시 처리부(53) 및 문자 열 일시 보존부(19)의 각각이, 도 15에 나타내는 전용의 하드웨어, 즉, 포인팅 디바이스(21), 기억 처리 회로(22), 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 마이크(25), 음성 인식 처리 회로(26), 입력 인터페이스 회로(27), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30), 표시 처리 회로(31), 디스플레이(32) 및 번역 처리 회로(34)로 실현되는 것을 상정하고 있지만, 입력 표시 시스템이 소프트웨어, 펌웨어 또는 소프트웨어와 펌웨어의 조합으로 실현되는 것이어도 좋다.
입력 표시 시스템이 소프트웨어나 펌웨어 등으로 실현되는 경우, 문자 관리 DB(2), 음성 인식 사전 DB(7) 및 문자 열 일시 보존부(19)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 아울러, 조작 접수부(1), 문자 관리부(3), 궤적 판별부(4), 음성 검출부(6), 음성 인식부(8) 및 표시 제어부(51)의 처리 순서를 컴퓨터로 하여금 실행하게 하기 위한 프로그램을 메모리(41)에 저장하고, 도 3에 나타내는 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 좋다.
다음으로 동작에 대해 설명한다.
다만, 번역부(52) 및 표시 처리부(53) 이외는, 상기 실시 형태 1과 마찬가지이기 때문에, 여기에서는, 주로 번역부(52) 및 표시 처리부(53)의 처리 내용에 대해 설명한다.
번역부(52)는, 문자 열 취득부(10)가 문자 열 인식부(5)로부터 출력된 음성의 인식 결과를 나타내는 문자 열을 취득하면, 그 문자 열을 번역하고, 그 번역 결과를 나타내는 문자 열을 길이 비교부(13) 및 표시 처리부(53)에 출력한다.
음성의 인식 결과를 나타내는 문자 열이 「
Figure pat00020
」이면, 예를 들면, 그 번역 결과를 나타내는 문자 열은 「I went to the sea in summer vacation」와 같이 된다.
표시 처리부(53)는, 도 1의 표시 처리부(18)와 마찬가지로, 문자 열 인식부(5)에 의해 취득된 음성의 인식 결과를 나타내는 문자 열을 곡선 정보 취득부(9)에 의해 취득된 곡선 화상의 위에 겹쳐 표시시킨다.
또, 표시 처리부(53)는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 문자 열의 길이보다 짧기 때문에, 그 문자 열의 일부를, 곡선을 따라 표시할 수 없으면, 도 1의 표시 처리부(18)와 마찬가지로, 곡선 연장부(17)에 의해 부가된 연장 곡선을 따라, 그 문자 열의 일부를 디스플레이(32)에 표시시킨다.
표시 처리부(53)는, 번역부(52)로부터 번역 결과를 나타내는 문자 열을 받으면, 그 번역 결과를 나타내는 문자 열의 길이 이상의 길이를 갖는 번역 문자 열 표시용의 곡선을 생성한다.
이때, 번역 결과를 나타내는 문자 열을 구성하는 문자의 문자 폭을 나타내는 문자 속성 정보는, 문자 관리부(3)로부터 받는 것으로 한다.
예를 들면, 번역 결과를 나타내는 문자 열이 「I went to the sea in summer vacation」인 경우, 문자수가 스페이스를 포함해서 36이기 때문에, 번역 결과를 나타내는 문자 열을 구성하는 문자의 문자 폭이 “2mm”이다고 하면, 번역 결과를 나타내는 문자 열의 길이는, 아래의 식(5)에 나타내는 바와 같이, 72mm가 된다.
Figure pat00021
따라서, 이 경우에는, 번역 문자 열 표시용의 곡선의 길이는 72mm 이상의 길이로 된다.
또, 번역 문자 열 표시용의 곡선의 형상은, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선, 즉, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 형상과 동일한 형상으로 한다. 곡선 연장부(17)에 의해 곡선이 연장되고 있는 경우에는, 곡선 연장부(17)에 의해 연장된 곡선의 형상과 동일한 형상으로 한다.
예를 들면, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 형상이 원호 형상이면, 번역 문자 열 표시용의 곡선의 형상도 원호 형상이며, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 형상이 파선 형상이면, 번역 문자 열 표시용의 곡선의 형상도 파선 형상이다.
또한, 곡선 연장부(17)에 의해 곡선이 연장되어 있고, 번역 문자 열 표시용의 곡선의 길이가, 곡선 연장부(17)에 의해 연장된 곡선의 길이보다 긴 경우, 혹은, 곡선 연장부(17)에 의해 곡선이 연장되어 있지 않고, 번역 문자 열 표시용의 곡선의 길이가, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이보다 긴 경우에는, 그 곡선 정보가 나타내는 곡선을 연장하는 경우와 마찬가지의 방법으로, 번역 문자 열 표시용의 곡선의 형상으로부터, 번역 문자 열 표시용의 곡선의 연장 부분의 형상을 결정해서, 번역 문자 열 표시용의 곡선을 연장하는 것으로 한다.
표시 처리부(53)는, 번역 문자 열 표시용의 곡선을 생성하면, 번역 문자 열 표시용의 곡선을 따라, 그 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시시킨다.
여기서, 도 16은 표시 제어부(51)의 표시 처리부(53)에 있어서의 표시 처리의 일례를 나타내는 설명도이다.
스텝 A에서는, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 곡선 화상을 디스플레이(32)에 표시하고 있다.
스텝 B에 있어서, 유저의 음성의 인식 처리가 실시되면, 스텝 C에서는, 그 음성의 인식 결과를 나타내는 문자 열을 곡선 화상의 위에 겹쳐 표시시키고 있다. 스텝 A~스텝 C까지는, 상기 실시 형태 1과 마찬가지이다. 다만, 여기에서는, 음성의 인식 결과를 나타내는 문자 열이 출력되기 전에 곡선 화상을 포함한 곡선 정보가 출력된 경우의 예를 나타내고 있다.
스텝 D에서는, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선과 동일 형상의 번역 문자 열 표시용의 곡선을 따라, 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시시키고 있다.
도 16의 예에서는, 표시 처리부(53)가, 번역 문자 열 표시용의 곡선을, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 아래쪽에 정렬하고 있지만, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 위쪽에 정렬해도 좋고, 좌측이나 우측에 정렬해도 좋다.
스텝 E에서는, 유저의 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 곡선 화상을 소거하고 있다.
본 실시 형태 2에서는, 표시 처리부(53)가 번역 문자 열 표시용의 곡선을 디스플레이(32)에 표시시키는 것을 나타냈지만, 번역 문자 열 표시용의 곡선은 투명해도 좋다.
본 실시 형태 2에서는, 음성의 인식 결과를 나타내는 문자 열과 번역 결과를 나타내는 문자 열을 나란히 표시시키는 것을 나타냈지만, 도 17에 나타내는 바와 같이, 스텝 C로 음성의 인식 결과를 나타내는 문자 열을 표시시킨 후, 스텝 STD에서 음성의 인식 결과를 나타내는 문자 열을 선두로부터 소거시키면서, 번역 결과를 나타내는 문자 열을 선두로부터 곡선 화상의 위에 겹쳐 표시시키도록 해도 좋다.
이 경우, 최종적으로 표시되는 문자 열은, 번역 결과를 나타내는 문자 열만으로 된다.
또, 본 실시 형태 2에서는, 도 18에 나타내는 바와 같이, 표시 처리부(53)가, 역 번역(back translation)의 결과를 나타내는 문자 열을, 음성의 인식 결과를 나타내는 문자 열 및 번역 결과를 나타내는 문자 열과 나란히 표시시키도록 해도 좋다.
본 실시 형태 2에서는, 일본어로부터 영어로 번역하고 있는 예를 나타내고 있기 때문에, 이 경우의 역 번역은 번역한 영어를 일본어로 다시 번역하는 것을 의미한다.
도 18의 예에서는, 스텝 D에 있어서, 음성의 인식 결과를 나타내는 문자 열인 일본어의 아래에, 번역 결과를 나타내는 문자 열인 영어를 표시시키고, 그 영어의 아래에, 역 번역을 나타내는 문자 열인 일본어를 표시시키고 있다.
또, 도 19에 나타내는 바와 같이, 스텝 D에 있어서, 곡선 화상의 위에 겹쳐 표시시킨 음성의 인식 결과를 나타내는 문자 열인 일본어를 지우고 나서, 번역 결과를 나타내는 문자 열인 영어를 곡선 화상의 위에 겹쳐 표시시키는 것과 아울러, 그 영어의 아래에, 역 번역을 나타내는 문자 열인 일본어를 표시시키도록 해도 좋다.
이상으로 알 수 있는 바와 같이, 본 실시 형태 2에 따르면, 문자 열 취득부(10)에 의해 취득된 문자 열을 번역하는 번역부(52)를 구비하고, 표시 처리부(53)가, 번역부(52)의 번역 결과를 나타내는 문자 열의 길이 이상의 길이를 갖는 번역 문자 열 표시용의 곡선을 생성하고, 번역 문자 열 표시용의 곡선을 따라, 번역부(52)의 번역 결과를 나타내는 문자 열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하도록 구성했으므로, 상기 실시 형태 1과 마찬가지로, 선을 그리는 조작에 의해 그려진 선의 궤적을 나타내는 곡선의 길이가, 번역부(52)의 번역 결과를 나타내는 문자 열보다 짧은 경우에도, 그 문자 열의 전부를, 곡선을 따라 표시시킬 수 있는 효과를 갖는다.
본 실시 형태 2에서는, 음성의 인식 결과를 나타내는 문자 열과, 번역 결과를 나타내는 문자 열을 나란히 표시시키는 것을 나타냈지만, 도 20에 나타내는 바와 같이, 디스플레이(32)가 2 화면으로 구성되어 있고, 또한, 그 2 화면의 상변이 서로 접하고 있는, 서로 상변을 맞댄(face-to-face) 구성인 경우, 예를 들면, 서로 상변을 맞댄 2 화면의 도면내 아래쪽의 화면에, 음성의 인식 결과가 나타내는 문자 열이 표시되고, 서로 상변을 맞댄 2 화면의 도면내 위쪽의 화면에, 번역 결과를 나타내는 문자 열이 표시되도록 해도 좋다.
또는, 서로 상변을 맞댄 2 화면의 도면내 아래쪽의 화면에, 번역 결과를 나타내는 문자 열이 표시되고, 서로 상변을 맞댄 2 화면의 도면내 위쪽의 화면에, 음성의 인식 결과를 나타내는 문자 열이 표시되도록 해도 좋다.
다만, 서로 상변을 맞댄 2 화면이기 때문에, 서로 상변을 맞댄 2 화면의 도면내 위쪽의 화면에서는, 문자가 180도 회전하고 있다.
또, 서로 상변을 맞댄 2 화면의 경우에도, 도 21에 나타내는 바와 같이, 역 번역의 결과를 나타내는 문자 열을 표시시키도록 해도 좋다.
실시 형태 3.
상기 실시 형태 1에서는, 문자 열 인식부(5)가, 표시 대상의 문자 열로서, 음성의 인식 결과를 나타내는 문자 열을 취득하는 것을 나타냈지만, 표시 대상의 문자 열로서, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자의 인식 결과를 나타내는 문자 열을 취득하는 것이어도 좋다.
도 22는 본 발명의 실시 형태 3에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이며, 도 23은 본 발명의 실시 형태 3에 따른 입력 표시 시스템의 하드웨어 구성도이다.
도 22 및 도 23에 있어서, 도 1 및 도 2와 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
문자 열 인식부(60)는 문자 인식 처리부(61)를 포함하고 있고, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자의 인식 결과를 나타내는 문자 열을 표시 대상의 문자 열로서 출력하는 처리를 실시한다.
문자 인식 처리부(61)는, 예를 들면 광학 문자 인식 처리인 OCR(Optical Character Recognition) 기능을 실장하고 있는 문자 인식 처리 회로(35)로 실현되는 것이고, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자를 인식하고, 그 문자의 인식 결과를 나타내는 문자 열을 표시 대상의 문자 열로서 출력하는 처리를 실시한다.
도 22에서는, 입력 표시 시스템의 구성 요소인 조작 접수부(1), 문자 관리 DB(2), 문자 관리부(3), 궤적 판별부(4), 문자 열 인식부(60), 곡선 정보 취득부(9), 문자 열 취득부(10), 문자 속성 정보 취득부(11), 길이 비교부(13), 연장 곡선 형상 결정부(14), 곡선 연장부(17), 표시 처리부(18) 및 문자 열 일시 보존부(19)의 각각이, 도 23에 나타내는 전용의 하드웨어, 즉, 포인팅 디바이스(21), 기억 처리 회로(22), 문자 관리 처리 회로(23), 화상 생성 처리 회로(24), 마이크(25), 음성 인식 처리 회로(26), 입력 인터페이스 회로(27), 길이 비교 처리 회로(28), 형상 결정 처리 회로(29), 곡선 연장 처리 회로(30), 표시 처리 회로(31), 디스플레이(32) 및 문자 인식 처리 회로(35)로 실현되는 것을 상정하고 있지만, 입력 표시 시스템이 소프트웨어, 펌웨어 또는 소프트웨어와 펌웨어의 조합으로 실현되는 것이어도 좋다.
입력 표시 시스템이 소프트웨어나 펌웨어 등으로 실현되는 경우, 문자 관리 DB(2) 및 문자 열 일시 보존부(19)를 도 3에 나타내는 컴퓨터의 메모리(41) 상에 구성함과 아울러, 조작 접수부(1), 문자 관리부(3), 궤적 판별부(4), 문자 인식 처리부(61) 및 표시 제어부(12)의 처리 순서를 컴퓨터로 하여금 실행하게 하기 위한 프로그램을 메모리(41)에 저장하고, 도 3에 나타내는 프로세서(42)가 메모리(41)에 저장되어 있는 프로그램을 실행하도록 하면 좋다.
도 24는 문자의 인식 결과를 나타내는 문자 열의 표시 처리의 일례를 나타내는 설명도이다.
다음으로 동작에 대해 설명한다.
본 실시 형태 3에서는, 조작 접수부(1)를 실현하고 있는 포인팅 디바이스(21)가 터치 패널인 것을 상정하고 있으므로, 유저가 자신의 손가락이나, 터치 패널용의 입력 펜 등을 이용해서, 선을 그리는 조작으로서 문자를 그리는 조작을 터치 패널에 실시하면, 조작 접수부(1)가, 문자를 그리는 조작을 접수하고, 그 조작의 내용을 궤적 판별부(4) 및 문자 열 인식부(60)에 출력한다.
출력되는 문자를 그리는 조작의 내용은, 예를 들면, 터치 패널에 접촉하고 있는 손가락이나 입력 펜의 위치의 좌표, 즉, 터치 패널 상의 위치 좌표의 연속적인 변화를 나타내는 시계열 데이터이다.
도 24의 예에서는, 스텝 A에 있어서, 유저가 「
Figure pat00022
」라고 하는 문자 열을 손으로 쓰고 있다.
문자 열 인식부(60)의 문자 인식 처리부(61)는, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 복수의 문자를 인식해서, 복수의 문자의 인식 결과를 나타내는 문자 열을 취득하고, 그 문자 열을 궤적 판별부(4) 및 입력 표시 제어 장치(100)에 출력한다.
궤적 판별부(4)는, 조작 접수부(1)로부터 1개 이상의 문자를 그리는 조작의 내용을 받아서, 문자 인식 처리부(61)로부터 문자 열을 받으면, 1개 이상의 문자를 그리는 조작의 내용을, 문자마다 할당하는 처리를 실시한다.
구체적으로는, 이하와 같다.
우선, 궤적 판별부(4)는, 문자를 그리는 조작의 내용인 시계열 데이터가 나타내는 터치 패널 상의 각 위치 좌표 중, X 좌표가 가장 작은 좌표 XLEFT와, X 좌표가 가장 큰 좌표 XRIGHT를 특정해서, 그 좌표 XRIGHT로부터 좌표 XLEFT를 감산함으로써, 문자 열의 X 방향의 길이를 산출한다.
그리고, 궤적 판별부(4)는, 문자 열의 X 방향의 길이를 문자수로 나눗셈함으로써, 1 문자당 X 방향의 길이를 산출하고, 또한, 1 문자당 X 방향의 길이와 좌표 XLEFT로부터, 각각의 문자가 존재하고 있는 X 방향의 좌표 범위를 산출한다. 예를 들면, 문자 열의 좌단으로부터 n번째의 문자가 존재하고 있는 X 방향의 좌표 범위는, (1 문자당 X 방향의 길이×(n－1)＋XLEFT)~(1 문자당 X 방향의 길이×n＋XLEFT)와 같이 산출한다.
그리고, 궤적 판별부(4)는, 시계열 데이터가 나타내는 각 위치 좌표의 각각이 포함되는 상기 X 방향의 좌표 범위를 찾아서, 시계열 데이터가 나타내는 각 위치 좌표의 각각을 대응하는 X 방향의 좌표 범위에 할당함으로써, 1개 이상의 문자를 그리는 조작의 내용을 문자마다 할당하도록 한다.
다음으로, 궤적 판별부(4)는, X 방향의 좌표 범위 단위로, 해당 좌표 범위에 대응하는 문자의 중심 좌표로서, 해당 좌표 범위에 포함되어 있는 시계열 데이터가 나타내는 각 위치 좌표의 X 좌표의 평균치와 Y 좌표의 평균치를 산출한다.
궤적 판별부(4)는, 문자 열을 구성하고 있는 각 문자의 중심 좌표를 산출하면, 도 24의 스텝 B에 나타내는 바와 같이, 각 문자의 중심 좌표를 연결함으로써 1개의 선을 생성하고, 그 1개의 선을 문자 열의 궤적을 나타내는 곡선으로 해서, 그 곡선을 나타내는 곡선 정보를 입력 표시 제어 장치(100)에 출력한다.
여기에서는, 문자 열을 구성하고 있는 각 문자의 크기가 균등한 것으로 해서, 문자 열의 X 방향의 길이를 문자수로 나눗셈함으로써, 1 문자당 X 방향의 길이를 산출하고 있다. 손으로 쓴 문자의 경우, 각 문자의 크기가 균등하다고 할 수 없기 때문에, X 방향의 좌표 범위 단위가, 문자 열을 구성하고 있는 각 문자와 일치하지 않는 경우가 있다.
그러나, 본 실시 형태 3에서는, 각 문자의 중심 좌표를 엄밀하게 알 수 없어도, 문자 열이 존재하고 있는 영역을 X 방향으로 분할한 각 영역의 중심 좌표를 알 수 있으면, 문자 열의 정렬 방향을 나타내는 곡선을 구할 수 있다. 따라서, 각 문자의 크기가 균등하지 않는 경우에도, 상기의 방법으로, 곡선을 구할 수 있다.
또, 여기에서는, 궤적 판별부(4)가, 문자 열의 정렬 방향을 나타내는 곡선을 구할 때, X 방향의 좌표 범위 단위로, 시계열 데이터가 나타내는 각 위치 좌표를 할당하도록 하고 있지만, 예를 들면, 손으로 쓴 문자가 세로 쓰기인 경우에는, Y 방향의 좌표 범위 단위로, 시계열 데이터가 나타내는 각 위치 좌표를 할당하도록 해도 좋다.
여기서 설명하고 있는 각 위치 좌표를 할당하는 방법은 일례에 불과하고, 다른 방법을 이용해도 좋은 것은 말할 필요도 없다.
본 실시 형태 3에서는, 문자를 그리는 조작 내용으로부터 곡선을 구하고 있지만, 유저가, 문자를 그리는 조작과는 별도로, 상기 실시 형태 1에서 나타내고 있는 선을 그리는 조작을 행함으로써, 조작 접수부(1)에 의해 문자를 그리는 조작 및 선을 그리는 조작을 접수한 경우, 궤적 판별부(4)는, 상기 실시 형태 1과 마찬가지로, 조작 접수부(1)에 의해 접수된 선을 그리는 조작의 내용으로부터, 그려진 선의 궤적을 나타내는 곡선을 판별하도록 해도 좋다.
표시 제어부(12)의 표시 처리부(18)는, 문자 열 취득부(10)가 문자 열 인식부(60)의 문자 인식 처리부(61)로부터 출력된 문자 열을 취득하면, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 그 문자 열을 디스플레이(32)에 표시하기 위한 표시 정보를 생성하고, 그 표시 정보에 따라, 그 문자 열을 디스플레이(32)에 표시시킨다.
도 24의 스텝 C에서는, 손으로 쓴 문자에 정렬되도록 궤적을 나타내는 곡선을 그려서, 문자 열을 표시시키고 있지만, 이것에 한정하는 것이 아니고, 예를 들면, 손으로 쓴 문자를 소거시키고 나서, 손으로 쓴 문자의 위치에 곡선을 그려서, 문자 열을 표시시키도록 해도 좋다.
또, 궤적을 나타내는 곡선은 투명해도 좋다.
본 실시 형태 3에서는, 문자를 그리는 조작 내용으로부터 곡선을 구할 수 있지만, 인식된 문자 열은, 상기 실시 형태 1과 마찬가지로, 미리 결정된 속성의 문자로 표시되도록 되기 때문에, 표시 처리부(18)는, 구한 곡선의 길이가, 문자 열의 길이보다 짧은 경우, 상기 실시 형태 1과 마찬가지로, 문자 열을 구성하고 있는 문자의 일부를, 곡선을 따라 표시시킬 수 없다.
이 경우는, 상기 실시 형태 1과 마찬가지로, 곡선을 연장함으로써, 표시되어 있지 않은 문자의 일부를 표시시키도록 한다.
즉, 길이 비교부(13)가 곡선의 길이와 문자 열의 길이를 비교하고, 연장 곡선 형상 결정부(14)가 연장 곡선의 형상을 결정하고, 곡선 연장부(17)가 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선에 연장 곡선을 부가함으로써, 곡선을 연장한다. 그리고, 표시 처리부(18)가, 연장 곡선을 따라, 표시되어 있지 않은 문자의 일부를 표시시킨다.
이상으로 알 수 있는 바와 같이, 본 실시 형태 3에 따르면, 문자 열 인식부(60)가, 조작 접수부(1)에 의해 접수된 조작에 의해 그려진 문자를 인식하고, 그 인식 결과를 나타내는 문자 열을 표시 대상의 문자 열로서 취득하는 문자 인식 처리부(61)를 구비하도록 구성했으므로, 손으로 쓴 문자를 표시하는 경우에도, 상기 실시 형태 1과 마찬가지의 효과를 갖는다.
실시 형태 4.
상기 실시 형태 3에서는, 문자 인식 처리부(61)를 구비한 문자 열 인식부(60)를 상기 실시 형태 1에 있어서의 도 1의 입력 표시 제어 장치에 적용하는 예를 나타냈지만, 문자 인식 처리부(61)를 구비한 문자 열 인식부(60)를 상기 실시 형태 2에 있어서의 도 14의 입력 표시 제어 장치에 적용하도록 해도 좋다.
도 25는 본 발명의 실시 형태 4에 따른 입력 표시 제어 장치를 포함하는 입력 표시 시스템을 나타내는 구성도이다.
도 26은 번역 결과를 나타내는 문자 열의 표시 처리의 일례를 나타내는 설명도이다.
상기 실시 형태 3에서는, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 복수의 문자의 인식 결과를 나타내는 문자 열을 디스플레이(32)에 표시시키고 있지만, 본 실시 형태 4에서는, 표시 제어부(51)의 표시 처리부(53)이, 도 26의 스텝 C에 나타내는 바와 같이, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선을 따라, 번역부(52)로부터 출력된 번역 결과를 나타내는 문자 열도 디스플레이(32)에 표시시키고 있는 점에서 상이하다.
본 실시 형태 4에 따르면, 상기 실시 형태 2와 마찬가지로, 곡선 정보 취득부(9)에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가, 번역부(52)의 번역 결과를 나타내는 문자 열보다 짧은 경우에도, 그 문자 열의 전부를, 곡선을 따라 표시시킬 수 있는 효과를 갖는다.
또한, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시 형태의 자유로운 조합 혹은 각 실시 형태의 임의의 구성 요소의 변형, 혹은 각 실시 형태에 있어서 임의의 구성 요소의 생략이 가능하다.
본 발명에 따른 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템은 문자 열을 표시시키는 용도에 적용가능하다.
1 : 조작 접수부 2 : 문자 관리 DB
3 : 문자 관리부 4 : 궤적 판별부
5 : 문자 열 인식부 6 : 음성 검출부
7 : 음성 인식 사전 DB 8 : 음성 인식부
9 : 곡선 정보 취득부 10 : 문자 열 취득부
11 : 문자 속성 정보 취득부 12 : 표시 제어부
13 : 길이 비교부 14 : 연장 곡선 형상 결정부
15 : 곡선 기억부 16 : 형상 결정 처리부
17 : 곡선 연장부 18 : 표시 처리부
19 : 문자 열 일시 보존부 21 : 포인팅 디바이스
22 : 기억 처리 회로 23 : 문자 관리 처리 회로
24 : 화상 생성 처리 회로 25 : 마이크
26 : 음성 인식 처리 회로 27 : 입력 인터페이스 회로
28 : 길이 비교 처리 회로 29 : 형상 결정 처리 회로
30 : 곡선 연장 처리 회로 31 :표시 처리 회로
32 : 디스플레이 34 : 번역 처리 회로
35 : 문자 인식 처리 회로 41 : 메모리
42 : 프로세서 51 : 표시 제어부
52 : 번역부 53 : 표시 처리부
60 : 문자 열 인식부 61 : 문자 인식 처리부
100 : 입력 표시 제어 장치

Claims (22)

  1. 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    문자 열을 취득하는 문자 열 취득부와,
    상기 문자 열 취득부에 의해 취득된 문자 열을 번역하는 번역부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 상기 번역부에 의해 번역된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부
    를 구비하고,
    상기 표시 제어부는, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하고,
    상기 표시 제어부는, 제 2 곡선을 따라, 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는
    것을 특징으로 하는 표시 제어 장치.
  2. 제 1 항에 있어서,
    상기 표시 제어부는, 또한, 상기 곡선 정보가 나타내는 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어 장치.
  3. 제 2 항에 있어서,
    상기 표시 제어부는, 또한, 제 1 화면과 제 2 화면을 갖는 표시 정보를 생성하고, 상기 제 1 화면에 상기 곡선을 따른 문자 열을 표시하고, 상기 제 2 화면에 상기 180도 회전시킨 곡선을 따라, 상기 표시된 문자 열로부터 180도 회전한 상기 번역된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어 장치.
  4. 제 3 항에 있어서,
    상기 표시 제어부가 생성하는 제 1 화면과 제 2 화면은 동일한 직사각형 형상이고, 아래쪽에 제 1 화면이, 위쪽에 제 2 화면이 배치되어 있는 표시 제어 장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 표시 제어부는, 상기 제 2 화면에 표시되는 상기 번역된 문자 열을 역 번역한 문자 열을, 상기 제 1 화면에 표시되는 상기 곡선을 따른 문자 열과 정렬하여 표시하기 위한 표시 정보를 생성하는 표시 제어 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 표시 제어부는, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선의 길이가 짧기 때문에, 상기 번역부에 의해 번역된 문자 열의 일부를 상기 180도 회전시킨 곡선을 따라 표시할 수 없다고 판단한 경우, 상기 180도 회전시킨 곡선의 형상으로부터, 상기 180도 회전시킨 곡선의 연장 부분의 형상을 결정하여, 상기 180도 회전시킨 곡선을 연장하고, 상기 연장 부분의 곡선을 따라, 상기 번역된 문자 열의 일부를 표시하기 위한 표시 정보를 생성하는 표시 제어 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 표시 제어부가 작성한 표시 정보를 표시하는 디스플레이를 더 갖는 표시 제어 장치.
  8. 제 1 항에 있어서,
    상기 제 2 곡선의 형상은, 상기 제 1 곡선의 형상과 동일한 형상인 것을 특징으로 하는 표시 제어 장치.
  9. 제 1 항에 있어서,
    상기 제 2 곡선의 길이는, 상기 제 1 곡선의 길이와 상이한 것을 특징으로 하는 표시 제어 장치.
  10. 제 1 항에 있어서,
    상기 제 2 곡선은, 상기 번역 결과를 나타내는 문자 열이 표시된 후, 소거되는 것을 특징으로 하는 표시 제어 장치.
  11. 제 1 항에 있어서,
    상기 번역 결과를 나타내는 문자 열은, 상기 문자 열 취득부에 의해 취득된 문자 열의 아래쪽에 표시되는 것을 특징으로 하는 표시 제어 장치.
  12. 제 1 항에 있어서,
    상기 제 2 곡선은, 투명한 것을 특징으로 하는 표시 제어 장치.
  13. 제 1 항에 있어서,
    상기 표시 제어부는, 상기 번역 결과를 나타내는 문자 열의 역 번역을 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는 것을 특징으로 하는 표시 제어 장치.
  14. 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    문자 열을 취득하는 문자 열 취득부와,
    상기 문자 열 취득부에 의해 취득된 문자 열을 번역하는 번역부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 상기 번역부에 의해 번역된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부
    를 구비하고,
    상기 표시 제어부는, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하고,
    상기 표시 제어부는, 상기 문자 열을 소거하고, 소거한 문자 열에 대응하는 위치에 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는
    표시 제어 장치.
  15. 제 14 항에 있어서,
    상기 표시 제어부는, 상기 문자 열 취득부에 의해 취득된 문자 열을 선두로부터 소거시키면서 상기 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어 장치.
  16. 제 15 항에 있어서,
    상기 표시 제어부는, 상기 번역 결과를 나타내는 문자 열의 역 번역을 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는 것을 특징으로 하는 표시 제어 장치.
  17. 선을 그리는 조작을 접수하는 조작 접수부와,
    상기 조작 접수부에 의해 접수된 조작에 의해 그려진 선의 궤적을 판별하는 궤적 판별부와,
    표시 대상의 문자 열을 인식하는 문자 열 인식부와,
    상기 궤적 판별부에 의해 판별된 궤적을 나타내는 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    상기 문자 열 인식부에 의해 인식된 문자 열을 취득하는 문자 열 취득부와,
    상기 문자 열 취득부에 의해 취득된 문자 열을 번역하는 번역부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 상기 번역부에 의해 번역된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부
    를 구비하고,
    상기 표시 제어부는, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하고,
    상기 표시 제어부는, 제 2 곡선을 따라, 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는
    입력 표시 시스템.
  18. 선을 그리는 조작을 접수하는 조작 접수부와,
    상기 조작 접수부에 의해 접수된 조작에 의해 그려진 선의 궤적을 판별하는 궤적 판별부와,
    표시 대상의 문자 열을 인식하는 문자 열 인식부와,
    상기 궤적 판별부에 의해 판별된 궤적을 나타내는 곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    상기 문자 열 인식부에 의해 인식된 문자 열을 취득하는 문자 열 취득부와,
    상기 문자 열 취득부에 의해 취득된 문자 열을 번역하는 번역부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 상기 번역부에 의해 번역된 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부
    를 구비하고,
    상기 표시 제어부는, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하고,
    상기 표시 제어부는, 상기 문자 열을 소거하고, 소거한 문자 열에 대응하는 위치에 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는
    입력 표시 시스템.
  19. 곡선 정보 취득부가, 곡선을 나타내는 곡선 정보를 취득하고,
    문자 열 취득부가, 문자 열을 취득하고,
    번역부가, 상기 문자 열 취득부에 의해 취득된 문자 열을 번역하고,
    표시 제어부가, 취득된 상기 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 번역된 상기 문자 열을 표시하기 위한 표시 정보를 생성하고, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하고,
    상기 표시 제어부가, 제 2 곡선을 따라, 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는
    표시 제어 방법.
  20. 곡선 정보 취득부가, 곡선을 나타내는 곡선 정보를 취득하고,
    문자 열 취득부가, 문자 열을 취득하고,
    번역부가, 상기 문자 열 취득부에 의해 취득된 문자 열을 번역하고,
    표시 제어부가, 취득된 상기 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 번역된 상기 문자 열을 표시하기 위한 표시 정보를 생성하고, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성하고,
    상기 표시 제어부가, 상기 문자 열을 소거하고, 소거한 문자 열에 대응하는 위치에 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는
    표시 제어 방법.
  21. 컴퓨터에,
    곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    문자 열을 취득하는 문자 열 취득부와,
    상기 문자 열 취득부에 의해 취득된 문자 열을 번역하는 번역부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 상기 번역부에 의해 번역된 문자 열을 표시하기 위한 표시 정보를 생성하고, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성함과 아울러, 제 2 곡선을 따라, 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부
    를 실현시키는 프로그램.
  22. 컴퓨터에,
    곡선을 나타내는 곡선 정보를 취득하는 곡선 정보 취득부와,
    문자 열을 취득하는 문자 열 취득부와,
    상기 문자 열 취득부에 의해 취득된 문자 열을 번역하는 번역부와,
    상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 곡선을 180도 회전시킨 곡선을 따라, 상기 번역부에 의해 번역된 문자 열을 표시하기 위한 표시 정보를 생성하고, 상기 곡선 정보 취득부에 의해 취득된 곡선 정보가 나타내는 제 1 곡선을 따라, 상기 문자 열 취득부에 의해 취득된 문자 열을 표시하기 위한 표시 정보를 생성함과 아울러, 상기 문자 열을 소거하고, 소거한 문자 열에 대응하는 위치에 상기 번역부의 번역 결과를 나타내는 문자 열을 표시하기 위한 표시 정보를 생성하는 표시 제어부
    를 실현시키는 프로그램.
KR1020197013942A 2016-02-08 2016-02-08 표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램 KR102174565B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/053686 WO2017138076A1 (ja) 2016-02-08 2016-02-08 入力表示制御装置、入力表示制御方法及び入力表示システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187024134A Division KR101981439B1 (ko) 2016-02-08 2016-02-08 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템

Publications (2)

Publication Number Publication Date
KR20190055273A true KR20190055273A (ko) 2019-05-22
KR102174565B1 KR102174565B1 (ko) 2020-11-05

Family

ID=59563719

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197013942A KR102174565B1 (ko) 2016-02-08 2016-02-08 표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램
KR1020187024134A KR101981439B1 (ko) 2016-02-08 2016-02-08 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187024134A KR101981439B1 (ko) 2016-02-08 2016-02-08 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템

Country Status (6)

Country Link
US (1) US10884612B2 (ko)
EP (1) EP3407173B1 (ko)
JP (1) JP6355823B2 (ko)
KR (2) KR102174565B1 (ko)
CN (3) CN108700981B (ko)
WO (1) WO2017138076A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910451B2 (ja) * 2017-09-08 2021-07-28 三菱電機株式会社 表示制御装置及び表示制御方法
JP7006198B2 (ja) * 2017-12-01 2022-01-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP7023743B2 (ja) * 2018-02-28 2022-02-22 シャープ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020115907A1 (ja) 2018-12-07 2020-06-11 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム
JP6656477B1 (ja) * 2018-12-07 2020-03-04 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム
KR20230089783A (ko) * 2021-12-14 2023-06-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0124033B1 (ko) 1993-03-30 1997-11-24 최병철 전선 피복용 열경화성 수지 조성물
KR20120009546A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140074725A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법
WO2014175395A1 (ja) * 2013-04-26 2014-10-30 京セラ株式会社 装置、方法、及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197507A (ja) * 1992-01-17 1993-08-06 Hitachi Ltd ポータブルコンピュータ
JP3376072B2 (ja) * 1994-02-07 2003-02-10 キヤノン株式会社 文字処理装置及び方法
JPH10124033A (ja) 1996-08-30 1998-05-15 Canon Inc 文字処理装置、文字処理方法、及び、記憶媒体
JP3933449B2 (ja) * 2001-11-22 2007-06-20 株式会社東芝 コミュニケーション支援装置
JP4544587B2 (ja) * 2005-03-09 2010-09-15 株式会社バンダイナムコゲームス プログラム、情報記憶媒体および画像生成システム
JP4569622B2 (ja) * 2007-12-18 2010-10-27 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8584012B1 (en) * 2008-10-10 2013-11-12 Adobe Systems Incorporated Methods and systems for displaying text on a path
JP4810594B2 (ja) * 2009-06-24 2011-11-09 京セラ株式会社 携帯端末、言語設定プログラムおよび言語設定方法
JP5014449B2 (ja) * 2010-02-26 2012-08-29 シャープ株式会社 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム
JP5058280B2 (ja) * 2010-03-12 2012-10-24 シャープ株式会社 翻訳装置、翻訳方法及びコンピュータプログラム
JP5790070B2 (ja) * 2010-08-26 2015-10-07 カシオ計算機株式会社 表示制御装置およびプログラム
JP5211193B2 (ja) * 2010-11-10 2013-06-12 シャープ株式会社 翻訳表示装置
KR20120092365A (ko) * 2011-02-11 2012-08-21 삼성전자주식회사 정전용량방식 터치스크린패널 표시장치
JP5703125B2 (ja) * 2011-05-20 2015-04-15 シャープ株式会社 表示装置および表示プログラム
JP2013003803A (ja) * 2011-06-15 2013-01-07 Sharp Corp 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
JP5653392B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 音声翻訳装置、方法およびプログラム
JP6286866B2 (ja) * 2013-05-20 2018-03-07 オムロン株式会社 画像処理装置および画像処理方法
US9116871B2 (en) * 2013-05-20 2015-08-25 Microsoft Technology Licensing, Llc Ink to text representation conversion
JP6120736B2 (ja) * 2013-09-11 2017-04-26 アルパイン株式会社 地図表示装置および地図上における文字列表示方法
EP3306452B1 (en) 2015-05-28 2022-04-20 Mitsubishi Electric Corporation Input display device and input display method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0124033B1 (ko) 1993-03-30 1997-11-24 최병철 전선 피복용 열경화성 수지 조성물
KR20120009546A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140074725A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법
WO2014175395A1 (ja) * 2013-04-26 2014-10-30 京セラ株式会社 装置、方法、及びプログラム

Also Published As

Publication number Publication date
KR101981439B1 (ko) 2019-05-22
KR102174565B1 (ko) 2020-11-05
US20190012075A1 (en) 2019-01-10
EP3407173A4 (en) 2019-01-23
EP3407173A1 (en) 2018-11-28
CN115061622A (zh) 2022-09-16
EP3407173B1 (en) 2020-05-27
US10884612B2 (en) 2021-01-05
CN115047997A (zh) 2022-09-13
JPWO2017138076A1 (ja) 2018-02-15
JP6355823B2 (ja) 2018-07-11
KR20180098681A (ko) 2018-09-04
WO2017138076A1 (ja) 2017-08-17
CN108700981A (zh) 2018-10-23
CN108700981B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
KR101981439B1 (ko) 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템
RU2702270C2 (ru) Обнаружение выбора рукописного фрагмента
JP3131287B2 (ja) パターン認識装置
JP7105695B2 (ja) デジタルインク対話性のためのシステムおよび方法
KR102295131B1 (ko) 입력 표시 장치, 입력 표시 방법, 및 프로그램
US11393230B2 (en) Input display control device, input display control method, and input display system
JP2019079545A (ja) 表示制御装置、入力表示システム、表示制御方法及びプログラム
JP6448838B2 (ja) 表示制御装置、表示制御方法及びプログラム
US11151307B2 (en) Mapping annotations to ranges of text across documents
JP6656477B1 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
Alabau et al. Proofreading Human Translations with an E-pen
JP5978645B2 (ja) 情報処理装置、データ表示装置及びプログラム
JP2019071104A (ja) 入力表示装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right