JP6987302B1 - 入力表示制御装置、入力表示制御方法および入力表示システム - Google Patents

入力表示制御装置、入力表示制御方法および入力表示システム Download PDF

Info

Publication number
JP6987302B1
JP6987302B1 JP2021514638A JP2021514638A JP6987302B1 JP 6987302 B1 JP6987302 B1 JP 6987302B1 JP 2021514638 A JP2021514638 A JP 2021514638A JP 2021514638 A JP2021514638 A JP 2021514638A JP 6987302 B1 JP6987302 B1 JP 6987302B1
Authority
JP
Japan
Prior art keywords
display
virtual area
area
character string
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021514638A
Other languages
English (en)
Other versions
JPWO2022107281A1 (ja
Inventor
正人 平井
勉 松原
貴司 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6987302B1 publication Critical patent/JP6987302B1/ja
Publication of JPWO2022107281A1 publication Critical patent/JPWO2022107281A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • G09G5/26Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

入力表示制御装置(26)において、表示制御部(263)が、ディスプレイ(28)の表示領域(DA)の周囲に第一の仮想領域(VA1)を設定し、ディスプレイ(28)の表示領域(DA)のうち、通信相手側の端末(2)とアスペクト比を合わせるために、通信相手側の端末(2)と共有する表示情報を表示させない一部の表示領域を、第二の仮想領域(VA2)として設定し、ディスプレイ(28)の表示領域(DA1)の端に達した曲線の長さが文字列の長さよりも短いために表示領域(DA1)から文字列の一部がはみ出すと判定した場合に、第一の仮想領域(VA1)、第二の仮想領域(VA2)または第二の仮想領域(VA2)を跨がった第一の仮想領域(VA1)のいずれかに曲線を延長し、延長した曲線に沿って文字列の一部を、第一の仮想領域(VA1)、第二の仮想領域(VA2)または第二の仮想領域(VA2)を跨がった第一の仮想領域(VA1)のいずれかに配置した表示情報を生成する。

Description

本開示は、入力表示制御装置、入力表示制御方法および入力表示システムに関する。
ディスプレイの表示領域上に指定した任意の形状に沿って文字列を表示させる技術として、例えば、特許文献1に記載されるものがある。特許文献1に記載された入力表示制御装置は、ディスプレイの表示領域上をなぞった軌跡を表す曲線に沿って文字列を表示するための表示情報を生成し、生成した表示情報に従ってディスプレイに文字列を表示する。
また、端末間で通信を行い、両方の端末において同じ表示情報を表示する、いわゆる、ミラーリング表示を行うシステムが利用されている。ミラーリング表示は、送信側の端末が受信側の端末へ表示情報を送信し、受信側の端末が送信側の端末から受信した表示情報を表示する。
特許第6641530号公報
ミラーリング表示を行う端末のディスプレイのアスペクト比(画面の縦横比)が互いに異なる場合、両端末で同じ表示情報を共有することができない。例えば、一方の端末は、表示領域内に文字列全体が表示されるのに対し、他方の端末では、表示領域から文字列の一部がはみ出して文字列の全体を視認できないことがある。このため、ミラーリング表示を行う端末同士は、互いのディスプレイが同じアスペクト比に変換される場合が多い。
互いに異なるアスペクト比を同じアスペクト比に合わせる場合、ディスプレイのアスペクト比によっては、通信相手側の端末と共有する表示情報を表示する領域とは別に、当該表示情報が表示されず、黒帯画像等が表示される部分的な領域が設定される。以下、通信相手側の端末と共有する表示情報が表示されない部分的な表示領域を「アスペクト比調整用表示領域」と記載する。
また、ミラーリング表示を行う端末として、特許文献1に記載された入力表示制御装置によって表示制御される端末を使用することができる。特許文献1に記載された入力表示制御装置は、表示対象の文字列の一部がディスプレイの表示領域からはみ出す場合、表示領域の周囲に設定した仮想領域に文字列の一部を仮想的に配置した表示情報を生成する。この表示情報は、文字列の全体を表示するための表示情報である。
しかしながら、上述したアスペクト比調整用表示領域は、ディスプレイの画面内の表示領域である。このため、特許文献1に記載された入力表示制御装置は、表示対象の文字列の一部がアスペクト比調整用表示領域にはみ出す場合に、アスペクト比調整用表示領域にはみ出した一部を含む文字列の全体を表示するための表示情報を生成できないという課題があった。
上記表示情報は、ディスプレイの表示領域におけるアスペクト比調整用表示領域以外の領域に文字列の全体を表示するために必要な情報である。例えば、上記入力表示制御装置は、上記表示情報に従って、文字列の全体をアスペクト比調整用表示領域以外の表示領域に移動させる処理、文字列を構成する文字のサイズを小さくする処理、文字列を改行する処理等を行う。
本開示は上記課題を解決するものであり、通信相手側の端末とアスペクト比を合わせるために表示情報を表示させない一部の表示領域に表示対象の文字列の一部がはみ出す場合であっても、表示対象の文字列の全体を表示するための表示情報を生成することができる入力表示制御装置、入力表示制御方法および入力表示システムを得ることを目的とする。
本開示に係る入力表示制御装置は、曲線を示す曲線情報を取得する曲線情報取得部と、文字列を取得する文字列取得部と、曲線情報が示す曲線に沿って文字列を表示するための表示情報を生成する表示制御部とを備え、表示制御部は、ディスプレイの表示領域の周囲に第一の仮想領域を設定し、ディスプレイの表示領域のうち、通信相手側の端末とアスペクト比を合わせるために、通信相手側の端末との間で共有する表示情報を表示させない一部の領域を、第二の仮想領域として設定し、第二の仮想領域を設定した表示領域のうち、当該第二の仮想領域を除いた領域の端に達した曲線の長さが文字列の長さよりも短いために、第二の仮想領域を設定した表示領域のうち、当該第二の仮想領域を除いた領域から当該文字列の一部がはみ出すと判定した場合、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに曲線を延長し、延長した曲線に沿って文字列の一部を、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに仮想的に配置した表示情報を生成することを特徴とする。
本開示によれば、表示制御部が、ディスプレイの表示領域の周囲に第一の仮想領域を設定し、ディスプレイの表示領域のうち、通信相手側の端末とアスペクト比を合わせるために、通信相手側の端末との間で共有する表示情報を表示させない一部の表示領域を、第二の仮想領域として設定する。そして、表示制御部は、ディスプレイの表示領域の端に達した曲線の長さが文字列の長さよりも短いために表示領域から当該文字列の一部がはみ出すと判定した場合、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに曲線を延長し、延長した曲線に沿って文字列の一部を、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する。これにより、本開示に係る入力表示制御装置は、表示対象の文字列の一部が、通信相手側の端末とアスペクト比を合わせるために表示情報を表示させない一部の表示領域にはみ出す場合であっても、表示対象の文字列全体を表示するための表示情報を生成することができる。
実施の形態1に係る入力表示システムの構成を示すブロック図である。 実施の形態1に係る入力表示制御装置を備える端末の構成を示すブロック図である。 実施の形態1における文字列認識部の構成を示すブロック図である。 実施の形態1に係る入力表示制御装置の構成を示すブロック図である。 実施の形態1に係る入力表示制御方法を示すフローチャートである。 実施の形態1における第二の仮想領域の設定方法を示すフローチャートである。 図7Aは、実施の形態1に係る入力表示システムが備える端末がスマートフォンである場合の画面例を示す画面図であり、図7Bは、実施の形態1に係る入力表示システムが備える端末がタブレット端末である場合の画面例を示す画面図であり、図7Cは、スマートフォンの画面のアスペクト比を4:3に設定したときの画面例を示す画面図であり、図7Dは、タブレット端末の画面のアスペクト比を16:9に設定したときの画面例を示す画面図である。 図8Aから図8Dは、第二の仮想領域の表示例を示す画面図である。 図9Aは、ディスプレイの表示領域と第二の仮想領域とを黒線枠で区別した画面を示す画面図であり、図9Bは、ディスプレイの表示領域と第二の仮想領域とを破線枠で区別した画面を示す画面例である。 文字列の一部をディスプレイの表示領域に表示させることができない例を示す画面例である。 実施の形態1に係る入力表示制御装置の機能を実現するハードウェア構成を示すブロック図である。 実施の形態1に係る入力表示制御装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 図13Aおよび図13Bは、スマートフォンとタブレット端末との画面のアスペクト比を1:1に設定したときの画面例を示す画面図である。 図14Aおよび図14Bは、スマートフォンとタブレット端末との画面のアスペクト比を、両者のアスペクト比から算出した比率に設定したときの画面例を示す画面図である。 図15Aから図15Cは、互いに異なるアスペクト比を有する3台の端末の画面例を示す画面図である。 図16Aから図16Cは、3台の端末の画面のアスペクト比を16:9に設定したときの画面例を示す画面図である。 図17Aから図17Cは、3台の端末の画面のアスペクト比を7:3に設定したときの画面例を示す画面図である。 図18Aから図18Cは、3台の端末の画面のアスペクト比を4:3に設定したときの画面例を示す画面図である。 図19Aから図19Cは、3台の端末の画面のアスペクト比を1:1に設定したときの画面例を示す画面図である。 図20Aから図20Cは、3台の端末の画面のアスペクト比を、3者のアスペクト比から算出した比率に設定したときの画面例を示す画面図である。 実施の形態2に係る入力表示制御方法を示すフローチャートである。 一部が仮想領域に配置された文字列を移動させて、文字列の全体をディスプレイの表示領域に表示させたときの画面例を示す説明図である。 一部が仮想領域に配置された文字列を改行させて、文字列の全体をディスプレイの表示領域に表示させたときの画面例を示す説明図である。
実施の形態1.
図1は、実施の形態1に係る入力表示システム1の構成を示すブロック図である。図1に示す入力表示システム1は、端末2間で通信によって互いのディスプレイにおいて同じ表示情報を共有するシステムである。入力表示システム1において、送信側の端末2は、ディスプレイに表示した内容を示す表示情報を、受信側の端末2に送信し、受信側の端末2が、送信側の端末2から受信した上記表示情報に従って、送信側の端末2と同じ内容をディスプレイに表示する、いわゆるミラーリング表示が行われる。図1において、2台の端末2間で通信する場合を示したが、入力表示システム1は、3台以上の端末2で互いの表示情報を共有してもよい。
端末2は、例えば、スマートフォン、タブレット端末またはPC(Personal Computer)である。入力表示システム1において、一方の端末2がスマートフォンであり、他方の端末2がタブレット端末である場合、ディスプレイのアスペクト比は、互いに異なることになる。この場合、一方の端末2は、ディスプレイの表示領域内に文字列全体が表示されるのに対し、他方の端末2では、ディスプレイの表示領域から文字列の一部がはみ出して文字列全体を視認できないことがある。このため、端末2同士は、互いのディスプレイが同じアスペクト比に変換される。
また、端末2は、実施の形態1に係る入力表示制御装置を備え、当該入力表示制御装置は、ポインティングデバイスを用いた線を描く操作(なぞる操作)を受け付け、受け付けた操作によって指定された曲線に沿って文字列をディスプレイの表示領域に表示させる。ポインティングデバイスとしては、例えば、タッチパネルを想定している。ただし、これは一例であり、ポインティングデバイスには、ジョイスティック、ポインティングスティック、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペンまたはジョイパッドを用いることができる。
端末2は、アスペクト比が大きいディスプレイを小さいアスペクト比に合わせる際に、アスペクト比調整用表示領域が表示領域に設定される。アスペクト比調整用表示領域は、ディスプレイの表示領域のうち、通信相手側の端末2との間で共有する表示情報を表示する領域とは別に設定されて、通信相手側の端末2との間で共有する表示情報を表示しない領域である。特許文献1に記載された従来の入力表示制御装置は、ディスプレイの表示領域を含む平面のうち、表示領域以外の全ての領域を仮想領域と仮定し、表示対象の文字列の一部が仮想領域にはみ出す場合、文字列の一部を仮想領域に仮想的に配置した表示情報を生成する。
これに対し、アスペクト比調整用表示領域は、ディスプレイの表示領域の一部である。従来の入力表示制御装置のアルゴリズムでは、仮想領域をディスプレイの表示領域の周囲に設定するので、アスペクト比調整用表示領域に黒帯画像等を表示しない場合には、一部がアスペクト比調整用表示領域に配置された文字列の表示情報のみが生成されてしまう。この表示情報に従うと、ディスプレイは、アスペクト比調整用表示領域に文字列の一部を表示することになる。
そこで、端末2が備える入力表示制御装置は、ディスプレイの表示領域の周囲に第一の仮想領域を設定し、ディスプレイの表示領域のうち、通信相手側の端末2との間で共有する表示情報を表示させないアスペクト比調整用表示領域を、第二の仮想領域として設定する。そして、端末2が備える入力表示制御装置は、ディスプレイの表示領域の端に達した曲線の長さが文字列の長さよりも短いために表示領域から当該文字列の一部がはみ出すと判定した場合、曲線を延長し、延長した曲線に沿って文字列の一部を、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する。これにより、表示対象の文字列の一部がアスペクト比調整用表示領域にはみ出す場合であっても、表示対象の文字列全体を表示するための表示情報を生成することができる。
図2は、入力表示制御装置26を備える端末2の構成を示すブロック図である。図1に示した入力表示システム1が備える端末2は、ともに図2に示す構成要素を有している。端末2は、操作受付部21、文字管理データベース22(以下、文字管理DB22と記載する)、文字管理部23、軌跡判別部24、文字列認識部25、入力表示制御装置26、文字列一時保存部27、ディスプレイ28および通信部29を備える。
操作受付部21は、ユーザの操作として線をなぞる操作(1)を受け付けて、受け付けた操作の内容を軌跡判別部24に出力する。操作受付部21は、例えば、ポインティングデバイスを用いた操作(1)を受け付ける。文字管理DB22は、文字種、文字サイズ、文字高および文字幅の対応関係を示す文字属性表情報が登録されたデータベースである。文字管理部23には、ディスプレイ28に表示する文字の文字サイズが事前に設定されている。文字管理部23は、文字管理DB22に登録された文字属性表情報を参照することにより、事前に設定された文字サイズに対応する文字高を示す文字属性情報を、軌跡判別部24に出力し、事前に設定された文字サイズに対応する文字高および文字幅を示す文字属性情報を、入力表示制御装置26に出力する。
軌跡判別部24は、操作受付部21によって受け付けられた操作によってディスプレイ28の表示領域上に入力された線の軌跡を判別する。例えば、軌跡判別部24は、ユーザの操作によって入力された線を構成する点群の時系列データを、ポインティングデバイスから取得する。軌跡判別部24は、ポインティングデバイスから取得した点群の時系列データに基づいて、ユーザの操作によって入力された線の軌跡を表す曲線の長さおよび形状を示す曲線情報を生成し、生成した曲線情報を入力表示制御装置26に出力する。曲線には、直線または折れ曲がった線も含まれる。すなわち、軌跡判別部24が判別する曲線には、ディスプレイ28の表示領域上の点群の時系列データを用いて算出可能な様々な形状の線が含まれる。
また、軌跡判別部24は、軌跡を表す曲線を画像化した曲線画像を生成する。曲線画像は、例えば、軌跡を表す曲線を太線で表した画像である。なお、曲線画像の線幅は、文字管理部23から出力された文字属性情報が示す文字高に対応している。入力表示制御装置26に出力される曲線情報は、当該曲線画像を含む情報である。
文字列認識部25は、音声(2)を入力して認識処理を行い、音声(2)の認識結果を示す文字列を、表示対象の文字列として入力表示制御装置26に出力する。図3は、文字列認識部25の構成を示すブロック図である。文字列認識部25は、図3に示すように、音声検出部251、音声認識部252、および音声認識辞書データベース253(以下、音声認識辞書DB253と記載する。)を備える。
音声検出部251は、ユーザの音声(2)を検出し、検出した音声(2)を音声認識部252に出力する。音声認識辞書DB253は、例えば、人間の発声の単位である音素の音響特徴が記述された音響モデルと、音声認識する言葉が記述された認識辞書とが登録されている。音声認識部252は、音声検出部251によって検出された音声(2)を認識する音声認識エンジンを有する。
音声認識部252は、音声検出部251によって検出された音声(2)を分析し、音声(2)の音響特徴を算出して、音声認識辞書DB253に登録されている認識辞書に記述された言葉の中から、算出した音響特徴に最も近い音響特徴を有する言葉を探索する。音声認識部252は、探索した言葉を示す文字列を、音声の認識結果を示す文字列として、入力表示制御装置26に出力する。
図3に示した文字列認識部25は、音声認識部252および音声認識辞書DB253を備えている。ただし、これは一例であり、文字列認識部25は、音声認識部252および音声認識辞書DB253の代わりに、データ送受信部を備える文字列認識部25であってもよい。データ送受信部は、インターネットなどの通信回線を介して、図示せぬ音声認識サーバとの間でデータを送受信することが可能な通信機器であり、例えば、通信部29であってもよい。データ送受信部は、音声検出部251によって検出された音声(2)を示すデータを、音声認識サーバに送信する。音声認識サーバは、音声を認識する音声認識エンジンを備えており、データ送受信部から送信された音声(2)を示すデータを受信すると、受信したデータが示す音声(2)を認識し、音声(2)の認識結果を示す文字列を、データ送受信部に送信する。データ送受信部は、音声認識サーバから受信した音声認識結果を示す文字列を、入力表示制御装置26に出力する。
文字列認識部25は、音声認識によって文字列を取得するだけでなく、ソフトウェアのキーボードまたはハードウェアのキーボードによる文字列の入力を受け付け、入力を受け付けた文字列を入力表示制御装置26に出力してもよい。
入力表示制御装置26は、ディスプレイ28の表示領域の周囲に第一の仮想領域を設定し、ディスプレイ28の表示領域内に第二の仮想領域を設定する。入力表示制御装置26は、ディスプレイ28の表示領域の端に達した曲線の長さが文字列の長さよりも短いために表示領域から当該文字列の一部がはみ出すと判定した場合に、曲線を延長し、延長した曲線に沿って文字列の一部を、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する。
文字列一時保存部27は、文字列取得部262によって取得された文字列を示すデータを、一時的に保存する。例えば、文字列を示すデータは、軌跡判別部24から曲線情報が出力されるまで文字列一時保存部27に保存される。ディスプレイ28は、入力表示制御装置26によって生成された表示情報に従って情報を表示する。
通信部29は、通信相手側の端末2との間で通信を行う。例えば、通信部29は、自身を搭載する端末2が備えるディスプレイ28のアスペクト比を通信相手側の端末2に送信し、通信相手側の端末2が備えるディスプレイ28のアスペクト比を受信する。通信部29によって受信された通信相手側の端末2が備えるディスプレイ28のアスペクト比は、入力表示制御装置26に出力される。入力表示制御装置26は、端末2間のアスペクト比を比較した結果、通信相手側の端末2とアスペクト比を合わせるためにディスプレイ28の表示領域を狭く調整する場合、表示領域を狭くする調整分の領域を、第二の仮想領域とする。通信部29は、入力表示制御装置26によって生成された表示情報を通信相手側の端末2に送信する。入力表示制御装置26は、通信相手側の端末2から受信した表示情報に従って、通信相手側の端末2の表示内容をディスプレイ28の表示領域に表示させる。
図4は、入力表示制御装置26の構成を示すブロック図である。入力表示制御装置26は、曲線情報取得部261、文字列取得部262および表示制御部263を備えている。曲線情報取得部261は、軌跡判別部24によって生成された曲線情報を取得する。
例えば、曲線情報取得部261は、軌跡判別部24から曲線情報を取得し、取得した曲線情報を表示制御部263に出力する。文字列取得部262は、文字列認識部25によって認識された文字列を取得する。例えば、文字列取得部262は、音声認識部252から音声認識結果の文字列を取得すると、取得した文字列を表示制御部263に出力する。
表示制御部263は、曲線情報が示す曲線に沿って文字列を表示するための表示情報を生成する。また、表示制御部263は、ディスプレイ28の表示領域の周囲に第一の仮想領域を設定する。第一の仮想領域は、ディスプレイの表示領域の端に達した曲線の長さが文字列の長さよりも短いために、表示対象の文字列の一部が第一の仮想領域にはみ出すと判定された場合に、文字列のはみ出した一部が仮想的に配置される領域である。例えば、表示制御部263は、曲線情報が示す曲線のうち、第一の仮想領域に延長した部分の長さおよび形状に基づいて、第一の仮想領域において文字列の一部を配置する仮想的な位置を算出し、算出した位置に文字列を仮想的に配置した表示情報を生成する。
また、表示制御部263は、ディスプレイ28の表示領域のうち、通信相手側の端末2とアスペクト比を合わせるために、通信相手側の端末2との間で共有する表示情報を表示させない一部の領域、すなわち、アスペクト比調整用表示領域を、第二の仮想領域として設定する。第二の仮想領域は、ディスプレイ28の表示領域の端に達した曲線の長さが文字列の長さよりも短いために表示対象の文字列の一部が第二の仮想領域にはみ出すと判定された場合に、上記文字列のはみ出した一部が仮想的に配置される領域である。例えば、表示制御部263は、曲線情報が示す曲線のうち、第二の仮想領域に延長した部分の長さおよび形状、または、第二の仮想領域を跨がった第一の仮想領域に延長した部分の長さおよび形状に基づいて、第二の仮想領域、または、第二の仮想領域を跨がった第一の仮想領域に文字列を配置する仮想的な位置を算出し、算出した位置に文字列を仮想的に配置した表示情報を生成する。
「文字列の一部を仮想的に配置する」とは、例えば、ディスプレイ28の表示領域(画面)における2次元座標系を、第一の仮想領域および第二の仮想領域を含む平面に拡張したものを想定して、想定した2次元座標系における第一の仮想領域または第二の仮想領域の位置に文字列の一部を配置することを意味する。「文字列の一部の仮想的な位置」は、前述した2次元座標系の第一の仮想領域または第二の仮想領域における曲線の延長部分の2次元座標位置である。
さらに、表示制御部263は、ディスプレイ28において文字列を曲線画像の上に重ねて表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従い、ディスプレイ28における曲線画像を消去させる。表示制御部263は、図4に示すように、長さ比較部2631、形状決定部2632、曲線延長部2633、表示処理部2634および仮想領域設定部2635を備える。
長さ比較部2631、曲線情報取得部261によって取得された曲線情報が示す曲線の長さと、文字列取得部262によって取得された文字列の長さとを比較し、曲線の長さと文字列の長さとを比較した結果を、形状決定部2632および曲線延長部2633に出力する。
形状決定部2632は、長さ比較部2631から出力された比較結果が、曲線の長さが文字列の長さよりも短いことを示している場合、曲線情報が示す曲線の形状に基づいて、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに仮想的に延長する曲線の延長部分の形状を決定する。例えば、形状決定部2632は、形状が異なる複数の曲線のパターンを記憶しており、複数の曲線のパターンの各形状と、曲線情報が示す曲線の形状とを照合して、複数の曲線のパターンの中から、曲線情報が示す曲線の形状を選択する。形状決定部2632は、選択した曲線の形状に基づいて、曲線の延長部分の形状を決定し、形状を決定した延長部分を示す情報を、曲線延長部2633に出力する。
曲線延長部2633は、長さ比較部2631から出力された比較結果が、曲線の長さが文字列の長さよりも短いことを示している場合、形状決定部2632によって形状が決定された延長部分を、曲線情報が示す曲線の終端部に付加する。例えば、曲線の終端部は、ユーザの操作によって得られた曲線を構成する点群の時系列データうち、時系列で最も新しい点である。
表示処理部2634は、曲線情報が示す曲線に沿って表示対象の文字列をディスプレイ28に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイ28に文字列を表示させる。表示処理部2634によって生成される表示情報は、例えば、文字列取得部262によって取得された文字列を、曲線情報取得部261によって取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。
また、表示処理部2634は、長さ比較部2631から出力された比較結果が、曲線の長さが文字列の長さよりも短いことを示す場合、曲線画像の上に重ねて表示できていない文字列の一部を、曲線延長部2633によって曲線に付加された延長部分に沿って、ディスプレイ28に表示するための表示情報を生成する。表示処理部2634は、生成した表示情報に従って、ディスプレイ28に文字列の一部を表示させる。さらに、表示処理部2634は、ディスプレイ28に文字列を表示させた後、曲線画像を消去するための表示情報を生成し、生成した表示情報に従ってディスプレイ28の表示領域から曲線画像を消去させる。
表示処理部2634は、第一の仮想領域または第二の仮想領域に一部が配置された文字列の選択を受け付ける。表示処理部2634は、例えば、第一の仮想領域または第二の仮想領域に一部が配置された文字列に含まれる文字のうち、ディスプレイ28の表示領域に表示されている文字に対するユーザの接触時間、すなわちタッチパネルにおけるタッチ時間が閾値よりも長い場合、当該文字列の選択を受け付ける。閾値は、表示処理部2634の内部メモリに格納されたものでもよいし、外部から与えられるものでもよい。
表示処理部2634は、選択を受け付けた文字列に含まれている文字の輪郭に、文字とは異なる色の縁を付加する。そして、表示処理部2634は、選択を受け付けた文字列の移動を受け付ける。例えば、表示処理部2634は、選択を受け付けた文字列の全体を、ディスプレイ28の表示領域に配置するための移動が受け付けられると、文字列の全体をディスプレイ28の表示領域に表示するための表示情報を生成する。また、表示処理部2634は、選択を受け付けた文字列の全体を、ディスプレイ28の表示領域の外側に出す移動が受け付けられると、当該文字列を破棄する。
仮想領域設定部2635は、ディスプレイ28の表示領域の周囲に第一の仮想領域を設定するとともに、ディスプレイ28の表示領域のうち、アスペクト比調整用表示領域を、第二の仮想領域として設定する。例えば、仮想領域設定部2635は、ディスプレイ28のアスペクト比を、通信部29によって通信相手側の端末2から受信されたアスペクト比に合わせる場合、アスペクト比を変更した後の表示領域の面積が最も大きくなるように、表示領域の縦寸法または横寸法を変更する。
ディスプレイ28のアスペクト比を変更するためにディスプレイ28の表示領域の縦の寸法を小さくした場合、アスペクト比調整用表示領域の位置は、表示領域の縦方向の両端部の位置または縦方向の一方の端部の位置に決定される。アスペクト比調整用表示領域の大きさは、元の表示領域から、縦寸法を小さくした表示領域を除いた残りの領域の大きさとなる。また、ディスプレイ28の表示領域の横の寸法を小さくした場合、アスペクト比調整用表示領域の位置は、表示領域の横方向の両端部の位置または横方向の一方の端部の位置に決定される。アスペクト比調整用表示領域の大きさは、元の表示領域から、横寸法を小さくした表示領域を除いた残りの領域の大きさとなる。仮想領域設定部2635は、ディスプレイ28の表示領域におけるアスペクト比調整用表示領域の位置と大きさを決定し、位置と大きさを決定したアスペクト比調整用表示領域を第二の仮想領域に設定する。
仮想領域設定部2635は、ディスプレイ28の表示領域の周囲に設定した第一の仮想領域を示す情報と、ディスプレイ28の表示領域内における第二の仮想領域を示す情報とを、表示処理部2634に出力する。例えば、仮想領域設定部2635は、ディスプレイ28のアスペクト比を、予め設定されていたアスペクト比に変更することにより、第二の仮想領域を設定してもよい。
また、仮想領域設定部2635は、ディスプレイ28のアスペクト比と通信相手側のアスペクト比とから算出した新たなアスペクト比に合わせることにより、第二の仮想領域を設定してもよい。
さらに、端末2間に、ホスト側の端末2とゲスト側の端末2とが設定されている場合、仮想領域設定部2635は、ゲスト側の端末2のディスプレイ28を、ホスト側の端末2のアスペクト比に合わせることにより、第二の仮想領域を設定してもよい。
図5は、実施の形態1に係る入力表示制御方法を示すフローチャートであり、入力表示制御装置26の動作を示している。曲線情報取得部261は、軌跡判別部24から出力された曲線情報を取得する(ステップST1)。曲線情報取得部261は、取得した曲線情報を、長さ比較部2631、形状決定部2632および曲線延長部2633に出力する。文字列取得部262は、文字列認識部25から出力された文字列情報を取得する(ステップST2)。文字列取得部262は、取得した文字列情報を、長さ比較部2631および表示処理部2634に出力する。
仮想領域設定部2635は、ディスプレイ28の表示領域の周囲を、第一の仮想領域に設定する(ステップST3)。例えば、仮想領域設定部2635は、ディスプレイ28の表示領域(画面)における2次元座標系を、当該表示領域の外側の平面まで拡張したものを想定し、表示領域の外側の領域を第一の仮想領域に設定する。仮想領域設定部2635は、ディスプレイ28の表示領域(画面)のうち、通信相手側の端末2とアスペクト比を合わせるために、通信相手側の端末2との間で共有する表示情報を表示させない領域を、第二の仮想領域に設定する(ステップST4)。
表示処理部2634は、曲線がディスプレイ28の表示領域の端に達しているか否かを判定する(ステップST5)。例えば、表示処理部2634は、曲線情報が示す曲線の端部がディスプレイ28の表示領域と第一の仮想領域との境界線上に存在するか否か、または、曲線情報が示す曲線の端部がディスプレイ28の表示領域と第二の仮想領域との境界線上に存在するか否かに基づいて、曲線がディスプレイ28の表示領域の端に達しているか否かを判定する。
曲線がディスプレイ28の表示領域の端に達していると判定された場合(ステップST5;YES)、長さ比較部2631は、曲線情報が示す曲線の長さが、文字列の長さよりも短いか否かを判定する(ステップST6)。例えば、長さ比較部2631は、曲線情報が示す曲線の長さを算出し、算出した曲線の長さと文字列の長さとを比較する。長さ比較部2631は、算出した曲線の長さと文字列の長さとを比較した結果に基づいて、曲線の長さが、文字列の長さよりも短いか否かを判定する。
続いて、曲線延長部2633は、曲線の長さが文字列の長さよりも短い場合(ステップST6;YES)、形状決定部2632によって形状が決定された延長部分を、曲線情報が示す曲線の終端に付加することにより、曲線を延長する(ステップST7)。
表示処理部2634は、曲線延長部2633によって延長された曲線に沿って、文字列の一部を、第一の仮想領域、第二の仮想領域または第二の仮想領域を跨がった第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する(ステップST8)。
また、曲線がディスプレイ28の表示領域の端に達していない場合(ステップST5;NO)、または、曲線の長さが文字列の長さ以上である場合(ステップST6;NO)、表示処理部2634は、曲線情報が示す曲線に沿って文字列の全体を表示領域に配置した表示情報を生成する(ステップST9)。
図6は、第二の仮想領域の設定方法を示すフローチャートであり、仮想領域設定部2635および表示処理部2634の動作を示している。仮想領域設定部2635は、通信相手側の端末2とアスペクト比を合わせるために、表示領域の一部と第二の仮想領域として設定する(ステップST1a)。例えば、仮想領域設定部2635は、ディスプレイ28の表示領域のうち、通信相手側の端末2とアスペクト比を合わせるために、アスペクト比調整用表示領域の位置および大きさを決定し、位置および大きさを決定したアスペクト比調整用表示領域を第二の仮想領域に設定する。
図7Aは、端末2がスマートフォンである場合の画面例を示す画面図である。図7Aに示す端末2において、画面28Aのアスペクト比は16:9である。図7Bは、端末2がタブレット端末である場合の画面例を示す画面図である。図7Bに示す端末2において、画面28Bのアスペクト比は4:3である。図7Aおよび図7Bにおいて、画面28Aは表示領域DAである。仮想領域設定部2635は、表示領域DAの周囲の領域を、第一の仮想領域VA1に設定する。
図7Cは、スマートフォンの画面のアスペクト比を4:3に設定したときの画面例を示す画面図である。仮想領域設定部2635は、画面28Aのアスペクト比(16:9)を、画面28Bのアスペクト比(4:3)に合わせるために、図7Aに示した表示領域DAに第二の仮想領域VA2を設定する。これにより、表示領域DAには、第二の仮想領域VA2と表示領域DA1とが設定される。
図7Dは、タブレット端末の画面のアスペクト比を16:9に設定したときの画面例を示す画面図である。仮想領域設定部2635は、画面28Bのアスペクト比(4:3)を、画面28Aのアスペクト比(16:9)に合わせるために、図7Bに示した表示領域DAに第二の仮想領域VA2を設定する。これにより、表示領域DAには、第二の仮想領域VA2と表示領域DA1とが設定される。
次に、表示処理部2634は、ディスプレイ28の表示領域において、第二の仮想領域をそれ以外の領域と区別して表示するための表示情報を生成する(ステップST2a)。図8Aから図8Dは、第二の仮想領域の表示例を示す画面図である。表示処理部2634は、例えば、第二の仮想領域VA2に対して黒帯画像を重畳して表示するための表示情報を生成する。ディスプレイ28は、生成した表示情報に従って、図8Aに示すように、第二の仮想領域VA2に黒帯画像を表示する。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに表示情報が表示されることを把握できる。
表示処理部2634は、操作受付部21によってディスプレイ28の画面を拡大、縮小またはスクロールする操作が受け付けられると、第二の仮想領域VA2はそのままとして表示領域DA1のみを、上記操作に応じて拡大、縮小またはスクロールさせる表示情報を生成する。ディスプレイ28は、生成された表示情報に従い、表示領域DA1を、拡大、縮小またはスクロールさせる。
表示処理部2634は、例えば、第二の仮想領域VA2に灰色画像を重畳して表示するための表示情報を生成する。表示処理部2634より生成された表示情報に従い、ディスプレイ28は、図8Bに示すように、第二の仮想領域VA2に灰色画像が重畳して表示する。また、表示処理部2634は、例えば、第二の仮想領域VA2に灰色画像を重畳して表示するための表示情報を生成する。生成した表示情報に従い、ディスプレイ28は、図8Bに示すように、第二の仮想領域VA2に灰色画像を重畳して表示する。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに表示情報が表示されることを把握できる。
また、表示処理部2634は、例えば、第二の仮想領域VA2にドット柄画像を重畳して表示するための表示情報を生成する。表示処理部2634よって生成された表示情報に従い、ディスプレイ28は、図8Cに示すように、第二の仮想領域VA2にドット柄画像が重畳して表示する。表示処理部2634は、例えば、第二の仮想領域VA2にドット柄画像を重畳して表示するための表示情報を生成する。生成した表示情報に従い、ディスプレイ28は、図8Cに示すように、第二の仮想領域VA2にドット柄画像を重畳して表示する。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに表示情報が表示されることを把握できる。
表示処理部2634は、例えば、第二の仮想領域VA2に縞柄画像を重畳して表示するための表示情報を生成する。表示処理部2634よって生成された表示情報に従い、ディスプレイ28は、図8Dに示すように、第二の仮想領域VA2に縞柄画像が重畳して表示する。表示処理部2634は、例えば、第二の仮想領域VA2に縞柄画像を重畳して表示するための表示情報を生成する。生成した表示情報に従い、ディスプレイ28は、図8Dに示すように、第二の仮想領域VA2に縞柄画像を重畳して表示する。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに表示情報が表示されることを把握できる。
図9Aは、ディスプレイ28の表示領域DA1と第二の仮想領域VA2とを黒線枠30で区別した画面を示す画面図である。表示処理部2634は、例えば、表示領域DA1を黒線枠30で囲って表示するための表示情報を生成する。表示処理部2634よって生成された表示情報に従い、ディスプレイ28は、図9Aに示すように、黒線枠30で囲まれた表示領域DA1を表示する。第二の仮想領域VA2は、黒線枠30によって表示領域DA1と区別される。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに表示情報が表示されることを把握できる。
図9Bは、ディスプレイ28の表示領域DA1と第二の仮想領域VA2とを破線枠31で区別した画面を示す画面例である。表示処理部2634は、例えば、表示領域DA1を破線枠31で囲って表示するための表示情報を生成する。表示処理部2634よって生成された表示情報に従い、ディスプレイ28は、図9Bに示すように、破線枠31で囲まれた表示領域DA1を表示する。第二の仮想領域VA2は、破線枠31によって表示領域DA1と区別される。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに表示情報が表示されることを把握できる。
図10は、文字列の一部をディスプレイ28の表示領域DA1に表示させることができない例を示す画面例である。ユーザがディスプレイ28の画面上に設けられたタッチ面を図10における右方向になぞったとき、曲線情報が示す曲線C1の右端は、ディスプレイ28の表示領域DA1の右端に位置することになる。しかしながら、曲線C1に沿って表示領域DA1に表示すべき文字列M1の長さと曲線C1の長さを比較すると、曲線C1の長さは、文字列M1の長さよりも短い。このため、文字列M1である「123456」のうち、「4」の一部と「5」および「6」は、表示領域DA1からはみ出して未表示になっている。
表示処理部2634は、文字列M1の一部を表示領域DA1に表示させることができない場合、曲線C1に延長曲線C1aを付加することにより第一の仮想領域VA1まで延長し、延長曲線C1aに沿って未表示の文字列「456」を仮想的に第一の仮想領域VA1に配置した表示情報を生成する。この表示情報を利用することにより、ディスプレイ28は、未表示の文字列「456」を含む文字列M1の全体を表示領域DA1に表示することができる。
また、図10において、ユーザがディスプレイ28の画面上に設けられたタッチ面を図10における上方向になぞったときに、曲線情報が示す曲線C2の右端は、ディスプレイ28の表示領域DA1の上端に位置することになる。しかしながら、曲線C2に沿って表示領域DA1に表示すべき文字列M2の長さと曲線C2の長さを比較すると、曲線C2の長さは、文字列M2の長さよりも短い。このため、文字列M2である「ABCDE」のうち、「C」の一部と「D」および「E」は、表示領域DA1からはみ出して未表示になっている。
表示処理部2634は、文字列M2の一部を表示領域DA1に表示させることができない場合、曲線C2に延長曲線C2aを付加することにより第二の仮想領域VA2まで延長し、延長曲線C2aに沿って未表示の文字列「CDE」を仮想的に第二の仮想領域VA2に配置した表示情報を生成する。この表示情報を利用することにより、ディスプレイ28は、未表示の文字列「CDE」を含む文字列M2の全体を、表示領域DA1に表示することができる。
図10において、ユーザがディスプレイ28の画面上に設けられたタッチ面を図10における下方向になぞったとき、曲線情報が示す曲線C3の右端は、ディスプレイ28の表示領域DA1の下端に位置することになる。しかしながら、曲線C3に沿って表示領域DA1に表示すべき文字列M3の長さと曲線C3の長さを比較すると、曲線C3の長さは、文字列M3の長さよりも短い。このため、文字列M3である「3.141592653」のうち、「592653」は、表示領域DA1からはみ出して未表示になっている。
表示処理部2634は、文字列M3の一部を表示領域DA1に表示させることができない場合、曲線C3に延長曲線C3aを付加することで、第二の仮想領域VA2を跨がった第一の仮想領域VA1まで延長し、延長曲線C3aに沿って未表示の文字列「592653」を仮想的に第二の仮想領域VA2および第一の仮想領域VA1に配置した表示情報を生成する。この表示情報を利用することにより、ディスプレイ28は、未表示の文字列「592653」を含む文字列M3の全体を、表示領域DA1に表示することができる。
図11は、入力表示制御装置26の機能を実現するハードウェア構成を示すブロック図である。図11において、処理回路103は、入力インタフェース100を介して、操作受付部21、軌跡判別部24および文字列認識部25から、データを取得する。処理回路103は、出力インタフェース101を介して、ディスプレイ28に表示情報を出力する。処理回路103は、通信部29によって通信相手側の端末2との間で送受信されたデータを、通信インタフェース102を介して入出力する。
図12は、入力表示制御装置26の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図12において、プロセッサ104は、入力インタフェース100を介して、操作受付部21、軌跡判別部24および文字列認識部25から、データを取得する。プロセッサ104は、出力インタフェース101を介して、ディスプレイ28に表示情報を出力する。プロセッサ104は、通信部29によって通信相手側の端末2との間で送受信されたデータを、通信インタフェース102を介して入出力する。
入力表示制御装置26が備える曲線情報取得部261、文字列取得部262および表示制御部263の機能は、処理回路によって実現される。すなわち、入力表示制御装置26は、図5に示したステップST1からステップST9までの各処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
処理回路が図11に示す専用のハードウェアの処理回路103である場合、処理回路103は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。入力表示制御装置26が備える曲線情報取得部261、文字列取得部262および表示制御部263の機能は、別々の処理回路で実現されてもよいし、これらの機能がまとめて1つの処理回路で実現されてもよい。
処理回路が図12に示すプロセッサ104である場合、入力表示制御装置26が備える曲線情報取得部261、文字列取得部262および表示制御部263の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ105に記憶される。
プロセッサ104は、メモリ105に記憶されたプログラムを読み出して実行することにより、入力表示制御装置26が備える曲線情報取得部261、文字列取得部262および表示制御部263の機能を実現する。例えば、入力表示制御装置26は、プロセッサ104によって実行されるとき、図5に示すフローチャートにおけるステップST1からステップST9の処理が結果的に実行されるプログラムを記憶するためのメモリ105を備える。これらのプログラムは、曲線情報取得部261、文字列取得部262および表示制御部263の手順または方法を、コンピュータに実行させる。メモリ105は、コンピュータを、曲線情報取得部261、文字列取得部262および表示制御部263として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
メモリ105は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically−EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
入力表示制御装置26が備える曲線情報取得部261、文字列取得部262および表示制御部263の機能の一部は、専用ハードウェアによって実現され、残りの一部は、ソフトウェアまたはファームウェアによって実現されてもよい。例えば、曲線情報取得部261および文字列取得部262は、専用のハードウェアである処理回路103によって機能が実現され、表示制御部263は、プロセッサ104がメモリ105に記憶されたプログラムを読み出し実行することにより機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、上記機能を実現することができる。
仮想領域設定部2635による第一の仮想領域VA1と第二の仮想領域VA2の設定の具体例について説明する。
図13Aは、端末2がスマートフォンである場合の画面例を示す画面図である。図13Aに示す端末2において、画面28Aのアスペクト比は16:9である。図13Bは、端末2がタブレット端末である場合の画面例を示す画面図である。図13Bに示す端末2において、画面28Bのアスペクト比は4:3である。図13Aおよび図13Bにおいて、仮想領域設定部2635は、アスペクト比を、予め設定されたアスペクト比(1:1)に合わせる。例えば、図13Aに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Aのアスペクト比(16:9)を、予め設定されたアスペクト比(1:1)に合わせるために、表示領域DAに第二の仮想領域VA2を設定する。図13Bに示すタブレット端末の仮想領域設定部2635は、画面28Bのアスペクト比(4:3)を、予め設定されたアスペクト比(1:1)に合わせるために、表示領域DAに第二の仮想領域VA2を設定する。
図14Aは、端末2がスマートフォンである場合の画面例を示す画面図である。図14Aに示す端末2において、画面28Aのアスペクト比は、16:9である。図14Bは、端末2がタブレット端末である場合の画面例を示す画面図である。画面28Bのアスペクト比は、4:3である。仮想領域設定部2635は、画面28Aのアスペクト比と画面28Bのアスペクト比から算出した新たなアスペクト比とすることにより第二の仮想領域を設定してもよい。例えば、仮想領域設定部2635は、スマートフォンのアスペクト比とタブレット端末のアスペクト比とにおける、縦の比率同士を加算した値を新たな縦の比率とし、横の比率同士を加算した値を新たな横の比率としたアスペクト比を算出する。
画面28Aのアスペクト比は16:9であり、画面28Bのアスペクト比は4:3であるので、新たなアスペクト比として、20(=16+4):12(=9+3)が算出される。図14Aに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Aのアスペクト比16:9を新たなアスペクト比20:12に合わせることにより表示領域DAに第二の仮想領域VA2を設定する。図14Bに示すタブレット端末の仮想領域設定部2635は、画面28Bのアスペクト比4:3を新たなアスペクト比20:12に合わせることにより表示領域DAに第二の仮想領域VA2を設定する。
また、アスペクト比における縦の比率同士を加算した値を縦の比率とし、横の比率同士を加算した値を横の比率とする場合の他に、例えば、縦の比率同士を掛け算して平方根をとった値を縦の比率とし、横の比率同士を掛け算して平方根をとった値を横の比率としてもよい。また、表示領域DA1が最も大きくなるアスペクト比に調整してもよい。
図15Aから図15Cは、互いに異なるアスペクト比を有する3台の端末2の画面例を示す画面図である。図15Aは、端末2がスマートフォンである場合の画面例を示す画面図である。図15Aに示す端末2において、画面28Aのアスペクト比は16:9である。図15Bは、端末2がタブレット端末である場合の画面例を示す画面図である。図15Bに示す端末2において、画面28Bのアスペクト比は4:3である。図15Cは、端末2がスマートフォンである場合の画面例を示す画面図である。図15Cに示す端末2において、画面28Cのアスペクト比は7:3である。図15A、図15Bおよび図15Cにおいて、画面28A、画面28Bおよび画面28Cは、表示領域DAである。仮想領域設定部2635は、表示領域DAの周囲の領域を、第一の仮想領域VA1に設定する。
図16Aから図16Cは、3台の端末2の画面のアスペクト比を16:9に設定したときの画面例を示す画面図である。図16Aに示すスマートフォンが備える通信部29は、画面28Aのアスペクト比(16:9)を示す情報を、図16Bに示すタブレット端末と図16Cに示すスマートフォンに送信する。図16Bに示すタブレット端末に搭載された仮想領域設定部2635は、画面28Bのアスペクト比4:3を、画面28Aのアスペクト比(16:9)に合わせるため、図15Bに示した表示領域DAに第二の仮想領域VA2を設定する。同様に、図16Cに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Cのアスペクト比7:3を、画面28Aのアスペクト比(16:9)に合わせるため、図15Cに示した表示領域DAに第二の仮想領域VA2を設定する。これにより、表示領域DAには、第二の仮想領域VA2と表示領域DA1とが設定される。
図17Aから図17Cは、3台の端末2の画面のアスペクト比を7:3に設定したときの画面例を示す画面図である。図17Cに示すスマートフォンが備える通信部29は、画面28Cのアスペクト比(7:3)を示す情報を、図17Aに示すスマートフォンと図17Bに示すタブレット端末に送信する。図17Aに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Aのアスペクト比16:9を、画面28Cのアスペクト比(7:3)に合わせるため、図15Aに示した表示領域DAに第二の仮想領域VA2を設定する。同様に、図17Bに示すタブレット端末に搭載された仮想領域設定部2635は、画面28Bのアスペクト比4:3を、画面28Cのアスペクト比(7:3)に合わせるため、図15Bに示した表示領域DAに第二の仮想領域VA2を設定する。これにより、表示領域DAには、第二の仮想領域VA2と表示領域DA1とが設定される。
図18Aから図18Cは、3台の端末2の画面のアスペクト比を4:3に設定したときの画面例を示す画面図である。図18Bに示すタブレット端末が備える通信部29は、画面28Bのアスペクト比(4:3)を示す情報を、図18Aに示すスマートフォンおよび図18Cに示すタブレット端末に送信する。図18Aに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Aのアスペクト比16:9を、画面28Bのアスペクト比(4:3)に合わせるため、図15Aに示した表示領域DAに第二の仮想領域VA2を設定する。同様に、図18Cに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Cのアスペクト比7:3を、画面28Bのアスペクト比(4:3)に合わせるため、図15Cに示した表示領域DAに第二の仮想領域VA2を設定する。これにより、表示領域DAには、第二の仮想領域VA2と表示領域DA1とが設定される。
図19Aから図19Cは、3台の端末2の画面のアスペクト比を1:1に設定したときの画面例を示す画面図である。仮想領域設定部2635は、アスペクト比を、予め設定されたアスペクト比(1:1)に合わせる。例えば、図19Aに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Aのアスペクト比(16:9)を、予め設定されたアスペクト比(1:1)に合わせるため、表示領域DAに第二の仮想領域VA2を設定する。図19Bに示すタブレット端末の仮想領域設定部2635は、画面28Bのアスペクト比(4:3)を、予め設定されたアスペクト比(1:1)に合わせるため、表示領域DAに第二の仮想領域VA2を設定する。同様に、図19Cに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Cのアスペクト比(7:3)を、予め設定されたアスペクト比(1:1)に合わせるため、表示領域DAに第二の仮想領域VA2を設定する。
図20Aから図20Cは、3台の端末2の画面のアスペクト比を、3者のアスペクト比から算出した比率に設定したときの画面例を示す画面図である。仮想領域設定部2635は、画面28Aのアスペクト比と画面28Bのアスペクト比と画面28Cのアスペクト比から算出した新たなアスペクト比とすることにより、第二の仮想領域を設定してもよい。例えば、仮想領域設定部2635は、画面28Aのアスペクト比と画面28Bのアスペクト比と画面28Cのアスペクト比における、縦の比率同士を加算した値を新たな縦の比率とし、横の比率同士を加算した値を新たな横の比率としたアスペクト比を算出する。
画面28Aのアスペクト比は16:9であり、画面28Bのアスペクト比は4:3であり、画面28Cのアスペクト比は7:3であるので、新たなアスペクト比として、27(=16+4+7):15(=9+3+3)が算出される。図20Aに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Aのアスペクト比16:9を、新たなアスペクト比27:15に合わせるため、表示領域DAに第二の仮想領域VA2を設定する。図20Bに示すタブレット端末の仮想領域設定部2635は、画面28Bのアスペクト比4:3を、新たなアスペクト比27:15に合わせるため、表示領域DAに第二の仮想領域VA2を設定する。図20Cに示すスマートフォンに搭載された仮想領域設定部2635は、画面28Cのアスペクト比7:3を、新たなアスペクト比27:15に合わせるため、表示領域DAに第二の仮想領域VA2を設定する。
また、図20A、図20Bおよび図20Cにおいても、アスペクト比における縦の比率同士を加算した値を縦の比率とし、横の比率同士を加算した値を横の比率とする場合の他に、例えば、縦の比率同士を掛け算して平方根をとった値を縦の比率とし、横の比率同士を掛け算して平方根をとった値を横の比率としてもよい。また、表示領域DA1が最も大きくなるアスペクト比に調整してもよい。
以上のように、実施の形態1に係る入力表示制御装置26において、表示制御部263が、ディスプレイ28の表示領域DAの周囲に第一の仮想領域VA1を設定し、ディスプレイ28の表示領域DAのうち、通信相手側の端末2とアスペクト比を合わせるために、通信相手側の端末2との間で共有する表示情報を表示させない一部の表示領域を、第二の仮想領域VA2として設定する。そして、表示制御部263は、ディスプレイ28の表示領域DA1の端に達した曲線の長さが文字列の長さよりも短いために表示領域DA1から当該文字列の一部がはみ出すと判定した場合に、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに曲線を延長し、延長した曲線に沿って文字列の一部を、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに仮想的に配置した表示情報を生成する。これにより、入力表示制御装置26は、表示対象の文字列の一部がアスペクト比調整用表示領域にはみ出す場合であっても、表示対象の文字列の全体を表示するための表示情報を生成することができる。
実施の形態1に係る入力表示制御装置26において、表示制御部263は、ディスプレイ28の表示領域において、第二の仮想領域VA2を、第二の仮想領域Va2以外の領域DA1とは区別して表示させる。これにより、ユーザは、ディスプレイ28の表示領域DAのうち、領域DA1のみに、通信相手側の端末2との間で共有する表示情報が表示されることを把握できる。
実施の形態2.
実施の形態2に係る入力表示システムにおいて、表示制御部が、一部が仮想領域に配置された文字列の全体を表示領域に表示させるための表示情報を生成するものである。実施の形態2に係る入力表示システムおよび入力表示制御装置は、実施の形態1で示した入力表示システム1および入力表示制御装置26と同じ構成を有するので、構成要素の説明は図2および図4を参照するものとする。
図21は、実施の形態2に係る入力表示制御方法を示すフローチャートである。図21において、ステップST1からステップST9までの処理は図5と同様であるので、説明を省略する。表示処理部2634は、延長した曲線に沿って一部が仮想領域に配置された文字列を表示領域DA1に表示するための表示情報を生成する(ステップST10)。表示処理部2634は、生成した表示情報をディスプレイ28に出力する。ディスプレイ28は、表示処理部2634によって生成された表示情報に従って、文字列の全体を表示領域DA1に表示する(ステップST11)。
図22は、一部が第二の仮想領域VA2に配置された文字列M4を移動させて、文字列M4の全体をディスプレイ28の表示領域DA1に表示させたときの画面例を示す説明図である。図22において、文字列M4は、表示領域DA1の上端に達した曲線Cよりも長いため、曲線Cに沿って配置すると一部が第二の仮想領域VA2にはみ出す。このため、表示制御部263は、曲線Cを第二の仮想領域VA2に延長し、延長した曲線Cに沿って文字列M4の一部を第二の仮想領域VA2に配置した表示情報を生成する。
表示制御部263は、操作受付部21によって文字列M4をA1方向に移動させる操作が受け付けられた場合に、上記表示情報を用いて、文字列M4の全体を表示領域DA1に表示させる表示情報を生成する。ディスプレイ28は、表示制御部263によって生成された上記表示情報に従って、図22に示すように、文字列M4の全体を表示領域DA1に表示させる。
図23は、一部が第二の仮想領域VA2を跨がった第一の仮想領域VA1に配置された文字列M5を改行させて、文字列M5の全体を、ディスプレイ28の表示領域DA1に表示させたときの画面例を示す説明図である。文字列M5は、表示領域DA1の上端に達した曲線Cよりも長いため、曲線Cに沿って配置すると、一部が第二の仮想領域VA2を跨がった第一の仮想領域VA1にはみ出してしまう。このため、表示制御部263は、曲線Cに延長分C1を付加することにより、曲線Cを第二の仮想領域VA2を跨がった第一の仮想領域VA1に延長し、延長した曲線Cに沿って文字列M5の一部を、第二の仮想領域VA2を跨がった第一の仮想領域VA1に配置した表示情報を生成する。これにより、文字列M4の全体を、ディスプレイ28の表示領域DA1に表示させることができる。
上記表示情報を用いて、表示制御部263は、延長分C1を自動改行させた曲線C2に沿って、文字列M5のうち、文字列「CDEF」を配置し、文字列「CDEF」のうち、第二の仮想領域VA2にはみ出す文字「F」を、曲線C2のうち、第二の仮想領域VA2にはみ出す曲線部分C3をさらに改行させ、改行後の曲線部分C4に沿って文字「F」を配置する表示情報を生成する。ディスプレイ28は、表示制御部263によって生成された上記表示情報に従って、図23に示すように、文字列M5の全体を、表示領域DA1に表示させる。これにより、文字列M5の全体を、自動的にディスプレイ28の表示領域DA1に表示させることができる。
また、表示制御部263は、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに一部が配置された文字列に含まれる文字のサイズを小さくすることにより、曲線の長さ以下にした文字列を表示領域DA1に表示するための表示情報を生成してもよい。
例えば、表示制御部263は、上記仮想領域に延長された曲線に沿って一部が仮想領域に配置された文字列の表示情報を生成すると、この表示情報を、文字列の長さが表示領域DA1に配置された曲線の長さ以下になるように、当該文字列に含まれる文字のサイズを小さくした表示情報に変換する。サイズを小さくする文字は、文字列に含まれる全ての文字であってもよいし、一部の文字であってもよい。
表示制御部263は、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに一部が配置された文字列を、当該文字列と同じ意味を有しかつ当該文字列よりも長さを短く変換することにより、変換した文字列を表示領域DA1に表示するための表示情報を生成する。
例えば、表示制御部263は、上記仮想領域に延長された曲線に沿って一部が仮想領域に配置された文字列「3.141592653」の表示情報を生成すると、この表示情報を、当該文字列と同じ意味を有しかつ当該文字列よりも長さが短い文字列「π3.14」に変換した表示情報に変換する。なお、文字列の全体を変換してもよいし、文字列の一部を変換してもよい。
以上のように、実施の形態2に係る入力表示制御装置26において、表示制御部263は、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに一部が配置された文字列の選択を受け付け、選択が受け付けられた文字列を移動させる操作が受け付けられた場合、文字列を移動することにより、文字列の全体を表示領域DA1に表示するための表示情報を生成する。生成された表示情報を用いることで、曲線よりも文字列が長い場合であっても、ディスプレイ28の表示領域DA1に文字列の全体を表示させることができる。
実施の形態2に係る入力表示制御装置26において、表示制御部263は、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに一部が配置された文字列を改行することにより、文字列の全体を表示領域DA1に表示するための表示情報を生成する。生成された表示情報を用いることにより、曲線よりも文字列が長い場合であっても、文字列の全体を、ディスプレイ28の表示領域DA1に自動的に表示させることができる。
実施の形態2に係る入力表示制御装置26において、表示制御部263は、第一の仮想領域VA1、第二の仮想領域VA2または第二の仮想領域VA2を跨がった第一の仮想領域VA1のいずれかに一部が配置された文字列に含まれる文字のサイズを小さくすることにより、曲線の長さ以下にした文字列を表示領域DA1に表示するための表示情報を生成する。生成された表示情報を用いることで、曲線よりも文字列が長い場合であっても、文字列の全体を、ディスプレイ28の表示領域DA1に自動的に表示させることができる。
なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
本開示に係る入力表示制御装置は、例えば、ディスプレイに文字列を表示させる端末に利用可能である。
1 入力表示システム、2 端末、21 操作受付部、22 文字管理データベース(DB)、23 文字管理部、24 軌跡判別部、25 文字列認識部、26 入力表示制御装置、27 文字列一時保存部、28 ディスプレイ、28A,28B,28C 画面、29 通信部、30 黒線枠、31 破線枠、100 入力インタフェース、101 出力インタフェース、102 通信インタフェース、103 処理回路、104 プロセッサ、105 メモリ、251 音声検出部、252 音声認識部、253 音声認識辞書データベース(DB)、261 曲線情報取得部、262 文字列取得部、263 表示制御部、2631 長さ比較部、2632 形状決定部、2633 曲線延長部、2634 表示処理部、2635 仮想領域設定部。

Claims (8)

  1. 曲線を示す曲線情報を取得する曲線情報取得部と、
    文字列を取得する文字列取得部と、
    前記曲線情報が示す前記曲線に沿って前記文字列を表示するための表示情報を生成する表示制御部と、
    を備え、
    前記表示制御部は、
    ディスプレイの表示領域の周囲に第一の仮想領域を設定し、
    前記ディスプレイの前記表示領域のうち、通信相手側の端末とアスペクト比を合わせるために、前記通信相手側の端末との間で共有する表示情報を表示させない一部の領域を、第二の仮想領域として設定し、
    前記第二の仮想領域を設定した前記表示領域のうち、当該第二の仮想領域を除いた領域の端に達した前記曲線の長さが前記文字列の長さよりも短いために、前記第二の仮想領域を設定した前記表示領域のうち、当該第二の仮想領域を除いた領域から当該文字列の一部がはみ出すと判定した場合、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに前記曲線を延長し、
    延長した前記曲線に沿って前記文字列の一部を、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する
    ことを特徴とする入力表示制御装置。
  2. 前記表示制御部は、前記ディスプレイの前記表示領域において、前記第二の仮想領域を当該第二の仮想領域以外の領域とは区別して表示させる
    ことを特徴とする請求項1に記載の入力表示制御装置。
  3. 前記表示制御部は、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに一部が配置された前記文字列の選択を受け付け、選択が受け付けられた前記文字列を移動させる操作が受け付けられた場合、前記文字列を移動することにより前記文字列の全体を前記表示領域における前記第二の仮想領域以外の領域に表示するための表示情報を生成する
    ことを特徴とする請求項1に記載の入力表示制御装置。
  4. 前記表示制御部は、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに一部が配置された前記文字列を改行することにより前記文字列の全体を前記表示領域における前記第二の仮想領域以外の領域に表示するための表示情報を生成する
    ことを特徴とする請求項1に記載の入力表示制御装置。
  5. 前記表示制御部は、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに一部が配置された前記文字列に含まれる文字のサイズを小さくすることにより前記曲線の長さ以下にした前記文字列を前記表示領域における前記第二の仮想領域以外の領域に表示するための表示情報を生成する
    ことを特徴とする請求項1に記載の入力表示制御装置。
  6. 前記表示制御部は、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに一部が配置された前記文字列を、当該文字列と同じ意味を有しかつ当該文字列よりも長さを短く変換することにより、変換した前記文字列を前記表示領域における前記第二の仮想領域以外の領域に表示するための表示情報を生成すること
    を特徴とする請求項1に記載の入力表示制御装置。
  7. 曲線情報取得部が、曲線を示す曲線情報を取得するステップと、
    文字列取得部が、文字列を取得するステップと、
    表示制御部が、前記曲線情報が示す前記曲線に沿って前記文字列を表示するための表示情報を生成するステップと、
    を備え、
    前記表示制御部は、
    ディスプレイの表示領域の周囲に第一の仮想領域を設定し、
    前記ディスプレイの前記表示領域のうち、通信相手側の端末とアスペクト比を合わせるために、前記通信相手側の端末との間で共有する表示情報を表示させない一部の領域を、第二の仮想領域として設定し、
    前記第二の仮想領域を設定した前記表示領域のうち、当該第二の仮想領域を除いた領域の端に達した前記曲線の長さが前記文字列の長さよりも短いために、前記第二の仮想領域を設定した前記表示領域のうち、当該第二の仮想領域を除いた領域から当該文字列の一部がはみ出すと判定した場合、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに前記曲線を延長し、
    延長した前記曲線に沿って前記文字列の一部を、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する
    ことを特徴とする入力表示制御方法。
  8. 端末間で通信により互いのディスプレイで同じ表示情報を共有する入力表示システムであって、
    線を描く操作を受け付ける操作受付部と、
    前記操作受付部によって受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
    表示対象の文字列を認識する文字列認識部と、
    通信相手側の端末と通信する通信部と、
    前記軌跡判別部によって判別された軌跡を表す曲線を示す曲線情報または前記通信部によって前記通信相手側の端末から受信された曲線情報を取得する曲線情報取得部と、
    前記文字列認識部によって認識された前記文字列または前記通信部によって前記通信相手側の端末から受信された前記文字列を取得する文字列取得部と、
    曲線情報が示す前記曲線に沿って前記文字列を表示するための表示情報を生成する表示制御部と、
    を備え、
    前記表示制御部は、
    前記ディスプレイの表示領域の周囲に第一の仮想領域を設定し、
    前記ディスプレイの前記表示領域のうち、前記通信相手側の端末とアスペクト比を合わせるために、前記通信相手側の端末との間で共有する表示情報を表示させない一部の領域を、第二の仮想領域として設定し、
    前記第二の仮想領域を設定した前記表示領域のうち、当該第二の仮想領域を除いた領域の端に達した前記曲線の長さが前記文字列の長さよりも短いために、前記第二の仮想領域を設定した前記表示領域のうち、当該第二の仮想領域を除いた領域から当該文字列の一部がはみ出すと判定した場合、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに前記曲線を延長し、
    延長した前記曲線に沿って前記文字列の一部を、前記第一の仮想領域、前記第二の仮想領域または前記第二の仮想領域を跨がった前記第一の仮想領域のいずれかに仮想的に配置した表示情報を生成する
    ことを特徴とする入力表示システム。
JP2021514638A 2020-11-19 2020-11-19 入力表示制御装置、入力表示制御方法および入力表示システム Active JP6987302B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/043229 WO2022107281A1 (ja) 2020-11-19 2020-11-19 入力表示制御装置、入力表示制御方法および入力表示システム

Publications (2)

Publication Number Publication Date
JP6987302B1 true JP6987302B1 (ja) 2021-12-22
JPWO2022107281A1 JPWO2022107281A1 (ja) 2022-05-27

Family

ID=79193224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021514638A Active JP6987302B1 (ja) 2020-11-19 2020-11-19 入力表示制御装置、入力表示制御方法および入力表示システム

Country Status (6)

Country Link
US (1) US20230229380A1 (ja)
EP (1) EP4235384A4 (ja)
JP (1) JP6987302B1 (ja)
KR (1) KR102584175B1 (ja)
CN (1) CN116472515A (ja)
WO (1) WO2022107281A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59219420A (ja) 1983-05-27 1984-12-10 High Frequency Heattreat Co Ltd 線材通電加熱装置における線材真円率低下防止方法
JP4876969B2 (ja) 2007-02-26 2012-02-15 ソニー株式会社 画像処理システム、情報処理装置、画像処理方法、及びプログラム
JP2012073984A (ja) * 2010-09-30 2012-04-12 Toshiba Tec Corp 情報処理端末およびプログラム
KR20140140957A (ko) * 2013-05-30 2014-12-10 삼성전자주식회사 화면 데이터의 미러링 방법, 저장 매체 및 전자 장치
JP5756156B2 (ja) * 2013-09-26 2015-07-29 株式会社オプティム 画面共有端末、画面共有方法、画面共有端末用プログラム
CN113168271A (zh) * 2018-12-07 2021-07-23 三菱电机株式会社 输入显示控制装置、输入显示控制方法以及输入显示系统

Also Published As

Publication number Publication date
JPWO2022107281A1 (ja) 2022-05-27
EP4235384A1 (en) 2023-08-30
US20230229380A1 (en) 2023-07-20
WO2022107281A1 (ja) 2022-05-27
KR102584175B1 (ko) 2023-09-27
CN116472515A (zh) 2023-07-21
KR20230069259A (ko) 2023-05-18
EP4235384A4 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
US10664695B2 (en) System and method for managing digital ink typesetting
CN108780381B (zh) 利用手势进行笔记记录的装置和方法
US7633512B2 (en) Information processing apparatus, information processing method and program
JP6355823B2 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
CN108369637B (zh) 用于美化数字墨水的系统和方法
JP6235763B2 (ja) 入力表示装置、入力表示方法及び入力表示プログラム
US11393230B2 (en) Input display control device, input display control method, and input display system
EP3867733A1 (en) Input apparatus, input method, program, and input system
JP6987302B1 (ja) 入力表示制御装置、入力表示制御方法および入力表示システム
JP2020194542A (ja) 表示装置、プログラム、表示方法
JP6727279B2 (ja) 表示制御装置、入力表示システム、表示制御方法及びプログラム
JP6656477B1 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
JP6448838B2 (ja) 表示制御装置、表示制御方法及びプログラム
WO2023214542A1 (ja) コンピュータプログラム、画像処理装置、画像処理方法及び車載インタフェース装置
WO2020080300A1 (en) Input apparatus, input method, program, and input system
JP2022147675A (ja) 表示装置、表示方法、プログラム
JP2019071104A (ja) 入力表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210316

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211130

R150 Certificate of patent or registration of utility model

Ref document number: 6987302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150