JP6328409B2 - 翻訳装置 - Google Patents

翻訳装置 Download PDF

Info

Publication number
JP6328409B2
JP6328409B2 JP2013246529A JP2013246529A JP6328409B2 JP 6328409 B2 JP6328409 B2 JP 6328409B2 JP 2013246529 A JP2013246529 A JP 2013246529A JP 2013246529 A JP2013246529 A JP 2013246529A JP 6328409 B2 JP6328409 B2 JP 6328409B2
Authority
JP
Japan
Prior art keywords
character
condition
character string
lines
consecutive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013246529A
Other languages
English (en)
Other versions
JP2015106184A (ja
Inventor
慎哉 佐藤
慎哉 佐藤
岸本 達雄
達雄 岸本
忠郎 長沢
忠郎 長沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013246529A priority Critical patent/JP6328409B2/ja
Priority to PCT/JP2014/071786 priority patent/WO2015079751A1/ja
Priority to US15/038,742 priority patent/US9824086B2/en
Publication of JP2015106184A publication Critical patent/JP2015106184A/ja
Application granted granted Critical
Publication of JP6328409B2 publication Critical patent/JP6328409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/158Segmentation of character regions using character size, text spacings or pitch estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Description

本発明は、撮像された画像に含まれる文字列を翻訳する翻訳装置に関する。
従来、外国語の意味を知るために、カメラで撮影した画像に含まれる外国語の翻訳結果を、当該画像上に表示する技術がある。この技術において、画像に含まれる文字列の抽出は、光学文字認識(Optical character recognition、以下、OCRと呼称する)を用いることが多い。通常、OCRにおいては行単位で文字列を抽出するが、一方で、翻訳精度を向上させるためには文字列を文単位で翻訳することが重要である。そのため、行単位で抽出した文字列の文の終わりを判断する技術が知られている。例えば、特許文献1には、句点で文の終わりを判断する技術が開示されているとともに、文字列が英数字や名詞のみで構成されている場合は、句点が無くても一文として判断する技術が開示されている。
特開2011−81516号公報(2011年4月21日公開) 特開平6−84019号公報(1994年3月25日公開) 特開平8−147272号公報(1996年6月7日公開)
しかしながら、従来の技術は、文字列の文の終わりを判断するには十分ではない。例えば、特許文献1の技術では、文字列に句点が無い場合は精度よく判定できないという問題がある。この問題は、外国語で書かれた看板やメニューなど、句点が省略されることが多いものを撮影した画像において特に顕著となる。文の終わりを精度よく判断できなければ、翻訳結果も精度が悪いものとなってしまう。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数行からなる文字列を精度よく翻訳することができる翻訳装置等を実現することにある。
上記の課題を解決するために、本発明の一態様に係る翻訳装置は、撮像された画像に含まれる文字列を翻訳する翻訳装置であって、複数の行からなる上記文字列を行単位で抽出する文字列抽出手段と、上記文字列抽出手段により抽出された行のうち、上記画像において連続する2つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段と、上記判定手段により上記結合条件を満たすと判定された場合、上記連続する2つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する2つの行をそれぞれ翻訳する翻訳手段と、を備える。
本発明の一態様によれば、複数行からなる文字列を精度よく翻訳することができる翻訳装置を実現することができる。
一実施形態に係るスマートフォンの要部構成を示すブロック図である。 文字列の翻訳における結合条件の一例を示す模式図である。 文字列の翻訳における結合条件の別の例を示す模式図である。 文字列の翻訳における分離条件の一例を示す模式図である。 文字列の翻訳における分離条件の別の例を示す模式図である。 分離条件における所定の値の決定を示す模式図である。 図1に示すスマートフォンの処理の流れを示すフローチャートである。
以下、本発明の実施形態について、詳細に説明する。以下で説明する実施形態では、本発明をスマートフォンに適用した例を説明する。なお、適用例はスマートフォンに限定されず、撮像された画像に含まれる文字列を翻訳することが可能な翻訳装置であれば、本発明を適用可能である。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。さらに、各図面に記載した構成の形状、並びに、長さ、大きさおよび幅などの寸法は、実際の形状や寸法を反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。
〔実施形態1〕
本発明の一実施形態において、図1〜3、および7に基づいて説明すれば以下のとおりである。まず、図1および図2を参照して、本実施形態に係るスマートフォン1の概要について説明する。図1は、スマートフォン1の要部構成を示すブロック図であり、図2は、文字列の翻訳における結合条件の一例を示す模式図である。
図1に示すように、本実施形態に係るスマートフォン1は、撮像された画像に含まれる文字列を翻訳するスマートフォンであって、複数の行からなる上記文字列を行単位で抽出する文字列抽出部23(文字列抽出手段)と、文字列抽出部23により抽出された行のうち、上記画像において連続する2つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する条件判定部24(判定手段、文字サイズ判定手段)と、条件判定部24により上記結合条件を満たすと判定された場合、上記連続する2つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する2つの行をそれぞれ翻訳する抽出行結合部25および翻訳部26(翻訳手段)とを備える。
具体例を、図2を参照して説明する。図2に示すように、スマートフォン1の表示部12には撮像した英語の文字列51が含まれている画像41が表示されている。本実施形態に係るスマートフォン1は、文字列51を行単位で抽出するが、抽出した行のうち連続する2つの行である抽出行61および抽出行62が文字列の言語の特徴に基づく条件である結合条件を満たす場合は、これらを結合して結合抽出行63とし、翻訳する。
これにより、結合条件が、文字列の言語の特徴に基づく、連続する2つの行の間の改行箇所が文中である可能性が高いことを示す条件である場合、本来一文として翻訳されるべき複数の行が、別文として翻訳されることを防止できる。また、文字列51は、図2の(a)に示すように句読点などの文の区切りがない英文であるが、本実施形態に係るスマートフォン1は、文の区切りを示す記号を含まないものであっても、本来一文として翻訳されるべき複数の行を正しく一文として翻訳することができる。
次に、図1を参照して、スマートフォン1の要部構成について説明する。図1に示すように、スマートフォン1は、操作部11、表示部12、制御部13、撮像部14、および記憶部15を備えている。
操作部11は、ユーザによる入力操作を受け付ける入力デバイスである。本実施形態における操作部11は、表示部12とタッチパネルを構成しており、指示体(指またはペンなど)の接触(接近も含む)を受け付ける入力面と、指示体が入力面に接触したことを検知するとともに、入力面における指示体が接触した位置(座標)を検知するタッチセンサとで構成されている。タッチセンサは、指示体と入力面との接触/非接触を検知できればどのようなセンサで実現されていても構わない。例えば、圧力センサや静電容量センサなどで実現される。また、操作部11は、検知した座標を後述する操作特定部21に出力する。なお、操作部11はタッチパネルに限定されず、物理キーなどであってもよい。
表示部12は、スマートフォン1が処理する情報を画像として表示領域に表示する表示デバイスである。具体的には、表示部12は、後述する表示制御部27によって処理された情報が表示される。表示制御部27によって処理される情報の一例として、表示部12は、スマートフォン1が撮像した画像に含まれる文字列を翻訳した翻訳文字列を表示する。なお、表示部12は、例えば、LCD(液晶ディスプレイ)などの表示デバイスで構成される。また、上述したように、本実施形態における表示部12は、操作部11と一体となり、タッチパネルを構成している。
制御部13は、スマートフォン1が備える各部を統括制御するものである。制御部13は、操作特定部21、画像取得部22、文字列抽出部23、条件判定部24、抽出行結合部25、翻訳部26、および表示制御部27を含んでいる。
操作特定部21は、操作部11が受け付けた入力操作を特定するものである。具体的には、操作特定部21は、上記入力操作における座標、指示体が入力面に接触していた時間、および、入力面に接触した指示体の移動方向などに基づいて、当該入力操作を特定する。そして、特定した入力操作に応じて、制御部13内の各部が実行する処理を指示する。例えば、操作特定部21は、後述する撮像部14を動作させるための入力操作を特定し、画像取得部22に指示して、撮像部14を動作させる。
画像取得部22は、後述する撮像部14を動作させて画像を取得するものである。具体的には、画像取得部22は、操作特定部21からの指示を受けて、撮像部14に画像を撮影させる。そして、撮像部14が撮影した画像を取得し、取得した画像を文字列抽出部23に供給する。なお、本実施形態における画像取得部22は、撮像部14が撮影した画像を取得する構成であるが、この例に限定されない。例えば、画像取得部22は、操作特定部21からの指示を受けて、後述する記憶部15に記憶されている画像を読み出して、読み出した画像を文字列抽出部23に供給してもよい。また、取得する画像は写真などの静止画像であってもよいし、動画などの映像であってもよいし、撮像部14で画像を撮影するために表示部12に表示される、いわゆるスルー画像であってもよい。
文字列抽出部23は、画像に含まれる文字列を抽出するものである。具体的には、文字列抽出部23は、画像取得部22から供給される画像に文字列が含まれている場合、当該文字列を行単位で抽出する。なお、文字列を抽出する技術については、例えば既存の光学文字認識技術を使用することができる。また、抽出された行を示す情報(以降、抽出行と呼称する)は、画像における配置関係を識別できる情報であることが好ましい。例えば、文字列抽出部23は、画像に含まれる文字列の行を上から順番に抽出し、抽出した順に並ぶテーブル形式の情報に変換してもよい。なお、抽出行は、画像における配置関係を識別できる情報であれば、上記の例に限定されない。また、文字列抽出部23は、文字列を構成する行をすべて抽出した後、抽出行を条件判定部24に供給する。
条件判定部24は、抽出行が所定の条件を満たすか否かを判定するものである。具体的には、条件判定部24は、後述する結合条件格納部31に格納された結合条件を読み出す。そして、条件判定部24は、文字列抽出部23から供給された抽出行のうち、画像において連続する2つの抽出行が上記結合条件を満たすか否かを判定する。そして、結合条件を満たすと判定された上記連続する2つの抽出行を、抽出行結合部25に供給する。さらに、条件判定部24は、抽出行結合部25から供給された結合抽出行と、画像取得部22において連続する抽出行とが、上記結合条件を満たすか否かを判定する。ここで、結合抽出行と、結合抽出行に連続する抽出行とが結合条件を満たすと判定された場合、当該結合抽出行および抽出行を、抽出行結合部25に供給する。最後に、条件判定部24は、すべての抽出行の判定が終了すると、判定が終了した結合抽出行および抽出行を、翻訳部26に供給する。
ここで、結合条件とは、文字列の言語の特徴に基づく条件であり、具体的には、連続する2つの行の間の改行箇所が文中である可能性が高いことを示す、文字列の言語の特徴である。例えば、文字列の言語が英語である場合の結合条件の例としては、以下のものが挙げられる。(1)画像取得部22が取得した画像において連続する2つの行のうち、後に位置する行の先頭文字が小文字である。(2)上記連続する2つの行のうち、前に位置する行の最後に配置された単語の品詞が接続詞、前置詞、または冠詞のいずれかである。(3)上記連続する2つの行のうち、後に位置する行が全て大文字で構成されている。
本実施形態に係る条件判定部24は、後述する結合条件格納部31に格納されている上記結合条件(1)〜(3)を読み出し、上記連続する2つの行が上記結合条件(1)〜(3)のうち少なくともいずれか1つを満たすか否かを判定する。このため、本実施形態に係る条件判定部24は、抽出行を構成する文字が大文字であるか小文字であるかを判定する機能、および、抽出行の最後に配置された単語の品詞を特定する機能を備える。なお、結合条件は上述したものに限定されない。すなわち、結合条件は、画像取得部22が取得した画像に含まれる文字列の言語の特徴に基づく、連続する2つの行の間の改行箇所が文中である可能性が高いことを示す条件であればよい。また、条件判定部24が備える機能は上記のものに限定されず、結合条件に応じた機能を備えていればよい。
抽出行結合部25は、結合条件を満たす連続する2つの抽出行を結合するものである。具体的には、抽出行結合部25は、条件判定部24から供給された上記連続する2つの抽出行を結合し、結合抽出行を生成する。そして、抽出行結合部25は、生成した結合抽出行を、未判定の抽出行として条件判定部24に供給する。
翻訳部26は、抽出行および結合抽出行を翻訳するものである。具体的には、翻訳部26は、後述する翻訳データ格納部33から読み出した翻訳データに基づいて、条件判定部24から供給された抽出行および結合抽出行を翻訳する。なお、翻訳データの詳細については後述する。また、翻訳部26による翻訳処理(例えば、英語から日本語への翻訳処理)は、既存の翻訳技術を使用することができる。翻訳部26は、抽出行および結合抽出行を翻訳した結果である翻訳文字列を、表示制御部27に供給する。
表示制御部27は、表示部12に表示する画像を決定するものである。具体的には、表示制御部27は、翻訳部26から翻訳文字列を供給されると、当該翻訳文字列を画像として表示部12に表示する。例えば表示制御部27は、表示部12において文字列が表示されている領域を特定し、翻訳文字列を特定した領域に表示させてもよい。これにより、翻訳文字列は文字列に重畳されることとなる。よってユーザは、撮像部14によって撮像した画像のレイアウトを損なうことなく、文字列が翻訳された画像を得ることができる。なお、翻訳文字列の表示形態は上記の例に限定されない。例えば、文字列の近傍に翻訳文字列を表示してもよいし、撮像した画像を表示せず、翻訳文字列のみを表示してもよい。
撮像部14は、対象物を撮像するための撮像デバイスであり、いわゆるカメラである。撮像部14としては、スマートフォン1に一般的に搭載されている、既存のカメラを用いることができる。なお、撮像部14は、写真などの静止画像を撮像するものであってもよいし、動画などの映像を撮像するものであってもよい。また、静止画像および映像の両方を撮像可能であってもよい。撮像部14は、画像取得部22によって制御され、対象物を撮像する。また、撮像部14は、撮像した静止画像や映像を画像取得部22に出力する。
記憶部15は、スマートフォン1にて使用される各種データを記憶する記憶デバイスである。図1に示すように、記憶部15は、結合条件格納部31、および翻訳データ格納部33を含む。さらに、図1に示すように、分離条件格納部32を含んでもよい。分離条件格納部32を含む形態については、後述する実施形態2にて説明する。
結合条件格納部31は、条件判定部24が抽出行を結合するか否かを判定するための結合条件を格納している。本実施形態に係る結合条件格納部31は少なくとも、上述した結合条件(1)〜(3)を格納している。翻訳データ格納部33は、翻訳部26が抽出行および結合抽出行を翻訳するために使用する各種データを格納している。具体的には、文字列に含まれる単語、連語、熟語などを翻訳するための辞書データ(例えば、英和辞書データなど)や、翻訳前後の言語の文法規則などが格納されている。
次に、図2および図3を参照して、結合条件を満たす文字列の具体例について説明する。図3は、文字列の翻訳における結合条件の別の例を示す模式図である。図2の(a)に示すように、表示部12に表示されている画像41は文字列51を含んでいる。文字列51は2行からなる一文であるため、図2の(b)に示すように、文字列抽出部23は文字列51を抽出行61と抽出行62として抽出する。ここで、抽出行61および抽出行62をそのまま翻訳すると、一文を途中で分割して翻訳することとなる。その結果、翻訳結果71および翻訳結果72が得られるが、これらはユーザの望む正しい翻訳結果ではない。
そこで、本実施形態に係る条件判定部24は、抽出行61および抽出行62が上述した結合条件(1)〜(3)を満たすか否かを判定する。図2の例の場合、連続する2つの行である抽出行61および抽出行62のうち、後に位置する行である抽出行62の先頭文字が小文字であるため、抽出行61および抽出行62は、結合条件(1)を満たす。これにより、抽出行結合部25は抽出行61および抽出行62を結合し、結合抽出行63を生成する。そして、図2の(c)に示すように、翻訳部26は生成された結合抽出行63を翻訳するので、ユーザが望む正しい翻訳結果である翻訳結果73が得られる。最後に、図2の(d)に示すように、翻訳結果73が翻訳後文字列81として表示部12に表示されることで、ユーザに文字列51の正しい翻訳結果を提示することができる。
次に、図3の(a)に示すように、画像42は2行からなる文字列52を含んでいる。ここで、文字列52の前行の最後に配置された単語は、前置詞である“with”であるため、上述した結合条件(2)を満たしている。そのため、文字列52の前行と後行は結合されて結合抽出行として翻訳される。その結果、図3の(b)に示すように、文字列52が正しく翻訳された翻訳後文字列82が表示部12に表示される。
また、図3の(c)に示すように、画像43は2行から成る文字列53を含んでいる。ここで、文字列53の後行はすべて大文字で構成されているため、上述した結合条件(3)を満たしている。そのため、文字列53の前行と後行は結合されて結合抽出行として翻訳される。その結果、図3の(d)に示すように、文字列53が正しく翻訳された翻訳後文字列83が表示部12に表示される。
次に、図7を参照して、スマートフォン1が実行する処理の流れについて説明する。図7は、スマートフォン1が実行する処理の流れの一例を示すフローチャートである。なお、本実施形態は、条件判定部24が結合条件を満たすか否かのみ判定する構成であるため、ステップS5は省略される。
まず、画像取得部22は画像を取得する(S1)。例えば、画像取得部22は、撮像部14を動作させることによりスマートフォン1の周囲を撮像することで画像を取得する。画像取得部22は、文字列抽出部23に取得した画像を供給する。なお、ここで取得した画像には、複数の行からなる文字列が含まれているものとする。次に、文字列抽出部23は、画像に含まれる文字列を行単位で抽出する(S2)。そして、文字列抽出部23は、抽出した行を示す情報(抽出行)を、条件判定部に供給する。次に、条件判定部24は、抽出された各行について結合条件を満たすか否かを判定する(S3)。具体的には、画像取得部22が取得した画像において連続する2行が結合条件を満たすか否かを判定する。結合条件を満たしている場合(S4でYES)、抽出行結合部25は、画像において連続する2行を結合する(S6)。具体的には、条件判定部24から供給された、結合条件を満たす2行を結合し、結合抽出行を生成する。そして、生成した結合抽出行を未判定の抽出行として条件判定部24に供給する。一方、結合条件を満たしていない場合(S4でNO)、条件判定部24は、当該2行を抽出行結合部25に供給せず、ステップS6は省略される。
条件判定部24がすべての行の判定を終了していない場合(S7でNO)、ステップS4に戻り、判定していない連続する2行について、ステップS4からステップS6の処理を実行する。すべての行の判定が終了している場合(S7でYES)、条件判定部24は、結合抽出行および抽出行を、翻訳部26に供給する。次に、翻訳部26は、文字列を翻訳する(S8)。具体的には、条件判定部24から供給された抽出行および結合抽出行を、翻訳データ格納部33から読み出した翻訳データに基づいて翻訳する。そして、翻訳部26は、抽出行および結合抽出行を翻訳した結果である翻訳文字列を、表示制御部27に供給する。最後に、表示制御部27は、翻訳した文字列を表示する(S9)。具体的には、表示制御部27は、翻訳部26から翻訳文字列を供給されると、当該翻訳文字列を画像として表示部12に表示する。
〔実施形態2〕
次に、本発明の別の実施形態について、図1、図4〜5、および図7を参照して説明すれば、以下のとおりである。実施形態1では、条件判定部24は、結合条件を満たすか否かを判定する構成であったが、本実施形態では、条件判定部24は、結合条件に加え、上記連続する2つの抽出行が、分離条件格納部32に格納された分離条件を満たすか否かを判定する構成である。分離条件格納部32は、条件判定部24が抽出行を結合するか否かを判定するための分離条件を格納している。本実施形態に係る分離条件格納部32は少なくとも、後述する分離条件(4)〜(7)を格納している。
ここで、分離条件とは、結合条件を満たす上記連続する2つの行における例外を示す条件である。すなわち、結合条件を満たしているものの、別文である可能性が高い上記連続する2つの行を結合させないための条件である。つまり、条件判定部24は、結合条件を満たし、かつ、分離条件を満たさないと判定された上記連続する2つの抽出行を、抽出行結合部25に供給し、抽出行結合部25は、結合条件を満たし、かつ、分離条件を満たさない連続する2つの抽出行を結合する。
また、具体的には、分離条件は、上記連続する2つの行を構成する文字の特徴、および、上記連続する2つの行の位置関係のうち少なくとも一方に基づく条件であり、上記連続する2つの行が別文である可能性が高いことを示す、上記連続する2つの行を構成する文字の特徴または位置関係である。例えば、分離条件の例としては以下のものが挙げられる。(4)画像取得部22が取得した画像における連続する2つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の閾値(文字サイズ閾値)を超える。(5)上記連続する2つの行の距離が所定の閾値(距離閾値)を超える。(6)上記連続する2つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なる。(7)上記文字列の行方向における、上記連続する2つの行の先頭文字の位置が所定の閾値(文字位置閾値)を超えて離れている。
本実施形態に係る条件判定部24は、後述する分離条件格納部32に格納されている上記分離条件(4)〜(7)を読み出し、上記連続する2つの行が上記分離条件(4)〜(7)のうち少なくともいずれか1つを満たすか否かを判定する。このため、本実施形態に係る条件判定部24はさらに、上記連続する2つの行を構成する文字のサイズを特定し、一方の行における文字のサイズと他方の行における文字のサイズとの差が上記文字サイズ閾値を超えるか否かを判定する機能、上記連続する2つの行の距離を特定し、当該距離が上記距離閾値を超えるか否かを判定する機能、上記連続する2つの行における文字の色を特定し、一方の行における文字の色と他方の行における文字の色とが同じか否かを判定する機能、および文字列の行方向における、上記連続する2つの行の先頭文字の位置を特定し、当該位置が上記文字位置閾値を超えて離れているか否かを判定する機能を備える。なお、分離条件は上述したものに限定されない。すなわち分離条件は、画像取得部22が取得した画像に含まれる文字列における、上記連続する2つの行を構成する文字の特徴または位置関係が上記連続する2つの行が別文である可能性が高いことを示すものであればよい。また、条件判定部24が備える機能は上記のものに限定されず、分離条件に応じた機能を備えていればよい。
次に、図4および図5を参照して、分離条件を満たす文字列の具体例について説明する。図4は、文字列の翻訳における分離条件の一例を示す模式図であり、図5は、文字列の翻訳における分離条件の別の例を示す模式図である。図4の(a)に示すように、表示部12に表示されている画像44は、文字列54を含んでいる。文字列54は2行からなるため、図4の(b)に示すように、文字列抽出部23は、文字列54を抽出行64と抽出行65として抽出する。そして、条件判定部24は、抽出行64および抽出行65が上述した結合条件(1)〜(3)を満たすか否かを判定する。図4の例の場合、連続する2つの行である抽出行64および抽出行65のうち、後に位置する行である抽出行65の先頭文字が小文字であるため、抽出行64および抽出行65は、結合条件(1)を満たす。
ここでさらに、条件判定部24は、抽出行64および抽出行65が上述した分離条件(4)〜(7)を満たすか否かを判定する。図4の例の場合、抽出行64と抽出行65は文字のサイズが大きく異なる。ここで、抽出行64の文字のサイズと抽出行65の文字のサイズとの差が所定の値以上であった場合、抽出行64および抽出行65は、分離条件(4)を満たす。よって、抽出行結合部25は抽出行64と抽出行65とを結合せず、翻訳部26は抽出行64および抽出行65をそれぞれ翻訳する。その結果、図4の(b)に示すように、ユーザが望む正しい翻訳結果である翻訳結果74および翻訳結果75が得られる。最後に、図4の(c)に示すように、翻訳結果74および翻訳結果75が、翻訳後文字列84として表示部12に表示されることで、ユーザに文字列54の正しい翻訳結果を提示することができる。
また、図5の(a)に示す画像45に含まれる文字列55は、後行の先頭文字が小文字であるため、結合条件(1)を満たすが、前行と後行の文字の色が異なるため、分離条件(6)を満たす。さらに、図5の(b)に示す画像46に含まれる文字列56は、後行の先頭文字が小文字であるため、結合条件(1)を満たすが、前行と後行の開始位置が大きく異なる。換言すれば、文字列の行方向に一次元座標を設定したとき、前行の先頭文字の座標と後行の先頭文字の座標とが大きく異なる。ここで、前行と後行の先頭文字の位置(座標)が所定の値以上離れている場合は、分離条件(7)を満たす。また、図5の(c)に示すように、画像47に含まれる文字列57は、後行を構成する文字が全て大文字であるため、結合条件(3)を満たすが、前行と後行とが大きく離れている。ここで、前行と後行との距離が所定の値以上である場合は、分離条件(5)を満たす。以上により、文字列55、文字列56、文字列57の前行と後行は、結合条件を満たすものの、それぞれ別々に翻訳されるため、ユーザに各文字列の正しい翻訳結果を提示することができる。
次に、図7を参照して、スマートフォン1が実行する処理の流れについて説明する。なお、実施形態1にて既に説明した処理と同様の処理を行うステップについては、その詳細な説明を省略する。
本実施形態に係るスマートフォン1においては、結合条件を満たしている場合(S4でYES)、条件判定部24はさらに、当該2行が分離条件を満たしているか否かを判定する(S5)。分離条件を満たしていない場合(S5でNO)、条件判定部24は、当該2行を抽出行結合部25に供給する。次に、抽出行結合部25は、画像において連続する2行を結合する(S6)。具体的には、条件判定部24から供給された、結合条件を満たし、かつ、分離条件を満たさない2行を結合し、結合抽出行を生成する。一方、結合条件を満たしていない場合(S4でNO)、条件判定部24は、当該2行を抽出行結合部25に供給せず、ステップS5およびステップS6は省略される。また、分離条件を満たしている場合(S5でYES)、条件判定部24は、当該2行を抽出行結合部25に供給せず、ステップS6は省略される。
〔実施形態3〕
次に、本発明のさらに別の実施形態について、図6を参照して説明すれば、以下のとおりである。本実施形態では、実施形態2で説明した分離条件における所定の値を、文字サイズに応じて決定する構成について説明する。すなわち、本実施形態に係る条件判定部24は、特定した上記文字のサイズに応じて、上記分離条件(5)および(7)における所定の値を決定する。一般に、文字列に含まれる行の文字のサイズが大きくなると、連続する2つの行の距離や、連続する2つの行の先頭文字のずれは大きくなることが多い。つまり、これらを判定するための値が文字のサイズによらず一定だった場合、文字のサイズが大きくなると、本来分離条件を満たしていないと判定されるべき連続する2つの行が、分離条件を満たすと誤判定されるおそれがある。このため、上記所定の値を文字のサイズに応じて変化させることで、誤判定の可能性を低くすることができる。
図6は、分離条件における所定の値の決定を示す模式図である。図6の(a)に示す画像91と図6の(b)に示す画像93とはそれぞれ、結合条件(3)を満たす文字列92と文字列94とを含んでいる。ここで画像91と画像93とを比較すると、文字列92を構成する文字のサイズは文字列94を構成する文字のサイズと比べて小さい。そのため、条件判定部24は、画像91の場合における分離条件(5)の所定の値を、画像93の場合における分離条件(5)の所定の値に比べて小さく設定する。よって、文字列92における前行と後行との距離と文字列94における前行と後行との距離とは同じである(図6の(a)および図6の(b)における矢印の長さが等しい)が、文字列92における前行と後行とは分離条件(5)を満たすため、それぞれ別々に翻訳される。一方、文字列94における前行と後行とは分離条件(5)を満たさないため、前行と後行とは結合され、翻訳される。
また、図6の(c)に示す画像95は、結合条件(1)を満たす文字列96を含んでいる。さらに、図6の(d)に示す画像97は、結合条件(2)を満たす文字列98を含んでいる。ここで、画像95と画像97とを比較すると、文字列96を構成する文字のサイズは、文字列98を構成する文字のサイズと比べて小さい。そのため、条件判定部24は、画像95の場合における分離条件(7)の所定の値を、画像97の場合における分離条件(7)の所定の値に比べて小さく設定する。これにより、座標99を設定したとき、文字列96における前行および後行の先頭文字の位置と、文字列98における前行および後行の先頭文字の位置とは同じである(図6の(c)および図6の(d)における破線間の距離が等しい)が、文字列96における前行と後行とは分離条件(7)を満たすため、それぞれ別々に翻訳される。一方、文字列98における前行と後行とは分離条件(7)を満たさないため、前行と後行とは結合され、翻訳される。
以上により、連続する2つの行の距離や、連続する2つの行における先頭文字の位置を判定するための値を文字のサイズに応じて決定するので、誤判定の可能性を低くすることができる。
〔ソフトウェアによる実現例〕
スマートフォン1の制御ブロック(特に、操作特定部21、画像取得部22、文字列抽出部23、条件判定部24、抽出行結合部25、翻訳部26、表示制御部27)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、スマートフォン1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る翻訳装置(スマートフォン1)は、撮像された画像に含まれる文字列を翻訳する翻訳装置であって、複数の行からなる上記文字列を行単位で抽出する文字列抽出手段(文字列抽出部23)と、上記文字列抽出手段により抽出された行のうち、上記画像において連続する2つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段(条件判定部24)と、上記判定手段により上記結合条件を満たすと判定された場合、上記連続する2つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する2つの行をそれぞれ翻訳する翻訳手段(抽出行結合部25、翻訳部26)と、を備える。
上記構成によれば、連続する2つの行が結合条件を満たす場合は結合して翻訳する。一方、結合条件を満たさない場合は結合せず、それぞれを翻訳する。ここで、結合条件が、文字列の言語の特徴に基づく、連続する2つの行の間の改行箇所が文中である可能性が高いことを示す条件である場合、本来一文として翻訳されるべき複数の行が、別文として翻訳されることを防止できる。また、結合条件が、文字列の言語の特徴に基づく、連続する2つの行の間の改行箇所が文中である可能性が高いことを示す条件である場合、文字列が句読点などの文の区切りを示す記号を含まないものであっても、本来一文として翻訳されるべき複数の行を正しく一文として翻訳することができる。以上より、複数行からなる文字列を精度よく翻訳することができる翻訳装置を実現することができる。
本発明の態様2に係る翻訳装置は、上記態様1において、上記文字列の言語は英語であり、上記判定手段は、上記結合条件として、(1)上記連続する2つの行のうち、後に位置する行の先頭文字が小文字であること、(2)上記連続する2つの行のうち、前に位置する行の最後に配置された単語の品詞が接続詞、前置詞、または冠詞のいずれかであること、および、(3)上記連続する2つの行のうち、後に位置する行がすべて大文字で構成されていること、のうち少なくともいずれか1つを満たすか否かを判定してもよい。
上記の構成によれば、文字列が英語の場合に、連続する2つの行が、上記結合条件を満たすか否かを判定する。具体的には、後に抽出された行の先頭文字が小文字である場合は、前に抽出された行から文が続いていると考えられるため、結合すべきと判定する。また、前に抽出された行の最後に配置された単語の品詞が、接続詞、前置詞、または冠詞のいずれかである場合は、後に抽出された行に文が続いていると考えられるため、結合すべきと判定する。また、後に抽出された行の先頭文字が大文字であったとしても、当該行を構成するすべての文字が大文字である場合は、前に抽出された行から文が続いている可能性があるため、結合すべきと判定する。これにより、文字列が英語の場合に、文字列を文単位で翻訳することが可能となる。よって、英語で構成された複数行からなる文字列を精度よく翻訳することができる。
本発明の態様3に係る翻訳装置は、上記態様1または2において、上記判定手段は、上記連続する2つの行を構成する文字の特徴、および、上記連続する2つの行の位置関係のうち少なくとも一方に基づく条件である分離条件を満たすか否かをさらに判定し、上記翻訳手段は、上記分離条件を満たす場合は上記結合条件を満たす上記連続する2つの行を結合せず、それぞれ翻訳してもよい。
上記の構成によれば、結合条件を満たす場合であっても、連続する2つの行を構成する文字の特徴、または、連続する2つの行の位置関係に基づく離条件を満たす場合は、連続する2つの行を結合しない。ここで、上記文字の特徴または上記位置関係(分離条件)が、連続する2つの行が別文である可能性が高いことを示すものである場合、結合条件を満たしていても、別文である可能性が高い2つの行をそれぞれ別文として正しく翻訳することができる。よって、複数行からなる文字列をさらに精度よく翻訳することができる。
本発明の態様4に係る翻訳装置は、上記態様3において、上記判定手段は、上記分離条件として、(4)上記連続する2つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の文字サイズ閾値を超えること、(5)上記連続する2つの行の距離が所定の距離閾値を超えること、(6)上記連続する2つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なること、(7)上記文字列の行方向における、上記連続する2つの行の先頭文字の位置が所定の文字位置閾値を超えて離れていること、のうち少なくともいずれか1つを満たすか否かを判定してもよい。
上記の構成によれば、連続する2つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとが大きく異なる場合は、2つの行は別文である可能性が高い。また、連続する2つの行が所定の距離以上離れている場合も、2つの行は別文である可能性が高い。同様に、連続する2つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なる場合も、2つの行は別文である可能性が高い。さらに、連続する2つの行における先頭文字の位置が所定の値以上離れている場合も、連続する2つの行は別文である可能性が高い。以上より、このような条件、換言すれば、連続する2つの行が別文である可能性が高いことを示す条件を満たす場合に連続する2つの行を結合しないようにすることで、複数行からなる文字列をさらに精度よく翻訳することができる。
本発明の態様5に係る翻訳装置は、上記態様4において、上記文字列抽出手段によって抽出された行を構成する上記文字のサイズを判定する文字サイズ判定手段(条件判定部24)をさらに備え、上記判定手段は、上記文字サイズ判定手段によって判定された上記文字のサイズに応じて、上記距離閾値および上記文字位置閾値を決定してもよい。
上記の構成によれば、連続する2つの行の距離、および、連続する2つの行における先頭文字の位置のずれを判定するための値は、抽出された行を構成する文字のサイズによって決定される。一般に、文字列に含まれる行の文字のサイズが大きくなると、連続する2つの行の距離や、連続する2つの行の先頭文字の位置のずれは大きくなることが多い。つまり、これらを判定するための値が文字のサイズによらず一定である場合、文字のサイズが大きくなると、本来分離条件を満たしていないと判定されるべき連続する2つの行が、分離条件を満たすと誤判定されるおそれがある。そのため、連続する2つの行の距離や、連続する2つの行における先頭文字の位置のずれを判定するための値を文字のサイズに応じて決定することで、誤判定の可能性を低くすることができる。
本発明の各態様に係る翻訳装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記翻訳装置が備える各手段として動作させることにより上記翻訳装置をコンピュータにて実現させる翻訳装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、撮像された画像に含まれる文字列を翻訳する翻訳装置に利用することができる。特に、スマートフォン、タブレット端末、デジタルカメラなどに好適である。
1 スマートフォン(翻訳装置)、23 文字列抽出部(文字列抽出手段)、24 条件判定部(判定手段、文字サイズ判定手段)、25 抽出行結合部(翻訳手段)、26 翻訳部(翻訳手段)

Claims (5)

  1. 撮像された画像に含まれる文字列を翻訳する翻訳装置であって、
    複数の行からなる上記文字列を行単位で抽出する文字列抽出手段と、
    上記文字列抽出手段により抽出された行のうち、上記画像において連続する2つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段と、
    上記判定手段により上記結合条件を満たすと判定された場合、上記連続する2つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する2つの行をそれぞれ翻訳する翻訳手段と、を備え
    上記文字列の言語は英語であり、
    上記判定手段は、上記結合条件として、
    (1)上記連続する2つの行のうち、後に位置する行の先頭文字が小文字であること、
    (2)上記連続する2つの行のうち、前に位置する行の最後に配置された単語の品詞が接続詞、前置詞、または冠詞のいずれかであること、および、
    (3)上記連続する2つの行のうち、後に位置する行がすべて大文字で構成されていること、
    のうち少なくともいずれか1つを満たすか否かを判定することを特徴とする翻訳装置。
  2. 上記判定手段は、上記連続する2つの行を構成する文字の特徴、および、上記連続する2つの行の位置関係のうち少なくとも一方に基づく条件である分離条件を満たすか否かをさらに判定し、
    上記翻訳手段は、上記分離条件を満たす場合は上記結合条件を満たす上記連続する2つの行を結合せず、それぞれ翻訳することを特徴とする請求項1に記載の翻訳装置。
  3. 上記判定手段は、上記分離条件として、
    (4)上記連続する2つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の文字サイズ閾値を超えること、
    (5)上記連続する2つの行の距離が所定の距離閾値を超えること、
    (6)上記連続する2つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なること、および、
    (7)上記文字列の行方向における、上記連続する2つの行の先頭文字の位置が所定の文字位置閾値を超えて離れていること、
    のうち少なくともいずれか1つを満たすか否かを判定することを特徴とする請求項に記載の翻訳装置。
  4. 上記文字列抽出手段によって抽出された行を構成する上記文字のサイズを判定する文字サイズ判定手段をさらに備え、
    上記判定手段は、上記文字サイズ判定手段によって判定された上記文字のサイズに応じて、上記距離閾値および上記文字位置閾値を決定することを特徴とする請求項に記載の翻訳装置。
  5. 撮像された画像に含まれる文字列を翻訳する翻訳装置であって、
    複数の行からなる上記文字列を行単位で抽出する文字列抽出手段と、
    上記文字列抽出手段により抽出された行のうち、上記画像において連続する2つの行が上記文字列の言語の特徴に基づく条件である結合条件を満たすか否かを判定する判定手段と、
    上記判定手段により上記結合条件を満たすと判定された場合、上記連続する2つの行を結合して翻訳し、上記結合条件を満たさないと判定された場合、上記連続する2つの行をそれぞれ翻訳する翻訳手段と、を備え、
    上記判定手段は、上記連続する2つの行を構成する文字の特徴、および、上記連続する2つの行の位置関係のうち少なくとも一方に基づく条件である分離条件を満たすか否かをさらに判定し、
    上記翻訳手段は、上記分離条件を満たす場合は上記結合条件を満たす上記連続する2つの行を結合せず、それぞれ翻訳し、
    上記判定手段は、上記分離条件として、
    (4)上記連続する2つの行のうち一方を構成する文字のサイズと、他方を構成する文字のサイズとの差が所定の文字サイズ閾値を超えること、
    (5)上記連続する2つの行の距離が所定の距離閾値を超えること、
    (6)上記連続する2つの行のうち一方を構成する文字の色と、他方を構成する文字の色とが異なること、および、
    (7)上記文字列の行方向における、上記連続する2つの行の先頭文字の位置が所定の文字位置閾値を超えて離れていること、
    のうち少なくともいずれか1つを満たすか否かを判定し、
    上記文字列抽出手段によって抽出された行を構成する上記文字のサイズを判定する文字サイズ判定手段をさらに備え、
    上記判定手段は、上記文字サイズ判定手段によって判定された上記文字のサイズに応じて、上記距離閾値および上記文字位置閾値を決定することを特徴とする翻訳装置。
JP2013246529A 2013-11-28 2013-11-28 翻訳装置 Active JP6328409B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013246529A JP6328409B2 (ja) 2013-11-28 2013-11-28 翻訳装置
PCT/JP2014/071786 WO2015079751A1 (ja) 2013-11-28 2014-08-20 翻訳装置
US15/038,742 US9824086B2 (en) 2013-11-28 2014-08-20 Translation device that determines whether two consecutive lines in an image should be translated together or separately

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013246529A JP6328409B2 (ja) 2013-11-28 2013-11-28 翻訳装置

Publications (2)

Publication Number Publication Date
JP2015106184A JP2015106184A (ja) 2015-06-08
JP6328409B2 true JP6328409B2 (ja) 2018-05-23

Family

ID=53198708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013246529A Active JP6328409B2 (ja) 2013-11-28 2013-11-28 翻訳装置

Country Status (3)

Country Link
US (1) US9824086B2 (ja)
JP (1) JP6328409B2 (ja)
WO (1) WO2015079751A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069365A (ja) * 2013-09-27 2015-04-13 シャープ株式会社 情報処理装置、および制御プログラム
JP7356332B2 (ja) * 2019-12-03 2023-10-04 ポケトーク株式会社 翻訳結果表示制御システム、翻訳結果表示制御方法及びプログラム
US11227096B2 (en) * 2020-05-08 2022-01-18 Micro Focus Llc Error detection in text string within displayed layout
CN112764549B (zh) * 2021-04-09 2021-08-06 北京亮亮视野科技有限公司 翻译方法、装置、介质和近眼显示设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2199680A (en) 1986-11-28 1988-07-13 Sharp Kk Translating apparatus
JPS63136269A (ja) * 1986-11-28 1988-06-08 Sharp Corp 自動翻訳装置
JPH052605A (ja) * 1990-10-29 1993-01-08 Ricoh Co Ltd 機械翻訳方式
JP2989387B2 (ja) 1992-08-31 1999-12-13 シャープ株式会社 入力文字処理装置における句点認識装置及び句点認識方法
GB2279164A (en) * 1993-06-18 1994-12-21 Canon Res Ct Europe Ltd Processing a bilingual database.
JP3752698B2 (ja) 1994-11-21 2006-03-08 カシオ計算機株式会社 文書処理装置
JPH0981566A (ja) * 1995-09-08 1997-03-28 Toshiba Corp 翻訳装置及び翻訳方法
US6085162A (en) * 1996-10-18 2000-07-04 Gedanken Corporation Translation system and method in which words are translated by a specialized dictionary and then a general dictionary
DE69818796T2 (de) * 1997-06-26 2004-08-05 Koninklijke Philips Electronics N.V. Maschinenorganisiertes verfahren und vorrichtung zum übersetzen einer wortorganisierten textquelle in einen wortorganisierten zieltext
DE69837979T2 (de) * 1997-06-27 2008-03-06 International Business Machines Corp. System zum Extrahieren einer mehrsprachigen Terminologie
US6195631B1 (en) * 1998-04-15 2001-02-27 At&T Corporation Method and apparatus for automatic construction of hierarchical transduction models for language translation
US8041555B2 (en) * 2007-08-15 2011-10-18 International Business Machines Corporation Language translation based on a location of a wireless device
JP5647779B2 (ja) 2009-10-05 2015-01-07 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JP5862260B2 (ja) 2011-12-09 2016-02-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
WO2015079751A1 (ja) 2015-06-04
JP2015106184A (ja) 2015-06-08
US9824086B2 (en) 2017-11-21
US20160321246A1 (en) 2016-11-03

Similar Documents

Publication Publication Date Title
JP6328409B2 (ja) 翻訳装置
US20200026766A1 (en) Method for translating characters and apparatus therefor
KR102236616B1 (ko) 정보 처리 장치, 그의 제어 방법, 및 기억 매체
EP3493110A1 (en) Electronic device recognizing text in image
JP2018128996A (ja) 情報処理装置、制御方法、およびプログラム
US10142499B2 (en) Document distribution system, document distribution apparatus, information processing method, and storage medium
JP6170241B2 (ja) 文字特定装置、および制御プログラム
WO2015045676A1 (ja) 情報処理装置、および制御プログラム
JP6206581B2 (ja) 端末装置、表示制御方法及びプログラム
US20150146265A1 (en) Method and apparatus for recognizing document
WO2015031702A1 (en) Multiple hypothesis testing for word detection
JP6531738B2 (ja) 画像処理装置
US20160283786A1 (en) Image processor, image processing method, and non-transitory recording medium
JP2014063318A (ja) 文字認識装置、文字認識装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6206580B2 (ja) 端末装置、表示制御方法及びプログラム
JP6164361B2 (ja) 端末装置、表示制御方法及びプログラム
US10362193B2 (en) Information conversion apparatus capable of changing attribution information of an image based on viewer information and non-transitory computer readable medium storing program
JP2015090625A (ja) 帳票読取装置、プログラムおよび帳票読取システム
WO2015045679A1 (ja) 情報機器および制御プログラム
US9396405B2 (en) Image processing apparatus, image processing method, and image processing program
KR20170029866A (ko) 서버, 사용자 단말 및 이들의 제어 방법.
KR20160133335A (ko) 음성인식형 입체적 디지털영상 구현시스템
JP6364182B2 (ja) 文字列認識装置および文字列認識方法
JP6647149B2 (ja) 情報表示装置
KR101669799B1 (ko) 잉크 텍스트 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180418

R150 Certificate of patent or registration of utility model

Ref document number: 6328409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150