JP4923134B2 - Real-time camera dictionary - Google Patents
Real-time camera dictionary Download PDFInfo
- Publication number
- JP4923134B2 JP4923134B2 JP2010131545A JP2010131545A JP4923134B2 JP 4923134 B2 JP4923134 B2 JP 4923134B2 JP 2010131545 A JP2010131545 A JP 2010131545A JP 2010131545 A JP2010131545 A JP 2010131545A JP 4923134 B2 JP4923134 B2 JP 4923134B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- character
- information
- word
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 description 44
- 230000014616 translation Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 239000006071 cream Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 229910052573 porcelain Inorganic materials 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は,リアルタイムに辞書表示を行うことができるカメラ辞書に関するものである。より詳しく説明すると,本発明は,カメラが捉える画像が変化した瞬間に自動的に新しい翻訳語を連続的に表示できるリアルタイムレスポンスが可能なカメラ辞書に関する。 The present invention relates to a camera dictionary that can display a dictionary in real time. More specifically, the present invention relates to a camera dictionary capable of real-time response that can automatically display new translated words automatically at the moment when an image captured by the camera changes.
特開2000−152125号公報(特許文献1)には,ヘッドマウントディスプレイ装置が開示されている。この装置は,ユーザの目の前にある文章をCCDカメラにより撮影し,得られた画像情報から文章又は単語を判読し,翻訳してディスプレイに表示する。 Japanese Unexamined Patent Publication No. 2000-152125 (Patent Document 1) discloses a head mounted display device. This device takes a sentence in front of the user with a CCD camera, reads a sentence or word from the obtained image information, translates it, and displays it on a display.
特開2007−280166号公報(特許文献2)には,電子辞書が開示されている。この電子辞書は,視野内の中心部分にある単語または文章を他の形態の単語または文章に変換して,ユーザの視野内に表示する。 Japanese Patent Laid-Open No. 2007-280166 (Patent Document 2) discloses an electronic dictionary. This electronic dictionary converts a word or sentence in the central part of the field of view into another form of word or sentence and displays it in the user's field of view.
携帯電話W31SAの取り扱い説明書160ページ(非特許文献1)には,「カメラde辞書」サービスが掲載されている。このカメラde辞書サービスは,携帯電話にOCR機能を付加したものである。そして,この携帯電話は,撮影した写真に基づいてOCRで用語を読み出し,読み出した用語を翻訳する機能を有するものである。 The “camera de dictionary” service is published on page 160 (Non-Patent Document 1) of the instruction manual of the mobile phone W31SA. This camera de dictionary service is obtained by adding an OCR function to a mobile phone. This mobile phone has a function of reading terms by OCR based on a photograph taken and translating the read terms.
特許文献1及び特許文献2に開示された装置は,いずれもある文章やある単語を撮影し,それに基づいてその翻訳文や翻訳語をモニタに表示するものである。一方,ある単語は複数の意味を有するものがある。そのため,これらの装置では,誤訳が生じやすいという問題がある。
The devices disclosed in
また,特許文献1及び特許文献2に開示された装置は,いずれも翻訳語を所定の表示領域に表示する。このため,ユーザの視野に複数の文字がある場合,どの文字を翻訳したかわかりにくいという問題がある。
The devices disclosed in
非特許文献1に開示されたOCR機能つき携帯電話は,撮影した写真(静止画)に基づいてOCRで用語を読み出し,読み出した用語を翻訳する。この携帯電話は,静止画に基づいて翻訳処理を行うため,リアルタイムに適切な用語を翻訳して表示することができないという問題がある。
A mobile phone with an OCR function disclosed in
そこで本発明は,状況に応じて適切な対応情報(翻訳語,翻訳情報)をリアルタイムに次々と表示できるリアルタイムレスポンスが可能な情報表示装置を提供することを目的とする。 Therefore, an object of the present invention is to provide an information display device capable of real-time response capable of displaying appropriate correspondence information (translated words, translation information) one after another in real time according to the situation.
また本発明は,翻訳対象を容易に把握できる情報表示装置を提供することを目的とする。 It is another object of the present invention to provide an information display device that can easily grasp a translation target.
さらに本発明は,新たな撮影対象に関する対応情報(翻訳語,翻訳情報)を絶え間なく瞬間的に表示できる情報表示装置を提供することを目的とする。 A further object of the present invention is to provide an information display device capable of constantly and instantaneously displaying correspondence information (translated words, translation information) relating to new photographing objects.
本発明は,翻訳対象物の種類を把握した上で翻訳作業を行うことで,状況に応じて適切な対応情報を表示できるという知見に基づくものである。 The present invention is based on the knowledge that appropriate correspondence information can be displayed according to the situation by performing translation work after grasping the type of translation object.
本発明の情報表示装置は,リアルタイムに辞書表示を行うことができるカメラ辞書に関する。また,この装置は,撮影部11で撮影された対象物に含まれるキャラクタを判別する。そして,この装置は,辞書12からこのキャラクタに対応した情報を抽出する。キャラクタに対応した情報の例は,ある用語に対する翻訳語や用例である。そして,表示部12が,キャラクタに対応した情報を表示する。キャラクタは,一般的には文字である。しかし,キャラクタは,絵文字,コード情報,記号であってもよい。また,この装置の対象物判別部13は,撮影部11で撮影された対象物の種類(たとえば,書類,看板)を判別する。そして,情報抽出部15が,辞書12からキャラクタに対応した情報を抽出する際に,キャラクタに関する情報に加えて,対象物の種類に関する情報をも用いる。そうすることで,例えば,本を撮影した場合は学習用辞書に掲載された辞書情報を表示するといったように,状況に応じて適切な対応情報を抽出することができる。
The information display device of the present invention relates to a camera dictionary capable of displaying a dictionary in real time. In addition, this device determines a character included in the object photographed by the photographing
以下に本発明の好ましい例を説明する。本発明は以下に説明する例に限定されるものではない。本発明の情報表示装置の好ましい例は,対象物の種類に応じて適切な辞書を選択するものである。そして,この例では,例えば,文字の背景部分(書籍における紙の部分)のような対象物のうちキャラクタ以外の部分の色情報を用いて,対象物の種類を判別する。たとえば,キャラクタが黒で,背景部分が白,またはクリーム色であれば,対象物は本である可能性が高い。その場合,例えば,対象物が書籍であるという情報に基づいて,学習用の辞書を選択する。そうすることで,この装置は,例えば,知りたい用語に関する辞書情報を抽出して,表示することができる。 Hereinafter, preferred examples of the present invention will be described. The present invention is not limited to the examples described below. A preferred example of the information display device of the present invention is to select an appropriate dictionary according to the type of object. In this example, for example, the type of the object is determined using the color information of the part other than the character among the objects such as the background part of the character (paper part of the book). For example, if the character is black and the background is white or cream, the object is likely to be a book. In this case, for example, a learning dictionary is selected based on information that the target is a book. By doing so, this device can extract and display dictionary information related to a term that the user wants to know, for example.
本発明の情報表示装置の好ましい例は,情報抽出部15が,対象物判別部(13)により判別された対象物の種類及びキャラクタ判別部12により判別されたキャラクタに基づいて,辞書12から,キャラクタに対応した最適語を1つ抽出するものである。そして,表示部16は,最適語を表示するとともに,表示された最適語が誤っている場合に,表示された最適語が誤っていることの入力を促す表示を行う。そして,情報表示装置に表示された最適語が誤っていることの入力がなされた場合は,情報抽出部15は,辞書12から,キャラクタに対応した最適語とは別の語を抽出する。そして,表示部16は,その別の語を表示する。
A preferred example of the information display device of the present invention is that the
このようにすることで,上記の情報表示装置は,(仮に対象語の訳が誤っていても構わずに)最適な訳であると情報表示装置が判断した最適語を表示部に表示する。このような情報処理を行うことで,時々刻々変化する対象語についての最適語をリアルタイムレスポンスにより表示することができることとなる。具体的には,撮影部が連続的に被写体を撮影し,撮影が行われてから次の撮影が行われるより前に,対象語の最適語を求めて表示部に表示する。これにより,撮影対象が変化した瞬間に,最適語を表示することができる。 In this way, the information display device displays on the display unit the optimum word that the information display device determines to be the optimum translation (even if the translation of the target word is incorrect). By performing such information processing, the optimum word for the target word that changes from moment to moment can be displayed in real time response. Specifically, the photographing unit continuously photographs the subject, and after the photographing is performed, the optimum word of the target word is obtained and displayed on the display unit before the next photographing is performed. Thereby, the optimum word can be displayed at the moment when the object to be photographed changes.
本発明の情報表示装置の好ましい例は,撮影部の向きにより対象物の種類を判別するものである。例えば,撮影部が水平方向または水平方向より上向きである場合,ユーザは書籍ではなく,風景や看板の翻訳を要求すると考えられる。その場合,地名事典,名称事典に基づいて選択された情報が表示される。 A preferred example of the information display device of the present invention is to discriminate the type of the object according to the orientation of the photographing unit. For example, when the photographing unit is in the horizontal direction or upward from the horizontal direction, it is considered that the user requests translation of a landscape or a signboard, not a book. In that case, the place name encyclopedia and the information selected based on the name encyclopedia are displayed.
本発明の情報表示装置の好ましい例は,ユーザからの入力により対象物の種類を判別するものである。例えば,ユーザが英和辞書モードを選択した場合,特定された英語の和訳を含む辞書情報が表示される。 A preferred example of the information display device of the present invention is to discriminate the type of the object by the input from the user. For example, when the user selects the English-Japanese dictionary mode, dictionary information including the specified English-Japanese translation is displayed.
本発明の情報表示装置の好ましい例は,撮影された対象物を画面に表示するとともに,翻訳された文字を対象物に重ねて表示するものである。この具体的な例は,外国語表記された看板を撮影すると,その外国語表記に置き換わって和文がモニタに表示されるものである。 A preferred example of the information display device of the present invention is to display the photographed object on the screen and display the translated characters superimposed on the object. In this specific example, when a signboard written in a foreign language is photographed, the Japanese text is displayed on the monitor in place of the foreign language notation.
この例では,キャラクタの色を判別するとともに,キャラクタの表示部16における位置,大きさ,及び角度を判別する。また,この例は,キャラクタの周辺の色を判別する。そして,翻訳前のキャラクタが表示部に表示されないように,翻訳前のキャラクタの周辺の色で,翻訳前のキャラクタを覆う。その上で,翻訳された語を,キャラクタの表示部16における位置,大きさ,及び角度,及びキャラクタの色に基づいてキャラクタに対応させて表示する。このようにすることで,翻訳後の語が撮影された画面に重畳して表示される。
In this example, the character color is determined, and the position, size, and angle of the character on the
本発明の情報表示装置の好ましい例は,表示部16が,タッチパネルのものである。そして,この装置は,表示部16が対象物を表示して,タッチパネルに表示された対象物に含まれるキャラクタをユーザが指示すると,その指示情報に基づいてキャラクタを特定して判別する。
In a preferred example of the information display device of the present invention, the
本発明の情報表示装置は,翻訳対象物の種類を把握した上で翻訳作業を行うことで,状況に応じて適切な対応情報をリアルタイムに次々と表示でき,リアルタイムレスポンスが可能となる。 The information display apparatus according to the present invention performs a translation operation after grasping the type of the translation object, so that appropriate correspondence information can be sequentially displayed in real time according to the situation, and a real-time response is possible.
また本発明の情報表示装置の好ましい例は,翻訳対象となる語に重畳して翻訳後の語を表示できるので,翻訳対象を容易に把握できる。 Moreover, since the preferable example of the information display apparatus of this invention can display the word after translation superimposed on the word used as a translation object, it can grasp | ascertain a translation object easily.
さらに本発明の情報表示装置の好ましい例は,写真に基づきユーザに翻訳対象語を指定させる必要がないので,新たな撮影対象に関する対応情報を絶え間なく瞬間的に表示できる。 Furthermore, since the preferred example of the information display device of the present invention does not require the user to specify a translation target word based on a photograph, correspondence information regarding new photographing objects can be displayed instantaneously and continuously.
さらに本発明の情報表示装置の好ましい例は,翻訳語として最も適していると考えられる1語を表示し,表示された語が訳語として誤っていれば,誤りであることを示唆する入力を促すようにするため,新たな撮影対象に関する対応情報を絶え間なく瞬間的に表示できる。 Furthermore, a preferred example of the information display device of the present invention displays one word that is considered to be most suitable as a translated word, and prompts an input that suggests an error if the displayed word is incorrect as a translated word. As a result, it is possible to display instantaneously and continuously the correspondence information regarding the new photographing object.
以下,図面に基づいて本発明を実施するための形態について説明する。本発明は,以下の説明に限定されることなく,当業者に自明な範囲で適宜修正を加えたものも含む。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. The present invention is not limited to the following description, and includes those appropriately modified within the scope obvious to those skilled in the art.
図1は,本発明の情報表示装置を説明するためのブロック図である。図1に示されるように,本発明の情報表示装置1は,撮影部11と,辞書12と,対象物判別部13と,キャラクタ判別部14と,情報抽出部15と,表示部16と,を含む。
FIG. 1 is a block diagram for explaining an information display device of the present invention. As shown in FIG. 1, the
情報表示装置は,撮影部11及び表示部16を有するものであればどのような形態のものであってもよい。また,情報表示装置は,撮影部11が情報表示装置から離れた位置に存在し,撮影部11が撮影した情報を受信して表示部16に表示するものであってもよい。さらに,情報表示装置は,表示部16が情報表示装置から離れた位置に存在するものであってもよい。情報表示装置の例は,2画面式携帯用ゲーム機,1画面式携帯用ゲーム機,携帯電話,カメラ,携帯型パーソナルコンピュータ,及び携帯端末である。
The information display device may have any form as long as it has the photographing
撮影部11は,対象物を撮影するための装置である。撮影部11の例は,カメラである。カメラの例は,CCDカメラである。CCDカメラは,たとえば,動画撮影モードを用いる。この場合,たとえば1/30秒ごとに被写体を捕らえて,ビデオメモリなどの画像記憶部へ連続的に記憶させる。
The
辞書12は,複数のキャラクタに関連した情報を記憶する電子的な辞書である。辞書の例は,英和辞書,和英辞書,国語辞典,地名事典,及び名称事典である。
The
辞書12は,対象物の種類に応じたデータベースを有することが好ましい。対象物の種類の例は,書籍,ノート,ポスター,地図,ゲーム画面,人形,表札及び看板である。
The
対象物判別部13は,撮影部11で撮影された対象物の種類を判別するための装置である。
The
対象物判別部13は,対象物のうちキャラクタ以外の部分の色情報を用いて,対象物の種類を判別するものであってもよい。対象物判別部13は,対象物のうちキャラクタ以外の部分の色情報と,キャラクタの色情報とを用いて,対象物の種類を判別するものであってもよい。
The
この対象物判別部13は,例えば,キャラクタ以外の部分の色と対象物の種類とを関連付けたテーブルを有する。そして,キャラクタ以外の部分の色情報に基づいて,そのテーブルから対象物の種類に関する情報を読み出す。また,この対象物判別部13の別の例は,キャラクタの色及びキャラクタ以外の部分の色と対象物の種類とを関連付けたテーブルを有する。この場合も,撮影部11が撮影した対象物からキャラクタ部分を判別し,その上でキャラクタ部分の色及びキャラクタ以外の部分の色を判別する。そして,得られた色情報を用いてテーブルから対象物の種類に関する情報を抽出する。
This object discrimination |
対象物判別部13は,撮影部11の向きに基づいて,対象物の種類を判別するものであってもよい。たとえば,情報表示装置は,コンパスを有している。コンパスは,情報表示装置の向きを把握するものである。情報表示装置の向きを把握できれば,撮影部11の向きをも把握することができる。すなわち,この対象物判別部13は,コンパスと,コンパスからの情報に基づいて撮影部11の向きを判断する向き判断部と,撮影部11の向きと対象物の種類とを関連付けて記憶するテーブルを有するものである。コンパスからの情報を受け取った向き判断部が情報表示装置の向き及び撮影部の向きを判別する。そして,この対象物判別部13は,求められた撮影部の向きに基づいてテーブルから対象物の種類を判別する。このようにして,容易に対象物を推測することができる。
The
対象物判別部13は,入力情報に基づいて,対象物の種類を判別するものであってもよい。たとえば,表示部16に,対象物の種類を選択させる表示が表示される。そして,表示部16がタッチパネルである。そして,ユーザがタッチパネルを用いて対象物の種類を選択する。すると,タッチパネルから対象物の種類に関する情報が情報表示装置に入力される。そして,情報表示装置は,入力された対象物の種類に関する情報を用いて後述する処理を行う。
The
対象物判別部13は,撮影部11と,対象物との距離に基づいて,対象物の種類を判別するものであってもよい。カメラは通常対象物との距離を測定するための距離測定手段を有している。そして,この対象物判別部13は,そのような距離測定手段を有する。距離測定手段を有するため,たとえば,遠方にある対象物は看板であるといったように対象物の種類を判別できる。
The
キャラクタ判別部14は,撮影部11で撮影された対象物に含まれるキャラクタを判別するための装置である。キャラクタ判別部14の例は,OCR又はOMRである。
The
情報抽出部15は,対象物の種類及びキャラクタに基づいて,辞書12から,このキャラクタに対応した情報を抽出するための装置である。
The
表示部16は,情報抽出部15により抽出されたキャラクタに対応した情報を表示するための装置である。
The
次に,上記した情報表示装置の動作例について説明する。まず,撮影部11が対象物を撮影する。この撮影は,連続的に行われる。撮影頻度は,たとえば1/30秒である。このため,撮影部11は,情報表示装置がわずかでも移動した瞬間に,被写体の異なる部分を撮影することとなる。すると,撮影部11が撮影した画像は,画像処理部31へ伝えられる。画像処理部31は,撮影部11から受け取った情報を分析して,表示部16に表示できる画像となるよう処理を行う。画像処理部31は,撮影部11から受領した画像情報を連続的にビデオメモリなどの画像記憶部32に伝え,画像記憶部32は画像情報を一時的に記憶する。
Next, an operation example of the above information display device will be described. First, the
一方,画像処理部31が処理を行った画像は,判別部33へ伝えられる。判別部33には,OCR及びOMRが含まれている。そして,OCR又はOMRが,画像に含まれるキャラクタを判別する。OCR及びOMRによるキャラクタ判別処理は既に知られている。
On the other hand, the image processed by the
また,判別部33は,対象物の種類を判別する。判別部33に含まれる対象物判別部13は,例えば,対象物のうちキャラクタ以外の部分の色情報と,テーブルとを用いて対象物の種類を判別する。対象物のうちキャラクタ以外の部分の例は,キャラクタの背景色である。この場合,判別部33は,対象物のうちキャラクタ以外の部分の色情報と対象物の種類とを関連付けたテーブルを有する。そして,キャラクタ以外の部分の色情報に基づいて,そのテーブルから対象物の種類に関する情報を読み出す。この例は,キャラクタの背景が白〜クリーム色であれば,対象物は書類というものである。判別部33で判別された情報は適宜,判別情報記憶部34に記憶される。
Further, the
情報抽出部15は,対象物の種類に関する情報を用いて,辞書12のうち対象物の種類に応じたデータベースを選択する。すなわち,辞書は,対象物の種類に対応した複数のデータベースを有している。情報抽出部15は,対象物の種類に関する情報を用いて,辞書12のうち対象物の種類に応じたデータベースを選択する。その上で,情報抽出部15は,キャラクタに基づいて,選択されたデータベースから,このキャラクタに対応した情報を抽出する。
The
情報抽出部15が抽出した情報は,画像調整部34にて表示部16に表示されるものに調整される。そして,画像調整部34から表示情報を受け取った表示部16は,次の撮影画像が撮影される前に所定の情報を表示する。これにより,この情報表示装置は,対象語について適切な対応情報(訳など)をリアルタイムに次々と表示でき,リアルタイムレスポンスが可能となる。
The information extracted by the
上記の動作は,制御部41からの制御指令に基づいて行われる。例えば,入力部42から所定の情報が制御部41に入力されると,制御部41は主記憶部43に記憶されたメインメモリから制御プログラムを読み出す。そして,制御部41は,読み出した制御プログラムからの指令に基づいて各種演算部に所定の演算処理を行わせる。そして,制御部41は,得られた演算結果を表示部16や出力部44から出力する。
The above operation is performed based on a control command from the
図2は,情報表示装置を用いた表示例を示す図である。この例は,情報表示装置が2画面携帯型ゲーム機の場合のものである。この例では,ゲーム機のカメラを用いて英語の本を写している。すると,情報表示装置は,撮影対象が書籍であると認識する。右画面に,カメラから撮影された英語の本のページが表示される。そして,右画面には,翻訳対象となる語を抽出するため翻訳対象語指示表示がなされている。 FIG. 2 is a diagram illustrating a display example using the information display device. In this example, the information display device is a two-screen portable game machine. In this example, a game machine camera is used to copy an English book. Then, the information display device recognizes that the photographing target is a book. The page of the English book taken from the camera is displayed on the right screen. On the right screen, a word to be translated is displayed in order to extract a word to be translated.
そして,左画面には,右画面において指定された翻訳対象語に対応する英和辞書の該当部分が表示されている。図2に示す例では,特に翻訳語を指定する必要がなく,カメラで英語の本を連続的に撮影している間に翻訳領域に存在する語が自動的に翻訳される。一方,情報表示装置が移動すると翻訳対象語が変化するため,入力ボタンのいずれかを押すことで,翻訳対象語が変化する事態を防止するようにしてもよい。この場合,いずれかのボタンから入力を受けた情報表示装置は,現在表示されている語(図2の場合では“dustpan”を表示させ続けるように処理すればよい。 On the left screen, the corresponding part of the English-Japanese dictionary corresponding to the translation target word specified on the right screen is displayed. In the example shown in FIG. 2, it is not necessary to designate a translation word in particular, and words existing in the translation area are automatically translated while continuously capturing English books with a camera. On the other hand, since the translation target word changes when the information display device moves, a situation in which the translation target word changes may be prevented by pressing any of the input buttons. In this case, the information display device that has received an input from any of the buttons may perform processing so as to continue displaying the currently displayed word (in the case of FIG. 2, “dustpan”).
図2に示す例では,右画面に翻訳対象領域が指定されている。一方,翻訳対象領域は,図2に示される十字キーを用いて適宜移動できるものであってもよい。この場合,十字キーから翻訳対象領域が移動する旨の指令が情報表示装置に入力される。すると,情報表示装置は,制御プログラムからの指令に基づいて,翻訳対象領域を移動させるための演算処理を行うとともに,モニタが移動した後の翻訳対象領域を表示するように表示処理を行う。 In the example shown in FIG. 2, the translation target area is specified on the right screen. On the other hand, the translation target area may be appropriately moved using the cross key shown in FIG. In this case, a command to move the translation target area is input from the cross key to the information display device. Then, the information display device performs a calculation process for moving the translation target area based on a command from the control program, and performs a display process to display the translation target area after the monitor moves.
図3は,情報表示装置を用いた表示例を示す図である。この例は,ゲーム機のカメラを用いて空港の表示板を写している。この例では,右画面の選択語“China”に対応する英和辞書の部分が左画面に表示されている。この例では,ユーザは表示板を撮影するため,撮影部を下向きではなく,上方に向ける。そして,情報表示装置に内蔵されるコンパスは,撮影部の向きが上方であることを感知し,制御部へ伝える。すると,制御部は,制御プログラムの指令を受け,対象物判別部13に対象物を判別させる。その結果,対象物判別部13は,撮影部の角度が所定値以上であるという情報に基づいて,対象物が書籍ではないと判断する。そして,情報抽出部15は,対象物が書籍ではないという情報に基づいて辞書12中のデータベースを選択する。その上で,適切な辞書部分を抽出し,表示してもよい。
FIG. 3 is a diagram illustrating a display example using the information display device. In this example, an airport display board is copied using a camera of a game machine. In this example, the portion of the English-Japanese dictionary corresponding to the selected word “China” on the right screen is displayed on the left screen. In this example, in order to photograph the display board, the user turns the photographing unit upward rather than downward. Then, the compass built in the information display device senses that the direction of the photographing unit is upward and transmits it to the control unit. Then, the control unit receives an instruction from the control program and causes the
図4は,上記とは別の本発明の情報表示装置を説明するためのブロック図である。図4に示されるように,この情報表示装置1は,撮影部11と,辞書12と,対象物判別部13と,キャラクタ判別部14と,情報抽出部15と,表示部16と,キャラクタ色判別部17と,キャラクタ背景判別部18と,キャラクタ表示判別部19と,重畳表示制御部20とを含む。
FIG. 4 is a block diagram for explaining an information display apparatus of the present invention different from the above. As shown in FIG. 4, the
図4に示される情報表示装置のうち図1と同じ要素については,記載を引用することで説明を省略する。ただし,この情報表示装置は,対象物の種類に基づいてキャラクタ情報が抽出されてもされなくてもよい。 Of the information display device shown in FIG. 4, the same elements as those in FIG. However, this information display device may or may not extract character information based on the type of object.
キャラクタ色判別部17は,キャラクタの色を判別するための装置である。例えば,カラーコードはコード情報の色を判別する識別手段である。本発明では,例えば,カラーコードに用いられている色判別装置を用いることで,キャラクタの色を判別することができる。 The character color discriminating unit 17 is a device for discriminating the color of the character. For example, the color code is identification means for determining the color of the code information. In the present invention, for example, the color of a character can be determined by using a color determination device used for a color code.
キャラクタ背景判別部18は,対象物のうちキャラクタの周辺の色を判別するための装置である。OCM又はOMRを用いてキャラクタを推測した場合,対象物のうちキャラクタを除いた部分が発生する。この対象物のうちキャラクタを除いた部分がキャラクタの周辺の色である。このキャラクタの周辺の色も既に知られた装置を用いて判別することができる。
The character
キャラクタ表示判別部19は,キャラクタの表示部16における位置,大きさ,及び角度を判別するための装置である。OCR及びOMRは,通常キャラクタを判別できればよいため,キャラクタの位置,大きさ,角度に関する情報を求めた後,これらの情報を捨てる。本発明では,キャラクタの位置,大きさ,角度に関する情報を求めて記憶部に記憶する。そして,キャラクタに翻訳語の語を重畳させる際に,翻訳前のキャラクタの位置,大きさ,角度に関する情報を用いる。
The character
重畳表示制御部20は,キャラクタに対応した情報を表示部16に表示される対象物に重畳して表示するための装置である。
The superimposed
図5は,重畳表示を説明するための図である。図5(a)は情報表示装置を介さない表示板を示す。この表示板が存在する空港における風景を情報表示装置が撮影する。すると,情報表示装置が,表示板に含まれるキャラクタ“China”を認識する。情報表示装置はさらに,この文字の表示部16における位置,大きさ,及び角度を把握する。これらの情報を一時記憶部35に記憶する。そして,情報表示装置は,情報表示装置の向きから撮影対象が書籍ではないと判断し,翻訳用の辞書として地名事典及び名称事典を選択する。その上で,情報表示装置は,地名事典から,用語“China”に対応する翻訳語として“中国”を選択する。通常の辞書を用いるとChinaからは磁器,瀬戸物という意味も生ずる。この場合に,地名事典から用語を選択したために,“China”の訳語として磁器と表示される事態を防止できる。
FIG. 5 is a diagram for explaining the superimposed display. FIG. 5 (a) shows a display board without an information display device. The information display device takes a picture of the scenery at the airport where the display board exists. Then, the information display device recognizes the character “China” included in the display board. The information display device further grasps the position, size, and angle of the character on the
次に,重畳表示制御部20は,このキャラクタ“China”が消えるように“China”の部分を含む領域を表示板の色で覆う。この場合,重畳画像制御部20は,キャラクタ背景判別部18から,キャラクタ背景(対象物のうちキャラクタの周辺部分)の色情報を得る。そして,記憶部からキャラクタを覆うための適切な色情報を得る。さらに,重畳画像制御部20は,キャラクタ表示判別部から表示部16におけるキャラクタの位置や大きさに関する情報を得る。そして,重畳画像制御部20は,表示部16におけるキャラクタの位置や大きさに関する情報を用いて,そのキャラクタを覆うような多角形を求めて,先に求めた色の多角形をキャラクタに重畳する。このようにすると,キャラクタが擬似的に消滅する。図5(b)はキャラクタを背景色で覆った際の概念図である。
Next, the superimposed
そして,重畳表示制御部20は,表示板における“China”の位置,大きさ,及び角度に関する情報を用いて,表示板に“China”の位置,大きさ,及び角度に対応した“中国”の文字を表示する。図5(c)は,表示板における“China”に変えて,“中国”の文字が表示される様子を示す図である。先に説明したようにして,“China”の訳語として中国が選択される。そして,重畳画像制御部20は,キャラクタ表示判別部から表示部16におけるキャラクタの位置や大きさに関する情報を得る。重畳画像制御部20は,“中国”の語が,得られたキャラクタの位置や角度に一致するよう演算処理を行う。さらに重畳画像制御部20は,先にキャラクタと覆うために用いた多角形に“中国”の語が収まるように演算処理をする。このようにすることで,違和感のない状態で翻訳語を表示させることができる。図5(d)は,表示板におけるキャラクタが翻訳された様子を示す図である。なお,図5に示す例では,一語のみが翻訳されている。しかし,たとえば,モニタに表示されるすべての語について翻訳語がモニタに表示されるようにしてもよい。この場合も,先に説明したと同様の処理を行うことで,すべての語の翻訳語をモニタに表示できる。
Then, the superimposed
図6は,本発明の情報表示装置が携帯電話により実装された例を示す。この例では,文章中のdustpanが“ちりとり”に訳されて表示されている。なお,この処理は上記した図5の処理と同様である。 FIG. 6 shows an example in which the information display device of the present invention is implemented by a mobile phone. In this example, the dustpan in the text is translated and displayed as “Dustpan”. This process is the same as the process shown in FIG.
図7は,上記とは別の本発明の情報表示装置の動作例を説明するための図である。この情報表示装置における表示部16は,タッチパネルである。図2と同様に2画面用ゲーム機の右側の画面に英文が表示される。この際,撮影部が撮影した静止画を記憶して,静止画を右画面に表示してもよい。この例では,英文の一部が表示される。そして,ユーザがタッチペンを用いてタッチパネルをタッチする。すると,タッチペンにより指示された語が選択される。図7に示されるように,選択された文字部分には選択マーカーが表示される。英文中の文字が選択されると,その英単語に対応する英和辞書の該当部分が左画面に表示される。
FIG. 7 is a diagram for explaining an operation example of the information display device of the present invention different from the above. The
図8は,上記とは別の本発明の情報表示装置の動作例を説明するための図である。この情報表示装置は,情報抽出部15が,辞書12から,キャラクタに対応した最適語を1つ抽出するものである。最適語は,先に説明したとおり,対象物の種類に関する情報を用いて辞書12を選択し,抽出してもよい。たとえば,対象物が書物以外であれば,辞書12として地名辞書に対応する語があれば,その語を他の辞書から得られる語より優先させて,最適語と判断するようにしてもよい。この態様の情報表示装置は,対象物の種類に関する情報を用いることなく,最適語を抽出してもよい。
FIG. 8 is a diagram for explaining an operation example of the information display device of the present invention different from the above. In this information display device, the
辞書12は,たとえば,ある単語に関連した複数の訳語を有しており,それぞれの訳語を使用頻度とともに記憶しているものであってもよい。たとえば,ある単語「A」について,辞書には,訳として,「あ」,「い」,及び「う」が格納されているとする。この場合,「あ」,「い」及び「う」についてそれぞれ1位,2位,及び3位が振られている。そして,たとえば,本発明の情報表示装置が,単語「A」を訳す場合,辞書にアクセスし,最も順位の高い「あ」を最適語として,表示部に表示させるようにすればよい。なお,後述するように「あ」が誤っていることが情報表示装置へ入力された場合は,辞書にアクセスして,「あ」の次の順位である「い」を読み出して,表示部に表示するようにしてもよい。
The
本発明の情報表示装置は,単語の訳と,文章に含まれる頻度の高い語とを関連付けて記憶した共起データベースを有するものであってもよい。たとえば,単語「prescription」は,「処方箋」,「助言」,「規則」,及び「時効」といった訳が存在する。共起データベースは,たとえば,単語「prescription」に関連する「処方箋」と関連させて,疾患,薬又は薬局に関する語(「diabetes」,「drag」,「medicament」,「pharmacie」)を格納すればよい。このようにすれば,たとえば,訳の対象語が「prescription」であり,「prescription」の前後に,疾患,薬又は薬局に関する語が存在すれば,本発明の情報表示装置は,「処方箋」を最適語として抽出する。他の語も同様である。たとえば,「時効」と関連して,「damage」,「account of profit」,「criminal offence」などの語を格納すればよい。 The information display device of the present invention may have a co-occurrence database that stores a translation of a word and a word that is frequently included in a sentence in association with each other. For example, the word “prescription” has translations such as “prescription”, “advice”, “rule”, and “aging”. If the co-occurrence database stores, for example, words related to diseases, drugs or pharmacies (“diabetes”, “drag”, “medicament”, “pharmacie”) in association with a “prescription” related to the word “prescription”. Good. In this way, for example, if the target word of translation is “prescription” and there are words related to a disease, a drug, or a pharmacy before and after “prescription”, the information display device of the present invention displays “prescription”. Extract as the best word. The same applies to other words. For example, in association with “aging”, words such as “damage”, “account of profit”, “criminal offset” may be stored.
図8に示す例は,対象語としての「prescription」という語をカメラが撮影した部分に含まれた単語「diadetes」を用いて,「処方箋」と訳して表示したものである。 In the example shown in FIG. 8, the word “prescription” as the target word is translated into “prescription” and displayed using the word “diapetes” included in the portion photographed by the camera.
この情報表示装置は,対象語を翻訳する際に,対象語と同一の行にある語,又はカメラにより撮影された箇所に含まれる語を記憶部に記憶する。そして,情報表示装置は,辞書に記憶されている対象語の訳の関連語をも読み出す。その上で,記憶部に記憶された語に関連語が含まれているか否か判断する演算処理を行う。このようにすることで,訳語を選択するための共起判断処理を行うことができる。 When the target word is translated, the information display device stores a word in the same line as the target word or a word included in a location photographed by the camera in the storage unit. Then, the information display device also reads the related words of the translation of the target word stored in the dictionary. After that, a calculation process is performed to determine whether or not related words are included in the words stored in the storage unit. In this way, it is possible to perform a co-occurrence determination process for selecting a translated word.
これにより,この情報表示装置は,対象語の翻訳を1つだけ適切に表示できる。このため,対象語が変化した瞬間に,変化後の対象語に適切に対応した翻訳語を1つリアルタイムに表示することができることとなる。 Thereby, this information display device can appropriately display only one translation of the target word. For this reason, at the moment when the target word is changed, one translation word corresponding to the target word after the change can be displayed in real time.
図8に示されるように,この態様の情報表示装置は,最適語を表示するとともに,表示された最適語が誤っている場合に表示された最適語が誤っていることの入力を促す表示を行う。図中,符号21は,最適語が誤っていることの入力を促すための表示である。
As shown in FIG. 8, the information display device according to this aspect displays an optimum word and displays a message prompting the user to input that the optimum word displayed is incorrect when the displayed optimum word is incorrect. Do. In the figure,
先に説明した処理により,情報表示装置の表示部に,最適語が表示される。一方,ユーザがこの訳は適切ではないと判断した場合,次の訳語候補を表示させたいと考える。このユーザは,たとえば,最適語が誤っていることの入力を促すための表示21をタッチする。すると,表示部がタッチパネル式の入力部となっているため,最適語が誤っていることについての情報が情報表示装置へ入力される。この入力情報を受け取った情報表示装置の制御部は,改めて辞書2にアクセスし,2番目に順位の高かった訳語を読み出して,表示部に表示する。
By the processing described above, the optimum word is displayed on the display unit of the information display device. On the other hand, if the user determines that this translation is not appropriate, the user wants to display the next candidate translation. For example, the user touches the
なお,本発明は,コンピュータを上記した情報表示装置として機能させるためのプログラムも提供し,さらにそのプログラムを格納したコンピュータ読み取り可能な情報記録媒体をも提供する。また,本発明は,上記した情報処理装置による情報処理方法も提供する。 The present invention also provides a program for causing a computer to function as the information display device described above, and further provides a computer-readable information recording medium storing the program. The present invention also provides an information processing method by the above information processing apparatus.
本発明は,学習用機器や旅行用ツールとして有効に利用されうる。 The present invention can be effectively used as a learning device or a travel tool.
1 情報表示装置
11 撮影部
12 辞書
13 対象物判別部
14 キャラクタ判別部
15 情報抽出部
16 表示部
17 キャラクタ色判別部
18 キャラクタ背景判別部
19 キャラクタ表示判別部
31 画像処理部
32 画像記憶部
33 判別部
34 画像調整部
35 一時記憶部
41 制御部
42 入力部
43 主記憶部
44 出力部
DESCRIPTION OF
Claims (5)
複数のキャラクタに関連した情報を記憶する辞書(12)と,
前記撮影部(11)で撮影された対象物の種類を判別するための対象物判別部(13)と,
前記撮影部(11)で撮影された対象物に含まれるキャラクタを判別するためのキャラクタ判別部(14)と,
前記対象物判別部(13)により判別された対象物の種類及び前記キャラクタ判別部(12)により判別されたキャラクタに基づいて,前記辞書(12)から,自動的に,このキャラクタに対応した情報を抽出する情報抽出部(15)と,
前記情報抽出部(15)により抽出されたキャラクタに対応した情報を表示するための表示部(16)と,
を含み,
前記対象物判別部(13)は,
前記撮影部(11)の向きを把握するセンサと,前記センサからの情報に基づいて前記撮影部(11)の向きを判断する向き判断部と,前記撮影部(11)の向きと対象物の種類とを関連付けて記憶するテーブルを有し,前記撮影部(11)の向きに基づいて,対象物の種類を判別するものであり,
前記辞書(12)は,
対象物の種類に応じて,前記複数のキャラクタに関連した情報を記憶するデータベースを有する辞書であり,
前記情報抽出部(15)は,
前記対象物判別部(13)により判別された対象物の種類を用いて前記辞書(12)に含まれる対象物の種類に応じたデータベースを選択し,
前記キャラクタ判別部(12)により判別されたキャラクタに基づいて,選択されたデータベースから,このキャラクタに対応した情報を抽出するものである
情報表示装置。
An imaging unit (11) for continuously imaging an object;
A dictionary (12) for storing information related to a plurality of characters;
An object discriminating unit (13) for discriminating the type of the object photographed by the photographing unit (11);
A character discriminating section (14) for discriminating characters included in the object photographed by the photographing section (11);
Based on the type of the object determined by the object determining unit (13) and the character determined by the character determining unit (12), information corresponding to this character is automatically obtained from the dictionary (12). An information extraction unit (15) for extracting
A display unit (16) for displaying information corresponding to the character extracted by the information extraction unit (15);
Including
The object discrimination unit (13)
A sensor for grasping the orientation of the photographing unit (11), a direction determining unit for judging the orientation of the photographing unit (11) based on information from the sensor, a direction of the photographing unit (11), and an object A table for associating and storing types, and determining the type of the object based on the orientation of the photographing unit (11);
The dictionary (12)
A dictionary having a database for storing information related to the plurality of characters according to the type of object;
The information extraction unit (15)
Using the type of the object determined by the object determining unit (13), select a database corresponding to the type of object included in the dictionary (12),
An information display device for extracting information corresponding to the character from the selected database based on the character determined by the character determining unit (12) .
前記対象物判別部(13)により判別された対象物の種類及び前記キャラクタ判別部(12)により判別されたキャラクタに基づいて,前記辞書(12)から,前記キャラクタに対応した最適語を1つ抽出するものであり,
前記表示部(16)は,前記最適語を表示するとともに,表示された最適語が誤っている場合に表示された最適語が誤っていることの入力を促す表示を行い,
表示された最適語が誤っていることの入力がなされた場合は,前記情報抽出部(15)は,前記辞書(12)から,前記キャラクタに対応した前記最適語とは別の語を抽出し,
前記表示部(16)は,前記別の語を表示する,
請求項1に記載の情報表示装置。
The information extraction unit (15)
One optimal word corresponding to the character is selected from the dictionary (12) based on the type of the object determined by the object determining unit (13) and the character determined by the character determining unit (12). To extract,
The display unit (16) displays the optimum word, and performs a display for prompting an input that the displayed optimum word is incorrect when the displayed optimum word is incorrect,
When an input indicating that the displayed optimum word is incorrect is made, the information extraction unit (15) extracts a word different from the optimum word corresponding to the character from the dictionary (12). ,
The display unit (16) displays the another word.
The information display device according to claim 1.
前記対象物のうちキャラクタ以外の部分の色情報を用いて,対象物の種類を判別する
請求項1に記載の情報表示装置。
The object discrimination unit (13) further includes:
The information display device according to claim 1, wherein the type of the object is determined using color information of a part other than the character in the object.
入力情報に基づいて,対象物の種類を判別する
請求項1に記載の情報表示装置。
The object discrimination unit (13) further includes:
The information display device according to claim 1, wherein the type of the object is determined based on the input information.
前記表示部(16)は,タッチパネルであり,
前記キャラクタ判別部(14)は,前記タッチパネルからの指示情報に基づいて前記キャラクタを特定して判別する,
請求項1に記載の情報表示装置。
The display unit (16) displays an object photographed by the photographing unit (11),
The display unit (16) is a touch panel,
The character discriminating unit (14) identifies and discriminates the character based on instruction information from the touch panel.
The information display device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010131545A JP4923134B2 (en) | 2010-06-08 | 2010-06-08 | Real-time camera dictionary |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010131545A JP4923134B2 (en) | 2010-06-08 | 2010-06-08 | Real-time camera dictionary |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009293667A Division JP4759638B2 (en) | 2009-12-25 | 2009-12-25 | Real-time camera dictionary |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011138473A JP2011138473A (en) | 2011-07-14 |
JP4923134B2 true JP4923134B2 (en) | 2012-04-25 |
Family
ID=44349799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010131545A Active JP4923134B2 (en) | 2010-06-08 | 2010-06-08 | Real-time camera dictionary |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4923134B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6609181B2 (en) * | 2015-12-25 | 2019-11-20 | 日本放送協会 | Character attribute estimation apparatus and character attribute estimation program |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11212992A (en) * | 1998-01-27 | 1999-08-06 | Sharp Corp | Picture filing system and record medium recording program controlling the system |
JP2000207487A (en) * | 1999-01-20 | 2000-07-28 | Sony Corp | Device and method for information processing and providing medium |
JP2003302996A (en) * | 2002-04-11 | 2003-10-24 | Yamagata Univ Research Institute | Information processing system |
JP4271428B2 (en) * | 2002-11-15 | 2009-06-03 | オムロン株式会社 | Character recognition method and character recognition apparatus |
JP5150035B2 (en) * | 2004-09-16 | 2013-02-20 | Necカシオモバイルコミュニケーションズ株式会社 | Mobile terminal, information processing method, and information processing program |
JP2006146454A (en) * | 2004-11-18 | 2006-06-08 | Sony Corp | Information conversion device and method |
JP2006309314A (en) * | 2005-04-26 | 2006-11-09 | Konica Minolta Photo Imaging Inc | Translation device |
JP2007280166A (en) * | 2006-04-10 | 2007-10-25 | Nikon Corp | Electronic dictionary |
JP2008054236A (en) * | 2006-08-28 | 2008-03-06 | Nikon Corp | Imaging apparatus |
JP5171524B2 (en) * | 2007-10-04 | 2013-03-27 | 株式会社日立ハイテクノロジーズ | Device surface defect inspection apparatus and method |
JP5338063B2 (en) * | 2007-10-31 | 2013-11-13 | 富士通株式会社 | Image recognition program, image recognition apparatus, and image recognition method |
JP2009301248A (en) * | 2008-06-12 | 2009-12-24 | Canon Inc | Language processor |
-
2010
- 2010-06-08 JP JP2010131545A patent/JP4923134B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011138473A (en) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4759638B2 (en) | Real-time camera dictionary | |
KR101455200B1 (en) | Learning monitering device and method for monitering of learning | |
TW201322050A (en) | Electronic device and read guiding method thereof | |
JP2005185560A5 (en) | ||
CN103294766B (en) | Associating strokes with documents based on the document image | |
TW201322049A (en) | Electronic device and read guiding method thereof | |
JP2006107048A (en) | Controller and control method associated with line-of-sight | |
JP4790080B1 (en) | Information processing apparatus, information display method, information display program, and recording medium | |
JP4443194B2 (en) | Processing object selection method in portable terminal character recognition and portable terminal | |
US5887086A (en) | Image pick-up apparatus | |
US20130082985A1 (en) | Content display apparatus, and content display method | |
JP4923134B2 (en) | Real-time camera dictionary | |
JP3164748U (en) | Information processing device | |
JP2003345335A (en) | Read help image display device | |
US20230096044A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP5991323B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6399371B1 (en) | Information processing apparatus, information processing apparatus control method, and program | |
JP6408055B2 (en) | Information processing apparatus, method, and program | |
JP2006053622A (en) | Document link information acquisition system | |
JP2006145988A (en) | Device and system for information superposition display | |
JP5605208B2 (en) | Electronic device and program with dictionary function | |
JP2017054167A (en) | Information terminal device and program | |
JP5220684B2 (en) | Sensory information expression server, sensory information expression system, and emotion expression method | |
JP2007241370A (en) | Portable device and imaging device | |
JP7231529B2 (en) | Information terminal device, server and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4923134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |