JP5376685B2 - コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム - Google Patents

コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム Download PDF

Info

Publication number
JP5376685B2
JP5376685B2 JP2011155220A JP2011155220A JP5376685B2 JP 5376685 B2 JP5376685 B2 JP 5376685B2 JP 2011155220 A JP2011155220 A JP 2011155220A JP 2011155220 A JP2011155220 A JP 2011155220A JP 5376685 B2 JP5376685 B2 JP 5376685B2
Authority
JP
Japan
Prior art keywords
data
display
image data
area
content data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011155220A
Other languages
English (en)
Other versions
JP2013020558A (ja
Inventor
拓哉 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biglobe Inc
Original Assignee
Biglobe Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biglobe Inc filed Critical Biglobe Inc
Priority to JP2011155220A priority Critical patent/JP5376685B2/ja
Priority to EP12176096A priority patent/EP2547085A1/en
Priority to US13/547,773 priority patent/US8848103B2/en
Publication of JP2013020558A publication Critical patent/JP2013020558A/ja
Application granted granted Critical
Publication of JP5376685B2 publication Critical patent/JP5376685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32112Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/00448Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array horizontally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/0045Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array vertically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3249Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document data relating to a linked page or object, e.g. hyperlink
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3266Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of text or character information, e.g. text accompanying an image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3277The additional information being stored in the same storage device as the image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、コンテンツデータ表示装置に関し、特に、画像データ上に字幕データを表示させるコンテンツデータ表示装置に関する。
電子コミックスに代表されるコンテンツデータを、スマートフォンやタブレット端末上で表示させるソフトウェアが普及している。スマートフォンやタブレット端末の利用者は、母国語以外の言語情報が含まれるコンテンツデータを参照する場合がある。また、スマートフォンやタブレット端末等の携帯端末は、画面表示面積に限りがあるため、画像データ内に含まれる文字情報が、判別しにくくなる場合がある。このような利用形態を想定して、画像データとともに、字幕データを画面に表示する技術が知られている。
電子コミックスに使用されている言語が、母国語ではない利用者に対して、電子コミックスを提供する場合には、電子コミックスに記載されている言語を他言語に翻訳して表示する必要がある。これを実現する1つの方法としては、スマートフォンやタブレット端末等の携帯端末へ配信する電子コミックスの画像データを直接加工する方法がある。この方法では、翻訳した他言語の文字画像を作成し、電子コミックスの吹き出し部分の翻訳前の言語の上に貼り付け、他言語向けの電子コミックスの画像データを新たに作成する。
この方法を使用すると、翻訳した言語データを、画像編集ソフトウェア等を利用して、元画像データ上に配置して、新たな画像データを作成するため、レタリングコストがかかる。すなわち、電子コミックスの吹き出し内に翻訳データを収めるための文章の調整や、フォントや文字サイズ等を新たに検討する等の対応コストがかかる。また、翻訳した他言語の文字情報を画像データとして、新しく電子コミックスの画像データを作成するため、ファイルサイズが、元の電子コミックスのデータと同等のサイズとなる。そのため、同一の電子コミックスに対して、複数の言語で配信を受けたい利用者にとっては、配信コスト、及び保存コストがかかる。
本発明の分野における文献公知発明としては、特開2002−251279号公報(特許文献1)がある。
特開2002−251279号公報(特許文献1)には、画像及び文字を含むコンテンツを配信する配信システムの発明が開示されている。この発明のコンテンツは、画像データと、この画像データに対応づけられた文字データと、画像データと文字データの対応づけを含む制御データにより管理されている。この発明の表示端末は、画像データを画像表示領域に表示するとともに、制御データによって対応づけられた文字データを、同一画面上の画像表示領域から区別された文字表示領域に表示する。
スマートフォンやタブレット端末において、画像データに対応する字幕データを表示させる際に、限られた広さの画面をできるだけ有効に利用し、かつ、操作性に優れた字幕表示技術が必要とされている。
特開2002−251279号公報
本発明の目的は、限られた広さの画面を有効に利用し、かつ、操作性に優れた字幕表示機能を有するコンテンツデータ表示装置を提供することにある。
本発明のコンテンツデータ表示装置は、画像データと、画像データ上の領域と対応付けられた字幕データを含むコンテンツデータを記憶する記憶部と、コンテンツデータを表示する表示部と、領域を選択する入力部と、入力部により選択された領域に対応する字幕データを、画像データ上に重ねて、表示部に表示させる制御部とを備える。
本発明のコンテンツデータ表示方法は、記憶部が、画像データと、画像データ上の領域と対応付けられた字幕データを含むコンテンツデータを記憶するステップと、表示部が、コンテンツデータを表示するステップと、入力部が、領域を選択するステップと、制御部が、領域を選択するステップにより選択された領域に対応する字幕データを、画像データ上に重ねて、表示部に表示させるステップとを含む。
本発明によれば、限られた広さの画面を有効に利用し、かつ、操作性に優れた字幕表示機能を有するコンテンツデータ表示装置を提供することができる。
図1は、本発明の実施形態におけるコンテンツデータ表示装置15のブロック図である。 図2は、本発明の実施形態におけるコンテンツデータ表示装置15のタイトルテーブル20の例である。 図3は、本発明の実施形態におけるコンテンツデータ表示装置15の画像データテーブル30の例である。 図4は、本発明の実施形態におけるコンテンツデータ表示装置15の字幕データテーブル40の例である。 図5は、本発明の実施形態におけるコンテンツデータ表示装置15のコマデータテーブル50の例である。 図6は、本発明の実施形態におけるコンテンツデータ表示装置15において、画像データ8上の領域を特定する方法を説明するための図である。 図7は、本発明の実施形態におけるコンテンツデータ表示装置15において、画像データ8上に字幕データ9を表示する方法のフローチャートである。 図8は、本発明の実施形態におけるコンテンツデータ表示装置15において、字幕データ9を表示させた場合の例である。 図9は、本発明の実施形態におけるコンテンツデータ表示装置15において、字幕データ9の表示位置を移動させた場合の例である。 図10は、本発明の実施形態におけるコンテンツデータ表示装置15において、字幕データ9及び音声データ10の選択画面の例である。
添付図面を参照して、本発明の実施形態によるコンテンツデータ表示装置15を以下に説明する。
[構成の説明]
はじめに、本実施形態におけるコンテンツデータ表示装置15の構成の説明を行う。図1は、本発明の実施形態におけるコンテンツデータ表示装置15のブロック図である。本実施形態のコンテンツデータ表示装置15は、表示部1、入力部2、制御部3、音声出力部4、主記憶部5及び記憶部6を備える。
表示部1は、コンテンツデータ7を表示する。入力部2は、利用者がコンテンツデータ7を参照するための操作を行うインタフェースである。入力部2は、コンテンツデータ表示装置15に備えられたボタンや、ポインティングデバイス等である。また、入力部2は、表示部1を利用したタッチパネル方式であってもよい。制御部3は、コンテンツデータ表示装置15を制御するプログラムを実行する。音声出力部4は、コンテンツデータ表示装置15から音声を出力する。主記憶部5は、制御部3により実行されるプログラムが読み込まれる。
記憶部6には、コンテンツデータ7、コンテンツデータ7を管理するテーブル及びコンテンツデータ表示プログラム11が記憶されている。コンテンツデータ7を管理するテーブルには、タイトルテーブル20、画像データテーブル30、字幕データテーブル40及びコマデータテーブル50がある。なお、画像データテーブル30、字幕データテーブル40及びコマデータテーブル50は、コンテンツデータ7に含まれていてもよい。
コンテンツデータ7には、画像データ8、字幕データ9が含まれる。なお、コンテンツデータ7には、更に、音声データ10が含まれていてもよい。コンテンツデータ7に音声データ10が含まれている場合には、利用者の操作に応答して、画像データ8上の領域に対応付けられた音声を出力させることができる。記憶部6に記憶されるコンテンツデータ7の取得方法は、コンテンツ配信サーバから、インターネット等を介して、コンテンツデータ表示装置15にダウンロードする方法や、外部メディアを介する方法等が考えられる。
コンテンツデータ表示プログラム11は、コンテンツデータ表示装置15を制御するためのプログラムである。制御部3は、コンテンツデータ表示プログラム11を、主記憶部5に読み込んで実行する。
次に、本実施形態におけるコンテンツデータ7のデータ管理方法の例について説明する。
図2は、本発明の実施形態におけるコンテンツデータ表示装置15のタイトルテーブル20の例である。タイトルテーブル20は、タイトル識別子21及びタイトル名22が関連付けられて記憶されている。タイトル識別子21は、コンテンツデータ7のタイトル毎に割り当てられる識別子である。タイトル名は、コンテンツデータ7のタイトル名である。本実施形態のコンテンツデータ7は、タイトル識別子毎に関連付けられた、画像データテーブル30、字幕データテーブル40及びコマデータテーブル50によって管理される。
図3は、本発明の実施形態におけるコンテンツデータ表示装置15の画像データテーブル30の例である。画像データテーブル30は、ページ識別子31及び画像データ名32が関連付けられて記憶されている。ページ識別子31は、コンテンツデータ7のページ毎に割り当てられる識別子である。画像データ名32は、画像データ8のファイル名である。なお、画像データ名32は、図3においては、jpg形式のファイルとなっているが、画像データ名32は、jpg形式に限らず、gif形式等の別のファイル形式であってもよい。
図4は、本発明の実施形態におけるコンテンツデータ表示装置15の字幕データテーブル40の例である。字幕データテーブル40は、字幕識別子41、言語識別子42、字幕データ名43、ページ識別子44、台詞領域45及び表示位置情報46が関連付けられて記憶されている。字幕識別子41は、字幕毎に割り当てられる識別子である。言語識別子42は、字幕データの言語を識別するための識別子である。字幕データ名43は、字幕データのファイル名である。なお、字幕データ名43は、図4においては、txt形式のファイルとなっているが、字幕データ名43は、txt形式に限らず、xml形式等の別のファイル形式であってもよい。ページ識別子44は、字幕データに対応する台詞が存在するページの識別子である。ページ識別子44は、画像データテーブル30のページ識別子31に対応している。
台詞領域45は、字幕データ9に対応する台詞が占める領域を示す。図6は、本発明の実施形態におけるコンテンツデータ表示装置15において、画像データ8上の領域を特定する方法を説明するための図である。図6の例では、画像データ8上の座標(X,Y)=(200,300)から、Height:100、Width:50の長方形状の領域を、(X,Y,W,H)=(200,300,50,100)で指定する例が示されている。表示位置情報46は、台詞領域45に基づいて、表示部1に表示する字幕データ9の表示位置を示す情報である。
図5は、本発明の実施形態におけるコンテンツデータ表示装置15のコマデータテーブル50の例である。コマデータテーブル50は、コンテンツデータ7が電子コミックスである場合に、コマと字幕の関係を管理するためのテーブルである。コマデータテーブル50は、コマ識別子51、ページ識別子52、コマ領域53及び字幕54が関連付けられて記憶されている。コマ識別子51は、1ページ中に複数含まれる可能性のあるコマ毎に割り当てられる識別子である。ページ識別子52は、コマデータが存在するページの識別子である。ページ識別子52は、画像データテーブル30のページ識別子31に対応している。コマ領域53は、ページ識別子52に対応する画像データ8上で、コマが存在する領域を示す。字幕識別子54は、コマに存在する台詞に対応する字幕の識別子である。字幕識別子54は、字幕データテーブル40の字幕識別子41に対応している。
[動作方法の説明]
次に、本実施形態におけるコンテンツデータ表示装置15において、画像データ8上に字幕データ9を表示する方法の説明を行う。図7は、本発明の実施形態におけるコンテンツデータ表示装置15において、画像データ8上に字幕データ9を表示する方法のフローチャートである。
(ステップS1)
利用者が、入力部2によりコンテンツデータ7を選択する。制御部3が、表示対象のコンテンツデータ7の画像データ8を表示部1の第1のレイヤ(画像表示レイヤ)に表示する。本実施形態のコンテンツデータ表示装置15では、制御部3は、表示部1に表示するデータの種類毎に、レイヤを分けてデータを表示する。制御部3は、画像データ8を、第1のレイヤ(画像表示レイヤ)に表示し、字幕データ9を、第2のレイヤ(字幕表示レイヤ)に表示する。制御部3は、異なる種類のデータをレイヤ毎に重ねることで、表示部1に表示するコンテンツデータ7の画像を作成する。
(ステップS2)
利用者が、入力部2により画像データ8上の領域を選択する。例えば、入力部2が表示部1を利用したタッチパネルである場合には、利用者が表示部1に表示された画像データ8において字幕を表示させたい箇所をタッチ(選択)する。
(ステップS3)
制御部3が、ステップS2で選択した画像データ8上の領域に対して、マークを表示する。制御部3は、マークを表示部1の第3のレイヤ(マーク表示レイヤ)に表示する。制御部3が、表示部2にマークを表示させることで、選択した画像データ8上の領域を、利用者が識別できるようにする。
(ステップS4)
制御部3が、ステップS2で選択した画像データ8上の領域に対応する字幕データ9を、字幕データテーブル40から検索する。制御部3は、利用者が入力部2により選択した箇所の座標を取得し、取得した座標が、字幕データテーブル40の台詞領域45の領域に含まれるかどうかを判定し、含まれる領域があった場合、該当した台詞領域45に関連付けられている字幕データ名43に対応する字幕データ9を記憶部6から検索する。制御部3は、検索した字幕データ9を、表示部1の第1のレイヤより上層のレイヤ(上位レイヤ)である第2のレイヤに表示する。
なお、表示部1に表示されている画像データ8は、入力部2の操作により、全画面表示によって縮小される場合や、画像データ8上の特定の箇所のズームによって拡大される場合がある。これらの場合には、表示部1上で選択された位置の座標と、対応する画像データ8の座標が、一意に対応しない。例えば、表示部1の画面サイズが、(0,0)〜(200,200)であり、画像データ8のサイズが、(0,0)〜(200,200)であるとき、画像データ8が、表示部1に100%の倍率で表示されていれば、表示部1の画面の座標と、画像データ8上の領域の座標は一致する。この場合、入力部2が、表示部1によるタッチパネルである場合には、表示部1上で(50,50)の座標位置をタップすれば、画像データ8上の(50,50)の座標位置が選択される。一方、入力部2により、画像データ8が、表示部1に200%の倍率で表示されるように拡大され、画像データ8の(0,0)〜(100,100)の領域が表示されている場合は、表示部1上で(50,50)の座標位置をタップすれば、画像データ8上の(25,25)の座標位置が選択される。制御部3は、入力部2の操作により選択された表示部1の位置の座標が、画像データ8上のどの座標に対応するのかを再度算出する。制御部3は、入力部2の操作に基づく画像データ8の表示状態の変更(表示箇所の移動、拡大、縮小及び回転等)を認識し、対応する画像データ8上の座標を再度算出する。
制御部3が、コンテンツデータ7の画像データ8上の任意の箇所の選択に応答して、字幕データ9を表示させるため、利用者によるコンテンツデータの参照の仕方に合わせて、任意の順序で、コンテンツデータ7の画像データ8上の文字に対する字幕データ9を表示させることができる。
また、画像データ8上の領域に対して、字幕データ9を対応させているため、コンテンツデータ7が電子コミックスである場合には、登場人物による吹き出し以外の背景等に記載された文字に対しても、字幕データ9を表示させることができる。
図8は、本発明の実施形態におけるコンテンツデータ表示装置15において、字幕データ9を表示させた場合の例である。マーク81は、制御部3が、利用者が画面上の領域を選択したことにより表示する表示部1上のマークの例である。字幕82は、画像データ8上のマーク81が含まれる所定の領域に対応する字幕データ9である。制御部3は、表示部1に表示されている画像データ8の下部に重ねて、字幕82を表示する。字幕データ9を表示させるためだけに使用する専用の表示領域を表示部1に確保していないため、字幕データ9を表示することにより画像データ8の表示領域を狭めてしまうことがない。これにより、コンテンツデータ表示装置15の表示部1の画面を有効に利用している。
なお、図8では、字幕82は、表示部1の下部に表示されているが、字幕82のデフォルトの表示位置は、字幕82に対応する画像データ8上の領域に合わせて、字幕データテーブル40の表示位置情報46により、適宜、設定することができる。図4の字幕データテーブル40の例では、表示位置情報46に、下部:0又は上部:1が設定されているが、下部:0又は上部:1以外の表示位置が設定されていてもよい。また、字幕82は、利用者が入力部2により表示位置を変更することができる。図9は、本発明の実施形態におけるコンテンツデータ表示装置15において、字幕データ9の表示位置を移動させた場合の例である。例えば、入力部2が表示部1を利用したタッチパネルである場合には、利用者が、字幕82を変更したい表示位置に向けてフリックすると、制御部3が、字幕82の表示位置を、検知したフリックした方向に変更する。
(ステップS5)
制御部3は、マーク箇所又は選択されている台詞領域が再選択されたかどうかを確認し、マーク箇所が再選択された場合には、ステップS9の処理に進み、マーク箇所が再選択されていない場合には、ステップS6の処理に進む。
(ステップS6)
制御部3は、利用者の入力部2による操作後も、マーク箇所又は選択されている台詞領域が、表示部1の表示範囲内にあるか否かを監視する。マーク箇所、又は選択されている台詞領域が、表示部1の表示範囲外となる可能性のある入力部2の操作に基づく制御部3の動作例としては、以下がある。入力部2により、表示部1に表示中の画像がフリック、又は次ページ/前ページボタンがクリックされると、制御部3は、フリックされた方向、又はクリックされたボタンの種類に応じて、次ページのページ識別子、又は前ページのページ識別子の画像データを第1のレイヤに表示する。また、入力部2により、ズームイン又はズームアウトボタンがクリックされると、制御部3は、表示部1に表示中の画像データを拡大又は縮小表示する。また、入力部2により、表示部1に拡大表示中の画像がドラッグ、又は移動ボタン(上、下、右、左ボタン)がクリックされると、制御部3は、ドラッグされた方向又はボタンの種類に応じて、表示部1に表示中の画像データの表示範囲の位置を移動する。
制御部3は、マーク箇所又は選択されている台詞領域が、画像データ8の拡大等により表示部1の表示範囲外になった場合や、コンテンツデータ7の参照ページの変更等によりマーク箇所又は選択されている台詞領域が表示されなくなった場合には、画面外と判断し、ステップS9の処理に進む。制御部3は、画面外と判断しない場合には、ステップS7の処理に進む。
(ステップS7)
制御部3は、利用者が入力部2により表示部1上の他の領域を選択したかどうかを確認し、他の領域を選択した場合には、ステップS8の処理に進み、他の領域を選択していない場合には、ステップS5の処理に進む。
(ステップS8、ステップS9)
制御部3は、表示部2から表示中の字幕(字幕データ9)の表示を消去する。
なお、ステップS6における画像データ8の拡大操作等に基づく字幕表示の消去については、画像データ8の拡大操作等を行っても、依然、マーク箇所又は選択されている台詞領域が表示部1の画面内に存在している場合には、制御部3は、字幕データ9の表示を消去しない。
また、制御部3は、字幕データ9を表示部1に表示する際に、コマデータテーブル50を使用して、次のような方法により、画像データ8を拡大又は縮小してもよい。まず、制御部3は、字幕データ9を表示部1に表示する際に、字幕データテーブル40の当該字幕データ9に対応する字幕識別子41を読み出す。次に、制御部3は、読み出した字幕識別子41が含まれるコマデータテーブル50のレコードのコマ領域53を読み出す。制御部3は、読み出したコマ領域53を利用して、表示部1の表示範囲内にコマ領域53が全て収まって表示されるように画像データ8を、拡大又は縮小して表示部1に表示する。
なお、表示部1に表示する字幕データ9として、他国の言語への翻訳データを使用する場合には、各国の言語に対応する字幕データ9を用意し、コンテンツデータ表示装置15のメニュー画面から選択させることができる。また、本実施形態のコンテンツデータ表示装置15の構成によれば、画像データ8上の領域に対応する音声データ10を用意することにより、利用者の領域選択に基づいて、音声を出力することも可能である。図10は、本発明の実施形態におけるコンテンツデータ表示装置15において、字幕データ9及び音声データ10の選択画面の例である。図10は、英語、フランス語、中国語、または、音声出力が選択可能な選択画面が示されている。
また、表示部1に表示させる字幕データ9のフォントや文字サイズは、コンテンツデータ表示装置15のメニュー画面から変更できるようにしてもよい。
また、字幕データ9を表示部1に表示する際に、表示部1上の選択した台詞領域45と重ならないように字幕データ9を表示部1に表示してもよい。
本発明の実施形態におけるコンテンツデータ表示装置15によれば、利用者が参照したい画像データ8上の文字に対する字幕データ9を、利用者によるコンテンツデータ7の参照の仕方に合わせて、任意の順序で表示させることができる。
また、本発明の実施形態におけるコンテンツデータ表示装置15によれば、字幕データ9を画像データ8上に表示するため、表示部1の表示範囲の広さを有効に利用することができ、また、字幕データ9は、入力部2により移動させることができるため、画像データ8の参照の妨げとならない。
また、本発明の実施形態におけるコンテンツデータ表示装置15によれば、例えば、コンテンツデータ7が電子コミックスである場合には、吹き出し毎に字幕データ9を管理せずに、画像データ8上の領域毎に字幕データ9を対応付けているため、吹き出し以外の文字に対しても字幕データ9を表示できる等、より自由度の高い字幕データ9の表示が可能となる。
以上、本発明の実施の形態が添付の図面を参照することにより説明された。但し、本発明は、上述の実施の形態に限定されず、要旨を逸脱しない範囲で当業者により適宜変更され得る。
1 表示部
2 入力部
3 制御部
4 音声出力部
5 主記憶部
6 記憶部
7 コンテンツデータ
8 画像データ
9 字幕データ
10 音声データ
11 コンテンツデータ表示プログラム
15 コンテンツデータ表示装置
20 タイトルテーブル
21 タイトル識別子
22 タイトル名
30 画像データテーブル
31 ページ識別子
32 画像データ名
40 字幕データテーブル
41 字幕識別子
42 言語識別子
43 字幕データ名
44 ページ識別子
45 台詞領域
46 表示位置情報
50 コマデータテーブル
51 コマ識別子
52 ページ識別子
53 コマ領域
54 字幕識別子
81 マーク
82 字幕

Claims (13)

  1. 画像データと、前記画像データ上の第1の領域及び第2の領域に対応付けられた字幕データとを含むコンテンツデータを記憶する記憶部と、
    前記画像データを表示するための表示部と、
    前記第1の領域を選択するための入力部と、
    前記入力部の操作に基づき選択された前記第1の領域に対応する前記字幕データを、前記画像データ上に重ねて、前記表示部に表示する制御部と
    を備え
    前記制御部は、前記字幕データを前記表示部に表示する際に、前記字幕データに対応する前記第2の領域が、前記表示部の表示範囲内に表示されるように、前記画像データを、拡大又は縮小して前記表示部に表示する
    コンテンツデータ表示装置。
  2. 前記制御部は、前記入力部による前記画像データの表示に対する操作後に、選択された前記第1の領域が、前記表示部の表示範囲内にあるか否かを監視し、選択された前記第1の領域が、前記表示部に表示されなくなると、前記第1の領域に対応する前記字幕データの表示を消す
    請求項1に記載のコンテンツデータ表示装置。
  3. 画像データと、前記画像データ上の第1の領域に対応付けられた字幕データと、を含むコンテンツデータを記憶する記憶部と、
    前記画像データを表示するための表示部と、
    前記第1の領域を選択するための入力部と、
    前記入力部の操作に基づき選択された前記第1の領域に対応する前記字幕データを、前記画像データ上に重ねて、前記表示部に表示する制御部と
    を備え、
    前記制御部は、前記入力部による前記画像データの表示に対する操作後に、選択された前記第1の領域が、前記表示部の表示範囲内にあるか否かを監視し、選択された前記第1の領域が、前記表示部に表示されなくなると、前記字幕データの表示を消す
    コンテンツデータ表示装置。
  4. 前記記憶部は、前記画像データと、前記画像データ上の前記第1の領域及び第2の領域に対応付けられた字幕データと、を含むコンテンツデータを記憶し、
    前記制御部は、前記字幕データを前記表示部に表示する際に、前記字幕データに対応する前記第2の領域が、前記表示部の表示範囲内に表示されるように、前記画像データを、拡大又は縮小して前記表示部に表示する
    請求項3に記載のコンテンツデータ表示装置。
  5. 前記第1の領域は、前記字幕データに対応する台詞が占める領域であり、
    前記第2の領域は、電子コミックにおけるコマが存在する領域である
    請求項1又は4に記載のコンテンツデータ表示装置。
  6. 前記制御部は、前記入力部の操作に基づき選択された前記第1の領域にマークを表示し、前記入力部による前記画像データの表示に対する操作後に、マーク箇所又は選択された前記第1の領域が、前記表示部の表示範囲内にあるか否かを監視し、マーク箇所又は選択された前記第1の領域が、前記表示部に表示されなくなると、前記字幕データの表示を消す
    請求項1乃至5のいずれかに記載のコンテンツデータ表示装置。
  7. コンテンツデータ表示装置により実施されるコンテンツデータ表示方法であって、
    画像データと、前記画像データ上の第1の領域及び第2の領域に対応付けられた字幕データと、を含むコンテンツデータを参照するステップと、
    前記画像データを表示画面に表示するステップと、
    入力操作に基づいて前記第1の領域を選択するステップと、
    選択された前記第1の領域に対応する前記字幕データを、前記画像データ上に重ねて、前記表示画面に表示する際に、前記字幕データに対応する前記第2の領域が、前記表示画面の表示範囲内に表示されるように、前記画像データを、拡大又は縮小して前記表示画面に表示するステップと
    を含む
    コンテンツデータ表示方法。
  8. 前記画像データの表示に対する操作後に、選択された前記第1の領域が、前記表示画面の表示範囲内にあるか否かを監視し、選択された前記第1の領域が、前記表示画面に表示されなくなると、前記第1の領域に対応する前記字幕データの表示を消すステップ
    を更に含む
    請求項7に記載のコンテンツデータ表示方法。
  9. コンテンツデータ表示装置により実施されるコンテンツデータ表示方法であって、
    画像データと、前記画像データ上の第1の領域に対応付けられた字幕データと、を含むコンテンツデータを参照するステップと、
    前記画像データを表示画面に表示するステップと、
    入力操作に基づいて前記第1の領域を選択するステップと、
    選択された前記第1の領域に対応する前記字幕データを、前記画像データ上に重ねて、前記表示画面に表示するステップと、
    前記画像データの表示に対する操作後に、選択された前記第1の領域が、前記表示画面の表示範囲内にあるか否かを監視し、選択された前記第1の領域が、前記表示画面に表示されなくなると、前記字幕データの表示を消すステップと
    を含む
    コンテンツデータ表示方法。
  10. 前記画像データと、前記画像データ上の前記第1の領域及び第2の領域に対応付けられた字幕データと、を含むコンテンツデータを参照するステップと、
    前記字幕データを前記表示画面に表示する際に、前記字幕データに対応する前記第2の領域が、前記表示画面の表示範囲内に表示されるように、前記画像データを、拡大又は縮小して前記表示画面に表示するステップと
    を更に含む
    請求項9に記載のコンテンツデータ表示方法。
  11. 前記第1の領域は、前記字幕データに対応する台詞が占める領域であり、
    前記第2の領域は、電子コミックにおけるコマが存在する領域である
    請求項7又は10に記載のコンテンツデータ表示方法。
  12. 選択された前記第1の領域にマークを表示するステップと、
    前記画像データの表示に対する操作後に、マーク箇所又は選択された前記第1の領域が、前記表示画面の表示範囲内にあるか否かを監視するステップと、
    マーク箇所又は選択された前記第1の領域が、前記表示画面に表示されなくなると、前記字幕データの表示を消すステップと
    を更に含む
    請求項7乃至11のいずれかに記載のコンテンツデータ表示方法。
  13. 請求項7乃至12のいずれかに記載のコンテンツデータ表示方法を、コンテンツデータ表示装置に実行させるためのプログラム。
JP2011155220A 2011-07-13 2011-07-13 コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム Active JP5376685B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011155220A JP5376685B2 (ja) 2011-07-13 2011-07-13 コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム
EP12176096A EP2547085A1 (en) 2011-07-13 2012-07-12 Electronic comic display device, method and program
US13/547,773 US8848103B2 (en) 2011-07-13 2012-07-12 Content data display device, content data display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011155220A JP5376685B2 (ja) 2011-07-13 2011-07-13 コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013020558A JP2013020558A (ja) 2013-01-31
JP5376685B2 true JP5376685B2 (ja) 2013-12-25

Family

ID=46754863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011155220A Active JP5376685B2 (ja) 2011-07-13 2011-07-13 コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム

Country Status (3)

Country Link
US (1) US8848103B2 (ja)
EP (1) EP2547085A1 (ja)
JP (1) JP5376685B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009816B1 (ko) * 2012-08-28 2019-08-12 삼성전자주식회사 화면 디스플레이 방법 및 장치
US9588675B2 (en) 2013-03-15 2017-03-07 Google Inc. Document scale and position optimization
US10002449B2 (en) * 2015-04-16 2018-06-19 Sap Se Responsive and adaptive chart controls
US20170365083A1 (en) * 2016-06-17 2017-12-21 Google Inc. Automatically identifying and displaying objects of interest in a graphic novel

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069622A (en) 1996-03-08 2000-05-30 Microsoft Corporation Method and system for generating comic panels
US6088064A (en) * 1996-12-19 2000-07-11 Thomson Licensing S.A. Method and apparatus for positioning auxiliary information proximate an auxiliary image in a multi-image display
JPH11110480A (ja) * 1997-07-25 1999-04-23 Kuraritec Corp テキストの表示方法およびその装置
FR2817429B1 (fr) * 2000-11-29 2003-01-31 Eastman Kodak Co Procede pour envoyer des images sur un terminal a faible capacite d'affichage
JP4666789B2 (ja) * 2001-02-26 2011-04-06 三洋電機株式会社 コンテンツ配信システムおよびコンテンツ配信サーバ
JP2002259111A (ja) * 2001-03-02 2002-09-13 Square Co Ltd 電子マンガ閲覧プログラム、記録媒体、閲覧方法及び装置
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP2003203242A (ja) 2002-01-07 2003-07-18 Sukaibanana Entertainment:Kk 電子漫画製造システム及び電子漫画製造方法
JP2004355235A (ja) * 2003-05-28 2004-12-16 Celsys:Kk マンガの表示方法およびマンガを表示する電子機器
US20050039138A1 (en) * 2003-08-13 2005-02-17 Aaron Urbina Method and system for displaying comic books and graphic novels on all sizes of electronic display screens.
US20060092291A1 (en) * 2004-10-28 2006-05-04 Bodie Jeffrey C Digital imaging system
JP2006172118A (ja) * 2004-12-15 2006-06-29 Toshiba Corp 画像管理サーバ、画像管理方法
JP2007035056A (ja) * 2006-08-29 2007-02-08 Ebook Initiative Japan Co Ltd 翻訳情報生成装置、翻訳情報生成方法並びにコンピュータプログラム
JP2008217696A (ja) * 2007-03-07 2008-09-18 Dainippon Printing Co Ltd コミックwebページデータ、および、コミック編集システム
US8346049B2 (en) * 2007-05-21 2013-01-01 Casio Hitachi Mobile Communications Co., Ltd. Captioned video playback apparatus and recording medium
JP4655065B2 (ja) * 2007-06-15 2011-03-23 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP2009098727A (ja) * 2007-10-12 2009-05-07 Taito Corp 画像表示装置、画像ビューアプログラム
US20090135438A1 (en) * 2007-11-28 2009-05-28 Dell Products L.P. Printing Device With Image Customization
JP2010102666A (ja) * 2008-10-27 2010-05-06 Business Search Technologies Corp テキストまたは画像の範囲指定方法および処理方法
JP5358759B2 (ja) * 2009-08-04 2013-12-04 健治 吉田 光学読み取り装置
JP5498808B2 (ja) 2010-01-28 2014-05-21 ルネサスエレクトロニクス株式会社 半導体装置の製造方法
JP5674451B2 (ja) * 2010-12-22 2015-02-25 富士フイルム株式会社 ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体

Also Published As

Publication number Publication date
EP2547085A1 (en) 2013-01-16
JP2013020558A (ja) 2013-01-31
US8848103B2 (en) 2014-09-30
US20130016281A1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
JP5987054B2 (ja) 文書操作のためのデバイス、方法及びグラフィカルユーザインタフェース
CN108279836B (zh) 产生屏幕上显示的显示视窗的捕获图像的方法、设备和介质
EP4012541A1 (en) Mobile terminal and object change support method for the same
US9747010B2 (en) Electronic content visual comparison apparatus and method
JP5862103B2 (ja) 電子黒板装置、画面表示方法およびプログラム
JP2015219738A (ja) コンテンツ表示装置、コンテンツ表示方法及びプログラム
JP2008250948A (ja) 情報処理装置、情報処理方法、情報処理プログラム、情報処理プログラムを記録した記憶媒体、並びに情報表示装置
JP2010061311A (ja) 情報処理装置並びにコンピューター・プログラム
JP2013114612A (ja) 表示制御装置、表示方法、制御プログラム、および記録媒体
US20160231905A1 (en) Multimedia apparatus and method for providing content
JP2012008686A (ja) 情報処理装置および方法、並びにプログラム
JP5376685B2 (ja) コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム
KR20170132776A (ko) 텍스트 선택 제어들에 대한 개선
JP6070116B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP5974740B2 (ja) 表示装置、および表示プログラム
JP5906344B1 (ja) 情報処理装置、情報表示プログラムおよび情報表示方法
US11609732B2 (en) Information processing device displaying database image in first display region and partial enlarged image in second display region
JP2022179604A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5512213B2 (ja) 参照表示システム、参照表示方法およびプログラム
JP2006053741A (ja) 付箋情報処理方法、付箋情報処理システム及び付箋情報処理プログラム
JP2014071755A (ja) 編集装置、編集装置の制御方法
JP5925096B2 (ja) 編集装置、編集装置の制御方法
JP2015106397A (ja) ウェブコンテンツ表示装置、ウェブコンテンツ表示装置の動作方法およびコンピュータプログラム
JP7228964B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6194383B2 (ja) 情報処理装置、情報表示プログラムおよび情報表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130920

R150 Certificate of patent or registration of utility model

Ref document number: 5376685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250