JPWO2015029554A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2015029554A1 JPWO2015029554A1 JP2015534048A JP2015534048A JPWO2015029554A1 JP WO2015029554 A1 JPWO2015029554 A1 JP WO2015029554A1 JP 2015534048 A JP2015534048 A JP 2015534048A JP 2015534048 A JP2015534048 A JP 2015534048A JP WO2015029554 A1 JPWO2015029554 A1 JP WO2015029554A1
- Authority
- JP
- Japan
- Prior art keywords
- line
- user
- image
- display
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/24—Generation of individual character patterns
- G09G5/26—Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
1.情報処理システムの基本構成
2.実施形態の詳細な説明
2−1.構成
2−2.動作
2−3.効果
3.変形例
本開示は、一例として「2.実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。以下では、まず、本開示による情報処理システムの基本構成について説明する。
情報処理装置10は、表示面30にメニュー画像40などの画像を表示させるための装置である。この情報処理装置10は、例えばテレビジョン受像機やディスプレイ装置などの表示装置であってもよい。
System)のデスクトップ画面など、各種の画像が挙げられる。また、背景画像は、文字や画像を含まない、例えば黒色や白色の一色の画面であってもよい。
Unit)150、ROM(Read Only Memory)152、RAM(Random Access Memory)154、内部バス156、インターフェース158、入力装置160、出力装置162、ストレージ装置164、および通信装置166を備える。
CPU150は、例えば各種処理回路などで構成され、情報処理装置10全体を制御する制御部100として機能する。また、CPU150は、情報処理装置10において、例えば、後述する視線特定部102、目視位置算出部104、視線距離算出部106、文字サイズ算出部108、表示制御部110、および入力判断部112の機能を実現する。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムなどを一時的に記憶する。
インターフェース158は、入力装置160、出力装置162、ストレージ装置164、および通信装置166を、内部バス156と接続する。例えば入力装置160は、このインターフェース158および内部バス156を介して、CPU150などとの間でデータをやり取りする。
入力装置160は、例えばタッチパネル、ボタン、マイクロフォン、およびスイッチなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU150に出力する入力制御回路などから構成されている。入力装置160は、例えば、後述する入力部122として機能する。
出力装置162は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting
Diode)装置およびランプなどの表示装置を含む。さらに、出力装置162は、スピーカーなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。また、音声出力装置は、音声データ等を音声に変換して出力する。この出力装置162は、例えば、後述する表示部124として機能する。
ストレージ装置164は、例えばCPU150が実行するプログラムや各種データを格納する、データ格納用の装置である。ストレージ装置164は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置166は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置166は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。通信装置166は、例えば、後述する通信部120として機能する。
カメラ20は、外部の映像を、レンズを通して例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。例えば、カメラ20は、レンズの前方に位置する利用者2や物体の画像を撮影する。
ところで、表示面30に表示されるメニュー画像40の表示サイズが仮に変化しないとすると、例えば利用者2の位置や利用者2の視線方向によって、メニュー画像40の視認性は変化する。例えば、利用者2と表示面30との間の距離が大きいほど、利用者2にはメニュー画像40がより小さく視認され、見難くなる。また、利用者2が表示面30を斜めの方向から見る場合の方が、正面から見る場合よりもメニュー画像40が小さく視認されるので、見難い。特にメニュー画像40に文字が含まれる場合において、文字の可読性が顕著に低下する。
<2−1.構成>
図3は、本実施形態による情報処理装置10の構成を示した機能ブロック図である。図3に示したように、情報処理装置10は、制御部100、通信部120、入力部122、および表示部124を有する。
制御部100は、情報処理装置10に内蔵されるCPU150、RAM154などのハードウェアを用いて、情報処理装置10の動作を全般的に制御する。また、図3に示したように、制御部100は、視線特定部102、目視位置算出部104、視線距離算出部106、文字サイズ算出部108、表示制御部110、および入力判断部112を有する。
(A.利用者2の位置の特定)
視線特定部102は、カメラ20による撮影画像に基づいて、利用者2の位置を特定する。より具体的には、視線特定部102は、カメラ20による撮影画像に基づいて、利用者2の目の位置を特定する。例えば、視線特定部102は、カメラ20による撮影画像から、例えば目、鼻、または顔の輪郭などの特徴点を抽出することにより、利用者2の顔を検出する。そして、視線特定部102は、例えば検出された利用者2の目と目の間の距離、または利用者2の顔の大きさなどに基づいて、カメラ20からの利用者2の相対的な位置を算出する。
また、視線特定部102は、カメラ20による撮影画像に基づいて、利用者2の視線方向を特定する。例えば、視線特定部102は、カメラ20による撮影画像から検出された利用者2の顔の画像に基づいて、利用者2の目を検出する。そして、視線特定部102は、検出された利用者2の目の画像に対してパターンマッチングを行うことにより、利用者2の視線方向を特定する。
なお、利用者2が表示面30に対して斜めの方向に位置している場合には、斜めに向いた顔の画像がカメラ20により撮影されるので、検出された利用者2の目の画像自体を用いてパターンマッチングを行うことは難しいという事情がある。このため、変形例として、視線特定部102は、パターンマッチングを行う前に、あらかじめ、例えば利用者2の顔の画像を正面を向いた画像へ変換するなど、画像の補正を行うことが可能である。
目視位置算出部104は、視線特定部102により特定された利用者2の目の位置、および利用者2の視線方向に基づいて、表示面30における利用者2の目視位置を算出する。ここで、目視位置は、例えば図5に示した座標(a,b)の点の位置のように、利用者2が表示面30において見ている位置、または見ている位置の近傍の領域である。
なお、一般的に、人間の目の形状は横長の楕円形であるため、視線特定部102により特定される視線方向に関しては、垂直方向の成分の方が水平方向の成分よりも確度が低くなる傾向がある。このため、変形例として、目視位置算出部104は、目視位置の垂直方向の座標値に関しては、上記の視線交点における垂直方向の座標値、および利用者2の頭(または目)の高さに基づいて算出してもよい。例えば、目視位置算出部104は、目視位置の垂直方向の座標値に関しては、上記の視線交点における垂直方向の座標値と、利用者2の頭(または目)の垂直方向の座標値とを、例えば0.5などの所定の係数により重み付き平均した値として算出する。
視線距離算出部106は、視線特定部102により特定された利用者2の目の位置と、利用者2の視線方向に基づいて表示面30において特定される点(以下、特定点とも称する)の位置との間の視線距離を算出する。ここで、特定点は、例えば、目視位置算出部104により算出される目視位置である。または、特定点は、水平方向に関しては目視位置と同じ座標値であり、垂直方向に関しては、視線特定部102により特定される利用者の目の高さの位置と同一または近傍の座標値である点であってもよい。または、特定点は、水平方向と垂直方向のうちいずれか一方に関して、あらかじめ定められた所定の座標値であり、いずれか他方に関しては目視位置と同じ座標値である点であってもよい。
文字サイズ算出部108は、メニュー画像40に含まれる文字のサイズを、視線距離算出部106により算出された視線距離に応じて算出する。より具体的には、文字サイズ算出部108は、視線距離が大きいほど、メニュー画像40に含まれる文字のサイズをより大きく算出する。
また、文字サイズ算出部108は、メニュー画像40が文字を含まない場合に関しても、上記の計算式(1)により、仮の文字サイズを算出することが可能である。
また、文字サイズ算出部108は、メニュー画像40に含まれる絵の最適サイズを、視線距離算出部106により算出された視線距離に応じて算出することも可能である。なお、計算式(1)における垂直視野角θの値に関しては、例えば、文字の場合と同様に、事前に複数の利用者2に対して行われたユーザテストにより、絵が最も見やすいと多数の利用者2により感じられた垂直視野角の値に設定されることが可能である。
なお、上記の計算式(1)によれば、視線距離dが小さくなるほど文字のサイズが小さく算出されるので、視線距離dがとても小さくなると文字が潰れて表示され、利用者2が読めなくなる恐れがある。このため、変形例3として、文字サイズ算出部108は、上記の計算式(1)により算出された文字サイズが、あらかじめ定められた所定のサイズよりも小さくなる場合には、所定のサイズを文字のサイズとして設定することも可能である。なお、所定のサイズは、例えば、表示面30の解像度、フォントの種類、または出力装置162の種類などに応じて設定されてもよい。
(A.メニュー画像40のサイズの決定)
表示制御部110は、視線距離算出部106により算出された視線距離に応じて、メニュー画像40のサイズを決定する。より具体的には、表示制御部110は、視線距離算出部106により算出された視線距離が大きいほど、メニュー画像40のサイズをより大きく決定することが可能である。
なお、メニュー画像40が複数のサイズの文字を含む場合には、表示制御部110は、メニュー画像40に含まれる最も小さい文字について文字サイズ算出部108により算出されたサイズに応じて、メニュー画像40のサイズを決定することが可能である。あるいは、表示制御部110は、メニュー画像40において利用者2に注目される可能性がより高い文字について文字サイズ算出部108により算出されたサイズに応じて、メニュー画像40のサイズを決定することが可能である。ここで、利用者2に注目される可能性が高い文字の例としては、メニュー画像40がテレビジョン番組表である場合におけるテレビジョン番組名であったり、メニュー画像40がwebページである場合におけるリンク先を示す文字列などが挙げられる。
また、メニュー画像40が文字を含まない場合に関しては、表示制御部110は、下記の2種類の方法のいずれかによりメニュー画像40のサイズを決定することが可能である。第1に、表示制御部110は、文字サイズ算出部108により例えば計算式(1)を用いて算出される(仮の)文字のサイズに応じて、メニュー画像40のサイズを決定することが可能である。第2に、表示制御部110は、文字サイズ算出部108により算出される、絵の最適サイズに応じてメニュー画像40のサイズを決定することが可能である。
なお、上記の決定例によれば、視線距離dが大きくなるほどメニュー画像40のサイズはより大きく算出されるので、視線距離dがとても大きくなるとメニュー画像40の一部が表示面30からはみ出してしまう恐れがある。このため、変形例3として、表示制御部110は、視線距離dに応じて算出されたメニュー画像40のサイズが所定のサイズよりも大きくなる場合には、メニュー画像40のサイズとして所定のサイズを決定することが可能である。なお、所定のサイズは、例えば、表示面30の大きさに応じて設定されてもよい。
(B−1.目視位置に表示)
また、表示制御部110は、決定したサイズでメニュー画像40を表示面30に表示させる。より具体的には、表示制御部110は、表示面30における、目視位置算出部104により算出された目視位置にメニュー画像40を表示させることが可能である。例えば、図8に示したように、表示制御部110は、メニュー画像40の中心位置を目視位置とするなど、メニュー画像40の表示領域に目視位置が含まれるようにメニュー画像40を表示させる。
ところで、例えば目の瞬きや姿勢の搖動などにより、一般的に、利用者2の視線方向は随時大きく変動するので、目視位置算出部104により算出される目視位置は随時大きく振動する傾向にある。このため、例えば利用者2によりメニュー画像40を表示させる操作がされた際において目視位置算出部104により算出された目視位置と、メニュー画像40が実際に表示される際に利用者2が見ている位置とは異なってしまう可能性が大きい。
但し、所定のフィルタの係数が強い場合には、例えば図9に示したように、利用者2の視線が移動されている状況において利用者2によりメニュー画像40を表示させる操作がなされた場合には、表示制御部110により算出された表示位置と、利用者2が表示面30において見ている位置とが大きく異なることも想定される。なお、図9は、メニュー画像40を表示させる操作がされてからメニュー画像40が表示されるまでに、利用者2の目視位置が図9において破線で示した領域46の内部まで移動されたことにより、メニュー画像40の表示位置と利用者2の目視位置とが大きくずれた例を示している。
また、別の変形例として、表示制御部110は、表示面30における所定の位置にメニュー画像40を表示させることも可能である。例えば、図10に示したように、表示制御部110は、垂直方向に関しては、例えば表示面30の垂直方向における中心から、表示面30の垂直方向の長さHに所定の係数αを乗じた値だけ低くした座標値などの所定の座標値であり、水平方向に関しては例えば目視位置と同じ座標値である点の位置にメニュー画像40を表示させてもよい。
また、変形例として、表示制御部110は、さらに、利用者に通知するための通知情報42を表示面30に表示させることが可能である。さらに、表示制御部110は、利用者2の目視位置の変化に応じて通知情報42の表示位置を移動させることも可能である。ここで、通知情報42は、例えば、情報処理装置10の異常などを通知するメッセージであったり、地震情報や緊急速報などであってもよい。または、通知情報42は、メニュー画像40のような、様々な形式の画像であってもよい。
また、変形例として、表示制御部110は、メニュー画像40に加えて、ポップアップ画像44を表示面30に表示させることも可能である。このポップアップ画像44は、例えばメニュー画像40において利用者2により選択された項目に関するコンテキストメニューなど、メニュー画像40に関する補助的な内容を表示するための画像である。
‐変形例1‐
また、変形例として、表示制御部110は、図13に示したように、メニュー画像40の輪郭を例えば明るい色のイルミネーションで囲って、メニュー画像40を表示させることも可能である。この変形例によれば、メニュー画像40の輪郭をより明確に利用者2に視認させることができるので、メニュー画像40の視認性が向上する。
また、別の変形例として、表示制御部110は、メニュー画像40の表示時において、図13に示したように、表示面30に表示される背景画像をより暗く表示させることが可能である。例えば、表示制御部110は、メニュー画像40の表示時において、背景画像全体に対して透過度50%程度の黒色の網掛けを重畳させる。この変形例によれば、特にメニュー画像40と背景画像とが似た階調の画像であったり、背景画像が明るい画像である場合などにおいて、メニュー画像40を背景画像よりも目立つように表示させることができる。このため、メニュー画像40の視認性が向上する。
入力判断部112は、例えば後述する通信部120により取得される入力情報に基づいて、利用者2の入力の内容を判断する。ここで、図14を参照して、上記の機能についてより詳細に説明する。図14は、メニュー画像40の呼び出し操作(S11)から、メニュー画像40における利用者2の選択操作(S14)までの、利用者2の操作の流れを示した説明図である。なお、図14では、長方形はリモートコントローラーを用いた利用者2の操作を、六角形は利用者2のジェスチャーによる操作を、ひし形は利用者2の視線による操作を、そして、楕円は利用者2の発声による操作をそれぞれ示している。
入力判断部112は、例えばメニュー画像40が表示されていない場合には、通信部120により取得される入力情報などに基づいて、利用者2によるメニュー画像40を呼び出す操作を判断する(S11)。図14に示したように、例えば、入力判断部112は、リモートコントローラーから受信された入力情報がリモートコントローラーのメニューボタンが押下されたことを示すことを認識した場合には、入力判断部112は、メニュー画像40を呼び出すことを判断する。また、入力判断部112は、カメラ20から随時受信される映像を画像認識し、そして、利用者2による手を横に繰り返し振る動作を認識した場合には、入力判断部112は、メニュー画像40を呼び出すことを判断する。また、入力判断部112は、入力部122に対して入力された音声を音声認識し、そして、所定の音声を認識した場合には、入力判断部112は、認識結果に対応するメニュー画像40を呼び出すことを判断する。例えば、入力判断部112は、「番組表を出して」という音声を認識した場合には、番組表に対応するメニュー画像40を呼び出すことを判断する。
また、入力判断部112は、S12の後において、例えば通信部120により取得された入力情報に基づいて、利用者2による、メニュー画像40に含まれる選択項目間を移動させる操作を判断する(S13)。図14に示したように、例えば、入力判断部112は、リモートコントローラーから受信された入力情報が、リモートコントローラーのカーソルボタンが押下されたことを示すことを認識した場合には、入力判断部112は、受信された入力情報に基づいて、利用者2による移動の指示内容を判断する。また、入力判断部112は、カメラ20から随時受信される映像を画像認識し、そして、利用者2による手の指を上下左右にフリックさせる動作を認識した場合には、入力判断部112は、認識された動作に基づいて、利用者2による移動の指示内容を判断する。また、入力判断部112は、カメラ20から随時受信される映像を画像認識し、そして、利用者2の視線方向の変化を認識した場合には、入力判断部112は、認識された視線方向の変化を、利用者2による移動の指示内容として判断する。
また、入力判断部112は、S12またはS13の後において、例えば通信部120により取得された入力情報に基づいて、利用者2による、例えばメニュー画像40の消去などの、メニュー画像40における選択操作を判断する(S14)。
また、S14の動作の変形例として、入力判断部112は、メニュー画像40の表示領域の中に、目視位置算出部104により算出された目視位置が含まれるか否かに基づいて、例えば通信部120により取得された入力情報が示す入力の内容を判断することが可能である。
通信部120は、本開示における取得部の一例である。通信部120は、有線通信または無線通信により、情報処理装置10と通信可能な各種の装置との間で情報を送受信する。例えば、通信部120は、カメラ20により撮像された画像をカメラ20から受信する。また、通信部120は、ボタンが押下されたことを示す入力情報をリモートコントローラーから受信する。
入力部122は、本開示における取得部の一例である。入力部122は、利用者2による情報処理装置10に対する各種の入力操作を受け付ける。例えば、入力部122は、利用者2による発声を受け付ける。
表示部124は、表示制御部110による制御に基づいて、例えばメニュー画像40や通知情報42などを表示面30に表示する。
以上、本実施形態による構成について説明した。続いて、本実施形態による動作について説明する。図16は、本実施形態による動作を示したフローチャートである。
以上、例えば図3〜図8、図16等を参照して説明したように、本実施形態による情報処理装置10は、利用者2の位置と、利用者2の視線方向に基づいて表示面30における特定点の位置との間の視線距離を算出し、そして、算出された視線距離に応じて、表示面30に表示されるメニュー画像40のサイズを決定する。このため、情報処理装置10は、視線距離の大きさに応じてメニュー画像40のサイズを決定するので、表示面30に表示されるメニュー画像40の視認性を確保することができる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本開示による情報処理システムは、1節で述べた構成に限定されない。例えば、本開示による情報処理システムは、図17に示したような構成として設計されることも可能である。図17に示したように、この変形例1による情報処理システムは、情報処理端末70、投影装置80、投影面90、およびカメラ20を含む。なお、カメラ20は、本実施形態によるカメラ20と同様である。
情報処理端末70は、本開示における情報処理装置の別の例である。情報処理端末70は、例えば利用者2の操作により、メニュー画像40などの画像を投影面90へ投影装置80に投影させる装置である。この情報処理端末70は、図3に示した情報処理装置10の構成要素を全て含むことが可能である。また、各構成要素の機能は、2−1節で述べた機能と概略同様である。なお、図17では、情報処理端末70がラップトップ型のPC(Personal Computer)である例を示しているが、かかる例に限定されない。例えば、情報処理端末70は、デスクトップ型のPC、スマートフォンなどの携帯電話、タブレット端末、PDA(Personal Digital Assistant)、デジタルカメラ、メガネ型コンピュータ、またはゲーム機などであってもよい。
投影装置80は、発光により画像を投影する装置である。この投影装置80は、情報処理端末70から画像データを受信する受信部と、受信された画像データに従って形成される画像を発光により投影する投影部と、を備える。なお、変形例として、投影装置80および情報処理端末70は、一体的に構成されてもよい。
投影面90は、本開示における画像表示面の別の例である。投影面90は、投影装置80により投影された画像を映し出す平面である。この投影面90は、例えばマットスクリーンなどの各種のスクリーン、建物の壁、または建物内の天井などであってもよい。
また、上記の説明では、本開示の実施形態による、例えば視線距離算出部106や表示制御部110などの、制御部100に含まれる各構成要素が情報処理装置10に備えられる例について説明したが、本開示はかかる例に限定されない。上述した制御部100に含まれる各構成要素は、情報処理装置10に備えられる代わりに、例えばサーバ装置などの、情報処理装置10と通信可能な通信装置に備えられてもよい。また、上述した制御部100に含まれる各構成要素と同等の機能を発揮させるためのコンピュータプログラムは、情報処理装置10に記憶される代わりに、上記の通信装置に記憶されてもよい。
(1)
利用者の位置と、前記利用者の視線方向に基づいて画像表示面において特定される点の位置との間の視線距離を算出する視線距離算出部と、
前記視線距離算出部により算出された視線距離に応じて、前記画像表示面に表示される表示画像のサイズを決定する表示制御部と、
を備える、情報処理装置。
(2)
前記情報処理装置は、前記利用者の位置および前記利用者の視線方向に基づいて、前記画像表示面における前記利用者の目視位置を、前記画像表示面において特定される点の位置として算出する目視位置算出部をさらに備える、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記目視位置算出部により算出された目視位置に前記表示画像を表示させる、前記(2)に記載の情報処理装置。
(4)
前記情報処理装置は、前記表示画像に含まれる文字のサイズを前記視線距離に応じて算出する文字サイズ算出部をさらに備え、
前記表示制御部は、前記文字サイズ算出部により算出された文字のサイズに応じて前記表示画像のサイズを決定する、前記(2)または(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記文字サイズ算出部により算出された文字のサイズが大きいほど、前記表示画像のサイズをより大きな値に決定する、前記(4)に記載の情報処理装置。(6)
前記文字サイズ算出部は、前記視線距離が大きいほど、前記表示画像に含まれる文字のサイズをより大きく算出する、前記(4)または(5)に記載の情報処理装置。
(7)
前記情報処理装置は、前記利用者の位置、および前記利用者の視線方向を特定する視線特定部をさらに備え、
前記目視位置算出部は、前記視線特定部による特定の結果に基づいて前記画像表示面における前記目視位置を算出する、前記(2)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記表示制御部は、さらに、利用者に通知するための通知情報を前記画像表示面に表示させ、
前記表示制御部は、前記目視位置の変化に応じて、前記通知情報の表示位置を移動させる、前記(2)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記情報処理装置は、利用者による入力情報を取得する取得部と、
前記画像表示面における前記表示画像の表示領域の中に、前記目視位置算出部により算出された目視位置が含まれるか否かに基づいて、前記取得部により取得された入力情報が示す入力の内容を判断する入力判断部と、をさらに備える、前記(2)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記入力判断部は、前記入力情報の取得時に、前記表示画像の表示領域の中に前記目視位置が含まれる場合には、前記入力情報が示す入力の内容が決定操作であると判断し、
前記入力判断部は、前記入力情報の取得時に、前記表示画像の表示領域の中に前記目視位置が含まれない場合には、前記入力情報が示す入力の内容が中止操作であると判断する、前記(9)に記載の情報処理装置。
(11)
利用者の位置と、前記利用者の視線方向に基づいて画像表示面において特定される点の位置との間の視線距離を算出することと、
算出された視線距離に応じて、前記画像表示面に表示される表示画像のサイズをプロセッサにより決定することと、
を備える、情報処理方法。
(12)
コンピュータを、
利用者の位置と、前記利用者の視線方向に基づいて画像表示面において特定される点の位置との間の視線距離を算出する視線距離算出部と、
前記視線距離算出部により算出された視線距離に応じて、前記画像表示面に表示される表示画像のサイズを決定する表示制御部、
として機能させるための、プログラム。
10 情報処理装置
20 カメラ
70 情報処理端末
80 投影装置
90 投影面
100 制御部
102 視線特定部
104 目視位置算出部
106 視線距離算出部
108 文字サイズ算出部
110 表示制御部
112 入力判断部
120 通信部
122 入力部
124 表示部
150 CPU
152 ROM
154 RAM
156 内部バス
158 インターフェース
160 入力装置
162 出力装置
164 ストレージ装置
166 通信装置
Claims (12)
- 利用者の位置と、前記利用者の視線方向に基づいて画像表示面において特定される点の位置との間の視線距離を算出する視線距離算出部と、
前記視線距離算出部により算出された視線距離に応じて、前記画像表示面に表示される表示画像のサイズを決定する表示制御部と、
を備える、情報処理装置。 - 前記情報処理装置は、前記利用者の位置および前記利用者の視線方向に基づいて、前記画像表示面における前記利用者の目視位置を、前記画像表示面において特定される点の位置として算出する目視位置算出部をさらに備える、請求項1に記載の情報処理装置。
- 前記表示制御部は、前記目視位置算出部により算出された目視位置に前記表示画像を表示させる、請求項2に記載の情報処理装置。
- 前記情報処理装置は、前記表示画像に含まれる文字のサイズを前記視線距離に応じて算出する文字サイズ算出部をさらに備え、
前記表示制御部は、前記文字サイズ算出部により算出された文字のサイズに応じて前記表示画像のサイズを決定する、請求項2に記載の情報処理装置。 - 前記表示制御部は、前記文字サイズ算出部により算出された文字のサイズが大きいほど、前記表示画像のサイズをより大きな値に決定する、請求項4に記載の情報処理装置。
- 前記文字サイズ算出部は、前記視線距離が大きいほど、前記表示画像に含まれる文字のサイズをより大きく算出する、請求項4に記載の情報処理装置。
- 前記情報処理装置は、前記利用者の位置、および前記利用者の視線方向を特定する視線特定部をさらに備え、
前記目視位置算出部は、前記視線特定部による特定の結果に基づいて前記画像表示面における前記目視位置を算出する、請求項2に記載の情報処理装置。 - 前記表示制御部は、さらに、利用者に通知するための通知情報を前記画像表示面に表示させ、
前記表示制御部は、前記目視位置の変化に応じて、前記通知情報の表示位置を移動させる、請求項2に記載の情報処理装置。 - 前記情報処理装置は、利用者による入力情報を取得する取得部と、
前記画像表示面における前記表示画像の表示領域の中に、前記目視位置算出部により算出された目視位置が含まれるか否かに基づいて、前記取得部により取得された入力情報が示す入力の内容を判断する入力判断部と、をさらに備える、請求項2に記載の情報処理装置。 - 前記入力判断部は、前記入力情報の取得時に、前記表示画像の表示領域の中に前記目視位置が含まれる場合には、前記入力情報が示す入力の内容が決定操作であると判断し、
前記入力判断部は、前記入力情報の取得時に、前記表示画像の表示領域の中に前記目視位置が含まれない場合には、前記入力情報が示す入力の内容が中止操作であると判断する、請求項9に記載の情報処理装置。 - 利用者の位置と、前記利用者の視線方向に基づいて画像表示面において特定される点の位置との間の視線距離を算出することと、
算出された視線距離に応じて、前記画像表示面に表示される表示画像のサイズをプロセッサにより決定することと、
を備える、情報処理方法。 - コンピュータを、
利用者の位置と、前記利用者の視線方向に基づいて画像表示面において特定される点の位置との間の視線距離を算出する視線距離算出部と、
前記視線距離算出部により算出された視線距離に応じて、前記画像表示面に表示される表示画像のサイズを決定する表示制御部、
として機能させるための、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013181227 | 2013-09-02 | ||
JP2013181227 | 2013-09-02 | ||
PCT/JP2014/066201 WO2015029554A1 (ja) | 2013-09-02 | 2014-06-18 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015029554A1 true JPWO2015029554A1 (ja) | 2017-03-02 |
JP6421754B2 JP6421754B2 (ja) | 2018-11-14 |
Family
ID=52586133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015534048A Active JP6421754B2 (ja) | 2013-09-02 | 2014-06-18 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10379610B2 (ja) |
EP (1) | EP3043343A4 (ja) |
JP (1) | JP6421754B2 (ja) |
CN (1) | CN105474303B (ja) |
WO (1) | WO2015029554A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016163150A (ja) * | 2015-02-27 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、通信方法及びプログラム |
CN109479125A (zh) * | 2016-07-14 | 2019-03-15 | 三星电子株式会社 | 具有增强的颜色和对比度的投影系统 |
EP3542705B1 (en) * | 2016-12-28 | 2020-07-29 | JVC Kenwood Corporation | Visual function examination device, visual function examination method, and computer program |
JP6426225B2 (ja) * | 2017-04-05 | 2018-11-21 | シャープ株式会社 | 表示装置、テレビジョン受像機、表示制御方法、表示制御プログラム、および記録媒体 |
WO2018205055A1 (zh) * | 2017-05-07 | 2018-11-15 | 深圳市卓希科技有限公司 | 一种图像处理方法和系统 |
KR102011887B1 (ko) * | 2017-11-30 | 2019-08-20 | 주식회사 꿀비 | 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 |
CN108989571B (zh) * | 2018-08-15 | 2020-06-19 | 浙江大学滨海产业技术研究院 | 一种针对手机文字阅读的自适应字体调整方法及装置 |
JP7215254B2 (ja) * | 2019-03-13 | 2023-01-31 | 株式会社リコー | 情報処理装置、表示制御方法、及びプログラム |
US11259081B2 (en) * | 2020-02-28 | 2022-02-22 | Rovi Guides, Inc. | Systems and methods for adaptively modifying presentation of media content |
JP7296069B2 (ja) * | 2021-01-28 | 2023-06-22 | 独立行政法人国立高等専門学校機構 | 視線入力装置、および視線入力方法 |
US11914646B1 (en) * | 2021-09-24 | 2024-02-27 | Apple Inc. | Generating textual content based on an expected viewing angle |
JP7316344B2 (ja) * | 2021-11-30 | 2023-07-27 | 株式会社ドワンゴ | アラート表示システム、アラート表示方法、およびアラート表示プログラム |
CN117075740B (zh) * | 2023-10-16 | 2024-05-24 | 深圳市宝视达光电有限公司 | 一种电子白板版面自动调整方法、装置和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04199090A (ja) * | 1990-11-29 | 1992-07-20 | Hitachi Ltd | 高精細ディスプレイ装置 |
JP2000138872A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
JP2004185007A (ja) * | 2002-12-02 | 2004-07-02 | Sony Internatl Europ Gmbh | 表示装置の制御方法 |
US20050030322A1 (en) * | 1998-06-25 | 2005-02-10 | Gardos Thomas R. | Perceptually based display |
JP2006030615A (ja) * | 2004-07-16 | 2006-02-02 | Mitsubishi Motors Corp | 車載モニタ表示装置,車両用文字情報提供装置及びそれらから成る車両用文字情報表示システム |
JP2008096776A (ja) * | 2006-10-13 | 2008-04-24 | Konami Digital Entertainment:Kk | 表示装置、表示方法、ならびに、プログラム |
JP2008306509A (ja) * | 2007-06-08 | 2008-12-18 | Sharp Corp | 表示装置 |
JP2009042187A (ja) * | 2007-08-10 | 2009-02-26 | Aisin Aw Co Ltd | ナビゲーション装置、及びナビゲーションプログラム |
WO2010089989A1 (ja) * | 2009-02-05 | 2010-08-12 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09274144A (ja) * | 1996-04-02 | 1997-10-21 | Canon Inc | 画像表示装置 |
US6392657B1 (en) * | 1998-11-13 | 2002-05-21 | E-Color, Inc. | Method and apparatus for characterizing an optimal viewing angle of flat display |
JP3407298B2 (ja) * | 2000-08-18 | 2003-05-19 | 日本電信電話株式会社 | 文書表示方法、装置、および文書表示プログラムを記録した記録媒体 |
JP4795149B2 (ja) * | 2005-08-15 | 2011-10-19 | キヤノン株式会社 | 情報処理装置及び情報処理方法及びプログラム及び記憶媒体 |
US7591558B2 (en) * | 2006-05-31 | 2009-09-22 | Sony Ericsson Mobile Communications Ab | Display based on eye information |
JP4310330B2 (ja) * | 2006-09-26 | 2009-08-05 | キヤノン株式会社 | 表示制御装置及び表示制御方法 |
JP4970122B2 (ja) * | 2007-04-20 | 2012-07-04 | 株式会社ニデック | 視力検査装置 |
JP5433935B2 (ja) | 2007-07-24 | 2014-03-05 | 日本電気株式会社 | 画面表示制御方法、画面表示制御方式、電子機器及びプログラム |
US8209635B2 (en) * | 2007-12-20 | 2012-06-26 | Sony Mobile Communications Ab | System and method for dynamically changing a display |
US8115877B2 (en) * | 2008-01-04 | 2012-02-14 | International Business Machines Corporation | System and method of adjusting viewing angle for display based on viewer positions and lighting conditions |
US20090239591A1 (en) * | 2008-03-19 | 2009-09-24 | Motorola Inc | Wireless communication device and method with an orientation detector |
US20110032274A1 (en) | 2008-04-10 | 2011-02-10 | Pioneer Corporation | Screen display system and screen display program |
JP5423183B2 (ja) * | 2009-07-03 | 2014-02-19 | ソニー株式会社 | 表示制御装置および表示制御方法 |
US8762846B2 (en) * | 2009-11-16 | 2014-06-24 | Broadcom Corporation | Method and system for adaptive viewport for a mobile device based on viewing angle |
JP2015039052A (ja) * | 2009-12-29 | 2015-02-26 | シャープ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2011158511A1 (ja) | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
JP2013120347A (ja) * | 2011-12-08 | 2013-06-17 | Samsung Yokohama Research Institute Co Ltd | 画像表示システム及び画像表示方法 |
CN103207664B (zh) * | 2012-01-16 | 2016-04-27 | 联想(北京)有限公司 | 一种图像处理方法和设备 |
US9423870B2 (en) * | 2012-05-08 | 2016-08-23 | Google Inc. | Input determination method |
CN102830796B (zh) * | 2012-06-29 | 2016-08-03 | 广东威创视讯科技股份有限公司 | 在显示设备中动态确定窗口位置的方法及装置 |
JP6099948B2 (ja) * | 2012-11-28 | 2017-03-22 | 京セラ株式会社 | 電子機器及び制御プログラム並びに表示制御方法 |
US20140247208A1 (en) * | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Invoking and waking a computing device from stand-by mode based on gaze detection |
US9348411B2 (en) * | 2013-05-24 | 2016-05-24 | Microsoft Technology Licensing, Llc | Object display with visual verisimilitude |
-
2014
- 2014-06-18 US US14/915,634 patent/US10379610B2/en active Active
- 2014-06-18 EP EP14840503.8A patent/EP3043343A4/en not_active Ceased
- 2014-06-18 CN CN201480046926.2A patent/CN105474303B/zh active Active
- 2014-06-18 JP JP2015534048A patent/JP6421754B2/ja active Active
- 2014-06-18 WO PCT/JP2014/066201 patent/WO2015029554A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04199090A (ja) * | 1990-11-29 | 1992-07-20 | Hitachi Ltd | 高精細ディスプレイ装置 |
US20050030322A1 (en) * | 1998-06-25 | 2005-02-10 | Gardos Thomas R. | Perceptually based display |
JP2000138872A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
JP2004185007A (ja) * | 2002-12-02 | 2004-07-02 | Sony Internatl Europ Gmbh | 表示装置の制御方法 |
JP2006030615A (ja) * | 2004-07-16 | 2006-02-02 | Mitsubishi Motors Corp | 車載モニタ表示装置,車両用文字情報提供装置及びそれらから成る車両用文字情報表示システム |
JP2008096776A (ja) * | 2006-10-13 | 2008-04-24 | Konami Digital Entertainment:Kk | 表示装置、表示方法、ならびに、プログラム |
JP2008306509A (ja) * | 2007-06-08 | 2008-12-18 | Sharp Corp | 表示装置 |
JP2009042187A (ja) * | 2007-08-10 | 2009-02-26 | Aisin Aw Co Ltd | ナビゲーション装置、及びナビゲーションプログラム |
WO2010089989A1 (ja) * | 2009-02-05 | 2010-08-12 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3043343A1 (en) | 2016-07-13 |
US10379610B2 (en) | 2019-08-13 |
EP3043343A4 (en) | 2017-04-05 |
WO2015029554A1 (ja) | 2015-03-05 |
CN105474303A (zh) | 2016-04-06 |
JP6421754B2 (ja) | 2018-11-14 |
US20160231809A1 (en) | 2016-08-11 |
CN105474303B (zh) | 2018-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6421754B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11315336B2 (en) | Method and device for editing virtual scene, and non-transitory computer-readable storage medium | |
US10762876B2 (en) | Information processing apparatus and control method | |
CN109683716B (zh) | 基于眼睛跟踪的可见度提高方法和电子装置 | |
AU2013205535B2 (en) | Apparatus and method of controlling mobile terminal based on analysis of user's face | |
US20180240213A1 (en) | Information processing system, information processing method, and program | |
JP6417787B2 (ja) | 表示装置、伝送システムおよび伝送方法 | |
US9900568B2 (en) | Remote communication system, method for controlling remote communication system, and storage medium | |
KR20140012757A (ko) | 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진 | |
US20170371524A1 (en) | Information processing apparatus, picture processing method, and program | |
KR102061867B1 (ko) | 이미지 생성 장치 및 그 방법 | |
US20200042105A1 (en) | Information processing apparatus, information processing method, and recording medium | |
US11023050B2 (en) | Display control device, display control method, and computer program | |
JP2016213674A (ja) | 表示制御システム、表示制御装置、表示制御方法、及びプログラム | |
JP2019159261A (ja) | 電子黒板、映像表示方法、プログラム | |
US11112961B2 (en) | Information processing system, information processing method, and program for object transfer between devices | |
CN110086921B (zh) | 终端性能状态的检测方法、装置、便携式终端和存储介质 | |
KR102435737B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
TW201337644A (zh) | 資訊處理裝置、資訊處理方法、及記錄媒體 | |
JP6737968B1 (ja) | 歩行者信号識別装置 | |
JP2014048775A (ja) | 注視位置特定装置、および注視位置特定プログラム | |
CN108540726B (zh) | 连拍图像的处理方法、装置、存储介质及终端 | |
US9420012B2 (en) | Computer readable recording medium, communication terminal device and teleconferencing method | |
WO2018179972A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2020154071A (ja) | 表示制御装置、表示制御方法、プログラムおよび表示制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181001 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6421754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |