JP5529789B2 - Information presentation system - Google Patents
Information presentation system Download PDFInfo
- Publication number
- JP5529789B2 JP5529789B2 JP2011069863A JP2011069863A JP5529789B2 JP 5529789 B2 JP5529789 B2 JP 5529789B2 JP 2011069863 A JP2011069863 A JP 2011069863A JP 2011069863 A JP2011069863 A JP 2011069863A JP 5529789 B2 JP5529789 B2 JP 5529789B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- interface
- user
- presentation
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、情報を提示するとともに提示する情報に対して入力を行なうことができる情報提示システムに関するものである。 The present invention relates to an information presentation system capable of presenting information and inputting information to be presented.
従来、車両を運転しているドライバに対して情報を提示する情報提示システムが提案されている。このような情報提示システムにおいて、特に、複数のエージェントによる雑談(会話)の形式で、複数の情報を連鎖的に提示するという雑談形式の情報提示システムがある(例えば、特許文献1参照)。 Conventionally, an information presentation system for presenting information to a driver driving a vehicle has been proposed. Among such information presentation systems, there is a chat-type information presentation system that presents a plurality of information in a chained manner, particularly in the form of a chat (conversation) by a plurality of agents (see, for example, Patent Document 1).
この雑談形式の情報提示システムでは、例えば、「この辺りはお店が増えてきたよねぇ」、「この近くに評判のいいイタリアンレストランができたんだよ」、「あそこは、若い夫婦で経営しているらしいよ」、・・・というように、エージェントの間で会話が進行していくという形式で、情報が連鎖的に提示される。 In this chat-style information presentation system, for example, “There are more shops around here”, “There is a popular Italian restaurant near here,” “That is run by a young couple. Information is presented in a chained fashion in the form of conversation between agents.
情報提示システムのユーザであるドライバは、エージェントによる雑談を聞いていれば情報を取得でき、情報を得るために情報提示システムに対して問いかけをする必要はなく、情報提示システムからの問いかけに応答する必要もない。従って、このような雑談形式の情報提示システムは、車両における情報提示のように、運転に注意を払わなければならないドライバに対する情報提示に適している。 A driver who is a user of an information presentation system can acquire information if he / she listens to a chat by an agent, and does not need to ask the information presentation system to obtain information, but responds to the inquiry from the information presentation system. There is no need. Therefore, such a chat-type information presentation system is suitable for information presentation to a driver who has to pay attention to driving like information presentation in a vehicle.
このように、雑談形式の情報提示システムによれば、ユーザは、問いかけや応答を強要されないものであるが、ユーザがより有用な情報を得るために、ユーザが入力をすることも可能である。この入力とは、ユーザが、エージェントの会話に介入することで、自らが望む情報が得られるように、エージェントによる会話の発展方向を誘導するための入力である。このような入力を行なうことで、ユーザは、エージェントによる会話に興味を覚えた場合には、その会話を自らが望む方向に発展させることができ、ユーザにとってより有用な情報を得ることができる。 Thus, according to the chat-type information presentation system, the user is not forced to ask or respond, but the user can also input in order to obtain more useful information. This input is an input for guiding the development direction of the conversation by the agent so that the user can obtain desired information by intervening in the conversation of the agent. By performing such input, when the user is interested in the conversation by the agent, the conversation can be developed in the direction desired by the user, and more useful information for the user can be obtained.
なお、本発明に関連する先行技術が記載された文献として、以下の先行技術文献がある。 Note that the following prior art documents are listed as documents describing the prior art related to the present invention.
しかしながら、従来の雑談形式の情報提示システムでは、エージェントによる会話が展開されているときに、その会話にはユーザに対する直接の問いかけがないので、ユーザにとっては、自らが介入可能(即ち、自らの入力が可能)なタイミングがわかりにくい。 However, in the conventional chat-type information presentation system, when the conversation by the agent is being developed, since the conversation does not directly ask the user, the user can intervene (that is, the user's own input). The timing is difficult to understand.
また、従来の雑談形式の情報提示システムを車両のドライバ向けの情報提示システムとして応用する場合には、ユーザであるドライバの運転の安全を確保する観点から、ユーザの入力操作の負担を軽減するために、ユーザからの入力を音声による入力とすることが考えられる。しかしながら、音声認識技術の不完全さから、車内のようなノイズの多い環境で精度の高い音声入力を実現することは困難である。 In addition, when applying the conventional chat-type information presentation system as an information presentation system for a vehicle driver, in order to reduce the burden of the user's input operation from the viewpoint of ensuring the safety of driving of the driver as a user. In addition, it is conceivable that the input from the user is input by voice. However, due to the imperfection of speech recognition technology, it is difficult to realize highly accurate speech input in a noisy environment such as in a car.
本発明は、上記の問題に鑑みてなされたものであり、連鎖的に提供される情報に対してユーザが入力可能なタイミングを知ることができるとともに、精度よく、かつ小さい操作負担で、入力を行なうことができる情報提示システムを提供することを目的とする。 The present invention has been made in view of the above problems, and can know the timing at which a user can input information that is provided in a chained manner, and can perform input with high accuracy and with a small operation burden. An object is to provide an information presentation system that can be performed.
本発明の情報提示システムは、ユーザに情報を連鎖的に提供する情報提供システムであって、自ら形状を変化させることが可能であり、かつユーザによる機械的な入力が可能である変形インターフェースと、前記変形インターフェースに形状を変化させるよう制御するインターフェース形状制御部と、ユーザに提供する情報を保存するための提示情報保存部と、前記情報を提示する情報提示部と、前記提示情報保存部に保存された情報のいずれを前記情報提示部にて提示するかを管理する提示情報管理部とを備え、前記インターフェース形状制御部は、前記提示情報管理部が前記情報提示部に提示させる情報の中に、情報の分岐点が存在する場合に、前記変形インターフェースの形状を変化させることによって、前記情報の分岐点の存在をユーザに伝達する構成を有している。 The information presentation system of the present invention is an information providing system that provides information to a user in a chain, a deformable interface that can change its own shape and can be mechanically input by the user, An interface shape control unit that controls the deformed interface to change its shape, a presentation information storage unit that stores information to be provided to the user, an information presentation unit that presents the information, and a storage in the presentation information storage unit A presentation information management unit that manages which of the information presented by the information presentation unit, and the interface shape control unit includes the information presented by the presentation information management unit in the information presentation unit. When the information branch point exists, the presence of the information branch point is changed by changing the shape of the deformation interface. It has a configuration that transmits to The.
この構成によれば、連鎖的に提供される情報において、情報の分岐点が存在する場合に、変形インターフェースの形状が変化するので、ユーザは、情報の分岐点に対して入力が可能であることを知ることができるとともに、変形インターフェースに対して機械的に入力を行なうことができるので、精度よく入力を行なうことができる。 According to this configuration, in the information provided in a chain, when the information branch point exists, the shape of the deformed interface changes, so that the user can input to the information branch point. In addition, it is possible to input information with high accuracy because it is possible to input mechanically to the deformation interface.
また、本発明の情報提示システムにおいて、前記変形インターフェースは、前記機械的な入力が有効である入力有効領域と前記機械的な入力が有効でない入力無効領域とを区別できるように、形状を変化させてよい。 In the information presentation system of the present invention, the deformation interface changes the shape so that the input valid area where the mechanical input is valid and the input invalid area where the mechanical input is not valid can be distinguished. It's okay.
この構成によれば、ユーザは、形状が変化した変形インターフェースに触れるだけで、入力有効領域を知ることができ、小さい操作負担で入力を行なうことができる。 According to this configuration, the user can know the input effective area simply by touching the deformed interface whose shape has changed, and can perform input with a small operation burden.
また、本発明の情報提示システムにおいて、前記インターフェース形状制御部は、前記情報の分岐点の内容に基づいて、前記変形インターフェースの形状を変化させてよい。 Moreover, the information presentation system of this invention WHEREIN: The said interface shape control part may change the shape of the said deformation | transformation interface based on the content of the branch point of the said information.
この構成によれば、分岐点の内容に基づいて変形インターフェースの形状が変化するので、ユーザは、変形インターフェースに触れるだけで分岐点の内容(例えば、選択肢の内容や種類)を判断できる。例えば、分岐点が左右の分岐を示す場合には、変形インターフェースの左右にそれぞれ入力有効領域となる突出部を形成してよい。 According to this configuration, since the shape of the deformation interface changes based on the content of the branch point, the user can determine the content of the branch point (for example, the content or type of the option) simply by touching the deformation interface. For example, when the branch point indicates left and right branches, protrusions serving as input effective areas may be formed on the left and right sides of the deformation interface, respectively.
また、本発明の情報提示システムは、前記変形インターフェースに対するユーザの入力を処理部する入力処理部をさらに備えていてよく、前記インターフェース形状制御部は、前記入力処理部にてユーザによる前記入力を受け付けたときに、当該入力の内容に応じて、前記変形インターフェースを別の形状に変化させてよい。 In addition, the information presentation system of the present invention may further include an input processing unit that processes a user input to the modified interface, and the interface shape control unit receives the input by the user at the input processing unit. The deformation interface may be changed to another shape according to the contents of the input.
この構成によれば、ユーザに、階層構造によって段階的に入力を行なわせることができる。例えば、ユーザに、最初に音量調節及び周波数調整のいずれかを選択する入力を行わせ、音量調節が選択された場合に、次に上下にそれぞれ入力有効領域となる突出部を形成することで音量の大小を入力させることができ、周波数調整が選択された場合に、次に左右にそれぞれ入力有効領域となる突出部を形成させることで周波数を調整させることができる。 According to this configuration, it is possible to cause the user to perform input step by step according to the hierarchical structure. For example, when the user first performs an input to select either volume adjustment or frequency adjustment, and volume adjustment is selected, the volume is then formed by forming protrusions that are input effective areas above and below, respectively. When the frequency adjustment is selected, the frequency can be adjusted by forming protrusions that will be input effective regions on the left and right sides respectively.
また、本発明の情報提示システムは、ユーザの指の位置を検知する指位置検知部をさらに備えていてよく、前記提示情報管理部は、前記指位置検知部にて検知されたユーザの指の位置が前記入力有効領域にあるときに、当該入力有効領域に対応する説明を前記情報提示部に提示させてよい。 The information presentation system of the present invention may further include a finger position detection unit that detects the position of the user's finger, and the presentation information management unit is configured to detect the user's finger detected by the finger position detection unit. When the position is in the input effective area, an explanation corresponding to the input effective area may be presented to the information presentation unit.
この構成によれば、ユーザは、変形インターフェースに入力有効領域が形成された場合に、そこに指を触れるだけで、その入力有効領域を操作することがどのような意味の入力をすることになるかを知ることができる。これによって、ユーザが車両を運転しているドライバである場合には、安全運転への影響を軽減できる。 According to this configuration, when an input effective area is formed in the deformed interface, the user inputs what kind of meaning is to operate the input effective area simply by touching the finger there. Can know. Thereby, when the user is a driver driving a vehicle, the influence on safe driving can be reduced.
また、本発明の情報提示システムは、ユーザの指の位置を検知する指位置検知部をさらに備えていてよく、前記インターフェース形状制御部は、前記指位置検知部にて検知されたユーザの指の位置に応じて前記変形インターフェースの形状を変化させてよい。 The information presentation system of the present invention may further include a finger position detection unit that detects the position of the user's finger, and the interface shape control unit is configured to detect the user's finger detected by the finger position detection unit. The shape of the deformation interface may be changed according to the position.
この構成によれば、ユーザの指を中心とした位置に複数の入力有効領域を形成することができ、ユーザの入力操作負荷を軽減できる。 According to this configuration, a plurality of effective input areas can be formed at a position centered on the user's finger, and the input operation load on the user can be reduced.
また、本発明の情報提示システムは、ユーザの指の位置を検知する指位置検知部をさらに備えていてよく、前記インターフェース形状制御部は、前記指位置検知部にて検知されたユーザの指の位置に基づいて、前記ユーザの指を前記入力有効領域に誘導するように、前記変形インターフェースの形状を変化させてよい。 The information presentation system of the present invention may further include a finger position detection unit that detects the position of the user's finger, and the interface shape control unit is configured to detect the user's finger detected by the finger position detection unit. Based on the position, the shape of the deformation interface may be changed to guide the user's finger to the input effective area.
この構成によれば、ユーザは、変形インターフェースを目視で確認しなくても、指を変形インターフェースにおいてどの方向にずらせば入力有効領域に近づくことができるのかを知ることができる。 According to this configuration, the user can know which direction the input effective area can be approached by shifting the finger in the deformation interface without visually confirming the deformation interface.
また、本発明の情報提示システムにおいて、前記情報提供システムは、車両に搭載される車載システムとして用いられてよく、前記提示情報管理部は、前記車両の位置及び前記車両のナビゲーションシステムの処理に基づいて、前記提示情報保存部に保存された情報の中から提示する情報を選択して前記情報提示部に提示させてよい。 In the information presentation system of the present invention, the information providing system may be used as an in-vehicle system mounted on a vehicle, and the presentation information management unit is based on the position of the vehicle and the processing of the navigation system of the vehicle. Then, information to be presented may be selected from the information stored in the presentation information storage unit and presented to the information presentation unit.
この構成によれば、前記車両の位置及び前記車両のナビゲーションシステムの処理に基づいて選択された情報が提示されるとともに、提供される情報に分岐点が存在する場合に、変形インターフェースの形状が変化するので、ユーザは、情報の分岐点に対して入力が可能であることを知ることができるとともに、変形インターフェースに対して機械的に入力を行なうことができるので、精度よく入力を行なうことができる。 According to this configuration, the information selected based on the position of the vehicle and the processing of the navigation system of the vehicle is presented, and the shape of the deformation interface changes when there is a branch point in the provided information. Therefore, the user can know that input can be made to the information branch point and can input mechanically to the deformation interface, so that the input can be made with high accuracy. .
また、本発明の情報提示システムは、前記情報提供システムは、さらにユーザの運転負荷を検知する運転負荷検知部を備えていてよく、前記インターフェース形状制御部は、前記運転負荷検知部にて検知した運転負荷が所定の閾値をより大きい場合には、前記変形インターフェースの形状を変化させないようにしてよい。 In the information presentation system of the present invention, the information providing system may further include a driving load detection unit that detects a driving load of the user, and the interface shape control unit is detected by the driving load detection unit. When the operating load exceeds a predetermined threshold, the shape of the deformation interface may not be changed.
この構成によれば、車両を運転するユーザの運転負荷が大きい場合には変形インターフェースの形状が変化しないので、安全運転への影響を軽減できる。 According to this configuration, since the shape of the deformation interface does not change when the driving load on the user who drives the vehicle is large, the influence on safe driving can be reduced.
また、本発明の情報提示システムにおいて、前記変形インターフェースは、前記車両のステアリングに設けられてよい。 Moreover, the information presentation system of this invention WHEREIN: The said deformation | transformation interface may be provided in the steering of the said vehicle.
この構成によれば、ユーザは、ステアリングから手を離すことなく入力を行なうことができるので、安全運転への影響を軽減できる。 According to this configuration, the user can input without taking his hand off the steering wheel, and thus the influence on safe driving can be reduced.
また、本発明の情報提示システムにおいて、前記インターフェース形状制御は、前記車両のステアリングの回転角度に応じた形状に、前記変形インターフェースの形状を変化させてよい。 In the information presentation system of the present invention, the interface shape control may change the shape of the deformed interface to a shape corresponding to a rotation angle of the steering of the vehicle.
この構成によれば、ユーザがステアリングを回転させたときに、操作しにくい位置を避けて入力有効領域を形成するなど、安全運転への影響を軽減するように変形インターフェースを変形させることができる。 According to this configuration, when the user rotates the steering wheel, the deformation interface can be deformed so as to reduce the influence on the safe driving, such as forming an input effective area while avoiding a position that is difficult to operate.
また、本発明の情報提示システムにおいて、前記インターフェース形状制御部は、所定の時間内に複数の分岐点が存在した場合には、前記変形インターフェースを前記複数の分岐点の内容に応じた複数通りの形状に順に変化させてよい。 Further, in the information presentation system of the present invention, the interface shape control unit, when there are a plurality of branch points within a predetermined time, the deformation interface is a plurality of ways according to the contents of the plurality of branch points. You may change to a shape in order.
この構成によれば、ユーザは、複数の分岐点について、入力が可能であることを知ることができる。 According to this configuration, the user can know that input is possible for a plurality of branch points.
また、本発明の情報提示システムにおいて、前記提示情報管理部は、前記インターフェース形状制御部が前記変形インターフェースを複数通りの形状に順に変化させるときに、前記変形インターフェースの形状に応じた説明を前記情報提示部に提供させてよい。 In the information presentation system of the present invention, the presentation information management unit may explain the information according to the shape of the deformation interface when the interface shape control unit sequentially changes the deformation interface into a plurality of shapes. You may make a presentation part provide.
この構成によれば、前記変形インターフェースを複数通りの形状に順に変化するときに、それぞれの形状の内容を知ることができる。 According to this configuration, when the deformation interface is sequentially changed into a plurality of shapes, the contents of each shape can be known.
また、本発明の情報提示システムにおいて、前記変形インターフェースは、基準形状と複数通りの変形形状とを有し、前記インターフェース形状制御部は、ユーザによる入力を拒否する場合には、前記変形インターフェースを基準形状にしてよい。 In the information presentation system of the present invention, the deformation interface has a reference shape and a plurality of deformation shapes, and the interface shape control unit uses the deformation interface as a reference when rejecting an input by a user. It may be shaped.
この構成によれば、ユーザは、変形インターフェースを指で触れてそれが基準形状であることを確認することで、入力ができないことを知ることができる。 According to this configuration, the user can know that input cannot be performed by confirming that the deformation interface is a reference shape by touching the deformation interface with a finger.
また、本発明の情報提示システムにおいて、前記提示情報管理部は、前記変形インターフェースの形状を変化させる直前に、前記ユーザに変形インターフェースの形状を変化させることを通知してよい。 In the information presentation system of the present invention, the presentation information management unit may notify the user that the shape of the deformation interface is to be changed immediately before the shape of the deformation interface is changed.
この構成によれば、ユーザは、通知を受けてから変形インターフェースの形状に注意すればよく、常に変形インターフェースの形状の変化に注意する必要がなくなる。 According to this configuration, the user need only pay attention to the shape of the deformed interface after receiving the notification, and does not always need to pay attention to the change in the shape of the deformed interface.
本発明によれば、連鎖的に提供される情報において、情報の分岐点が存在する場合に、変形インターフェースの形状が変化するので、ユーザは、情報の分岐点に対して入力が可能であることを知ることができるとともに、変形インターフェースに対して機械的に入力を行なうことができるので、精度よく入力を行なうことができる。また、ユーザは、形状が変化した変形インターフェースに触れるだけで、入力有効領域を知ることができ、小さい操作負担で入力を行なうことができる。 According to the present invention, in the information provided in a chained manner, when the information branch point exists, the shape of the deformed interface changes, so that the user can input to the information branch point. In addition, it is possible to input information with high accuracy because it is possible to input mechanically to the deformation interface. Further, the user can know the effective input area simply by touching the deformed interface whose shape has been changed, and can perform input with a small operation burden.
以下、本発明の実施の形態の情報提供システムについて、図面を参照しながら説明する。以下では、本発明の実施の形態として、車両に搭載される車載システムとして用いられる情報提供システムを説明する。なお、本発明の情報提供システムは、車載システムに限られない。本発明の情報提供システムは、特に、ユーザが提示情報やそれに対する入力に対して自身の全ての注意を払えない状況で、そのようなユーザに対して情報を提示して、それに対するユーザからの入力を受け付けるシステムとして好適に応用される。 Hereinafter, an information providing system according to an embodiment of the present invention will be described with reference to the drawings. Hereinafter, an information providing system used as an in-vehicle system mounted on a vehicle will be described as an embodiment of the present invention. In addition, the information provision system of this invention is not restricted to a vehicle-mounted system. The information providing system of the present invention presents information to such a user, particularly in a situation where the user cannot pay all his attention to the presentation information and input thereto, and from the user to that information. It is suitably applied as a system that accepts input.
図1は、本発明の実施の形態の情報提供システムの構成を示すブロック図である。情報提供システム100は、ユーザに情報を連鎖的に提供するシステムである。特に、車載システムとして用いられる本実施の形態の情報提示システム100は、車両の位置及び車両のナビゲーションシステムの処理に基づいて提示する情報を選択する。図1に示すように、本実施の形態の情報提示システム100は、提示情報データベース10、提示情報管理部20、情報提示部30、インターフェース形状制御部40、変形インターフェース50、入力処理部60、及び指位置検出部70を備えている。
FIG. 1 is a block diagram showing a configuration of an information providing system according to an embodiment of the present invention. The
図2は、提示情報データベース10に保存された提示情報の遷移構造を示す図である。図2に示すように、提示情報データベース10は、複数の提示情報を記憶している。本実施の形態の提示情報は、XMLの形式で表現される。提示情報は、音声データである。複数の提示情報は全体として複数の分岐点を含む遷移構造を有している。分岐点の提示情報には、分岐先の情報及びインターフェース形状の情報を含む分岐メタデータが含まれている。なお、提示情報データベース10には、図2に示すような提示情報の遷移構造が複数保存されている。
FIG. 2 is a diagram illustrating a transition structure of presentation information stored in the
本実施の形態では、提示情報データベース10に保存された提示情報によって、ストリームが形成されている。図2の例では、提示情報1−1、提示情報1−2、・・・提示情報1−5、・・・というメインストリームと、提示情報1−2から分岐した提示情報2−1、提示情報2−2、・・・というサブストリームと、提示情報2−2から分岐した提示情報3−1、提示情報3−2、・・・というサブストリームと、提示情報1−3から分岐した提示情報4−1、提示情報4−2、・・・というサブストリームが図示されている。
In the present embodiment, a stream is formed by the presentation information stored in the
本実施の形態では、ユーザからの入力がない場合には、ストリーム内にて提示情報が次々に提示さていき、ユーザから分岐の入力があった場合に、別のサブストリームに分岐する。そして、分岐メタデータは、他のサブストリームへの分岐が可能な提示情報に付与されている。図2の例では、提示情報1−2は、提示情報2−1のストリームに移行可能であるので、この提示情報1−2には分岐メタデータが付与されており、その分岐先は提示情報1−3である。 In the present embodiment, when there is no input from the user, the presentation information is presented one after another in the stream, and when there is a branch input from the user, it branches to another substream. The branch metadata is attached to presentation information that can branch to another substream. In the example of FIG. 2, since the presentation information 1-2 can be transferred to the stream of the presentation information 2-1, the presentation information 1-2 is given branch metadata, and the branch destination is the presentation information. 1-3.
なお、図2の例では、各分岐点では1つの別のサブストリームにしか分岐していないが、複数のサブストリームへの分岐が可能な提示情報があってもよい。また、ストリームの最後の提示情報に複数のストリームへの提示情報があってもよい。この場合には、ユーザが何らかの入力をしなければ、提示情報の提示がストップすることになる。 In the example of FIG. 2, each branch point branches only to one different substream, but there may be presentation information that can branch to a plurality of substreams. Further, the presentation information for a plurality of streams may be included in the last presentation information of the stream. In this case, if the user does not make any input, the presentation of the presentation information is stopped.
提示情報管理部20は、ユーザに情報を連鎖的に提供するために、提示情報データベース10に保存された提示情報の遷移構造及びユーザからの入力に従って、提示情報データベース10に保存された提示情報のいずれを提示するかを管理する。提示情報管理部20は、提示する情報を情報提示部30に出力する。
In order to provide information to the user in a chained manner, the presentation
情報提示部30は、提示情報管理部20から受けた提示情報を提示する。本実施の形態の情報提示部30は、表示パネル及びスピーカからなり、提示情報である音声データはスピーカから音声として出力される。なお、本発明の情報提示部は、表示パネルのみからなり、提示情報がテキスト及び画像の情報であってもよい。また、本発明の情報提示部は、スピーカのみからなっていてもよい。
The
インターフェース形状制御部40は、提示情報管理部20が情報提示部30に提示させる提示情報に基づいて、変形インターフェース50の形状を変化させるよう、変形インターフェース50を制御する。
The interface
図3は、変形インターフェース50を備えたステアリングの外観図である。変形インターフェース50は、ステアリングSの横スポークSS上のウィールSWに近い位置に設けられる。図3に示すように、変形インターフェース50のこの設置位置は、ユーザであるドライバがステアリングSを正常な位置で把持したときに、ユーザが親指で触れることができる位置に相当する。
FIG. 3 is an external view of the steering equipped with the
図3の例では、変形インターフェース50が、左右それぞれの横スポークに設けられているが、設置位置はここに限られない。また、変形インターフェース50は1つ出会ってもよい。さらに、図3に示すように、本実施の形態の変形インターフェース50は円形であるが、矩形等任意の形状であってよい。
In the example of FIG. 3, the
変形インターフェース50は、自ら形状を変化させることが可能であるであるとともに、ユーザによる機械的な入力が可能である。即ち、ユーザは、変形インターフェース50に対して機械的な入力が可能であり、この入力により変形インターフェース50は変形をするが、変形インターフェース50は、このような変形とは別に、外力によらずに自ら形状を変化させることができる。
The
図4は、変形インターフェース50の内部構造を示す断面図である。変形インターフェース50は、内部に二次元状に配列された押し上げ部材51を有する。押し上げ部材51は、上支持部材52によって支持されており、上方向(表面方向)に自由移動が可能である。上支持部材52に支持された押し上げ部材52の上から、変形インターフェース50の表面となる変形カバー53が被せられる。変形カバー53は、押し上げ部材51を下方向に押して、押し上げ部材51は下からの押し上げ力が働かない状態で、上支持部材52の標準位置(下位置)に保持される。
FIG. 4 is a cross-sectional view showing the internal structure of the
押し上げ部材51には、下支持部材54に支持された高分子アクチュエータ55によって変形カバー53に抗して押し上げられる。高分子アクチュエータ55は、その変形によって押し上げ部材51を上方向(表面方向)に押し上げる。図4に示す高分子アクチュエータ55は、積層化されているが、単体であってもよい。
The push-up
インターフェース形状制御部40は、このような構造の変形インターフェース50における複数の高分子アクチュエータ55を個々に制御することで、変形インターフェース50の表面(変形カバー53の表面)の形状を任意の形状に変形させる。具体的には、インターフェース形状制御部40は、変形インターフェース50の表面の任意の領域が押し上げ部材51によって押し上げられることで若干突出するように変形させることができる。
The interface
このようにして変形インターフェース50の表面において突出した領域は、ボタンとなる。ユーザは、形成されたボタンを押下することで、入力を行なうことができる。即ち、変形インターフェース50の表面において突出した領域は、そこを押下することで入力ができる入力有効領域として設定され、突出していない領域は、そこを押下しても入力をすることができない入力無効領域となる。変形インターフェース50は、インターフェース形状制御部40による制御によって、任意の形状の入力有効領域を設定することができる。
Thus, the area | region which protruded in the surface of the deformation |
図5は、変形インターフェース50の表面形状の変形例を示す図である。図5(a)は、何れの領域も突出しておらず、入力有効領域が形成されていない基準形状を示しており、図5(b)は、上下左右の4つのボタン(入力有効領域)が形成された例を示しており、図5(c)は、中央に1つのボタン(入力有効領域)が形成された例を示しており、図5(d)は、上下に2つのボタン(入力有効領域)が形成された例を示しており、図5(e)は、十字型のボタン(入力有効領域)が形成された例を示している。
FIG. 5 is a diagram illustrating a modification of the surface shape of the
図1に戻って、入力処理部60は、ユーザによって変形インターフェース50に対してされた入力を受け付けて処理し、定情報管理部20に出力する。指位置検出部70は、変形インターフェース50の表面に設けられた接触検知センサによって構成される。指位置検出部70は、変形インターフェース50の表面のどの位置に指が触れているかを検知する。指位置検出部70にて検知された指の位置は、インターフェース形状制御部40及び提示情報管理部20に出力される。
Returning to FIG. 1, the
次に、本実施の形態の情報提示システム100の動作を説明する。図6は、情報提示システム100の動作フローチャートである。まず、提示情報管理部20は、情報提示部30を用いて提示情報データベース10に保存された情報を連鎖的に提示するために、提示情報データベース10から提示するべき提示情報を取得する(ステップS61)。
Next, operation | movement of the
上述のように、提示情報データベース10には、図2に示すような提示情報の遷移構造が複数保存されており、提示情報管理部20は、車両の位置及び車両のナビゲーションシステムの処理に基づいて、複数の遷移構造の中から該当するものを選択する。そして、図2に示す遷移構造が選択された場合には、提示情報管理部20は、まず、その遷移構造のメインストリームの最初の提示情報である提示情報1−1を取得する。
As described above, the
そして、提示情報管理部20は、提示情報データベース10より取得した提示情報に分岐メタデータが含まれているか否かを判断する(ステップS62)。提示情報に分岐メタデータが含まれていない場合には(ステップS62にてNO)、ステップS61に戻って現在のストリーム内の次の提示情報を取得する。図2の例では、提示情報1−1には分岐メタデータは含まれていないので、ステップS61に戻って次の提示情報である提示情報1−2を取得する。
Then, the presentation
提示情報管理部20は、取得した提示情報について、そこに分岐メタデータが含まれているかを判断し、分岐メタデータが含まれている場合には(ステップS62にてYES)、その分岐メタデータに含まれるインターフェース形状の情報をインターフェース形状制御部40に出力し、インターフェース形状制御部40は、取得したインターフェース形状の情報に従って変形インターフェース50を変形させて、入力有効領域を設定する(ステップS63)。
The presentation
次に、入力処理部60は、ユーザによって変形インターフェースの入力有効領域に入力があったかを監視する(ステップS64)。提示情報管理部20は、入力がない場合には(ステップS64にてNO)、ステップS61に戻って、現在のストリームから分岐することなく、現在のストリーム内の次の提示情報を取得する。図2の例では、提示情報管理部20は、提示情報1−2から分岐させることなく、次の提示情報1−3を取得する。
Next, the
変形インターフェース50が変形した後に、変形インターフェース50に対して入力操作が行なわれて、入力処理部60が入力を受け付けたときは(ステップS64にてYES)、入力処理部60はその入力を提示情報管理部20に通知する。提示情報管理部20は、ユーザから受けた入力に従ってストリームを分岐させる(ステップS65)。
After the
図2の例では、提示情報1−3について、ステップS61〜S63を経てステップS64にて変形インターフェース50に対して入力操作が行なわれて、入力処理部60が入力を受け付けたときは(ステップS64にてYES)、入力処理部60はその入力を提示情報管理部20に通知する。提示情報管理部20は、ユーザから受けた入力に従って、ストリームを分岐させて、次に提示情報4−1を提示する。
In the example of FIG. 2, when the presentation information 1-3 is input to the
情報提示システム100は、上記のようにして、ユーザからの入力がない場合には、ストリーム内にて提示情報を次々に提示していき、分岐点においてユーザからの入力があった場合には、ストリームを分岐させる。
As described above, when there is no input from the user, the
このとき、分岐点では、インターフェース形状制御部40が、ストリームの分岐候補に対応するように変形インターフェース50の形状が変形する。例えば、上下左右のいずれかを選択させる場合には、図5(b)のように上下左右に突出部を形成するように変形インターフェース50を変形させる。また、YESかNOを問う場合には、図5(c)のように中心に1つだけ突出部を形成するように変形インターフェース50を変形させる。また、上下のいずれかを選択させる場合には、図5(d)のように上下左右に突出部を形成するように変形インターフェース50を変形させる。これらの場合に、変形インターフェース50は、突出部に対応する領域を入力有効領域に設定する。
At this time, at the branch point, the interface
さらに、情報提示部30にて提示する提示情報に分岐メタデータがない場合には、インターフェース形状制御部40は、変形インターフェース50を図5(a)の基準形状とする。この場合には、変形インターフェース50にて入力有効領域は設定されず、変形インターフェース50に対するユーザの操作はすべて無効となる。即ち、変形インターフェース50を基準形状とすることでユーザの入力を拒否することができる。
Furthermore, when there is no branch metadata in the presentation information presented by the
次に、指位置検出部70によって検出された指の位置の情報(指位置情報)の活用例について説明する。
Next, an application example of finger position information (finger position information) detected by the finger
(指位置情報の活用例1)
インターフェース形状制御部40は、変形インターフェース50を変形させる際に、指位置検出部70から指位置情報を取得する。インターフェース形状制御部40は、ユーザの指の位置に応じて、突出部を形成する位置を決定する。例えば、ユーザの指が変形インターフェース50の縁の方にある場合において、図5(c)のように1つの突出部を形成するときには、インターフェース形状制御部40は、ユーザの指がある縁の方に1つの突出部を形成し、そこに入力有効領域を設定する。
(Utilization example 1 of finger position information)
The interface
(指位置情報の活用例2)
インターフェース形状制御部40は、変形インターフェース50を変形させる際に、指位置検出部70から指位置情報を取得する。インターフェース形状制御部40は、ユーザの指が変形インターフェース50の縁の方にある場合に、ユーザの指を変形インターフェース50の中央に誘導するように変形インターフェース50を変形させる。具体的には、ユーザの指が変形インターフェース50の縁の方にある場合に、ユーザの指がある領域から中央に向けて順に突出部を形成することで、ユーザの指を中央に向けて誘導する。
(Utilization example 2 of finger position information)
The interface
(指位置情報の活用例3)
上述のように、提示情報管理部20は、提示情報に分岐メタデータが含まれている場合は、これをインターフェース形状制御部40に出力する。インターフェース形状制御部40は、この分岐メタデータに基づいて変形インターフェース50の形状を変化させるが、このときに指位置検出部70から指位置情報が提示情報管理部20に入力されない場合、又は指位置検出部70から指を検出できない旨の通知が定情報管理部20に出力した場合には、提示情報管理部20は、情報提示部30を通じてユーザに注意喚起を行なう。具体的には、情報提示部30は、通知音を発する。なお、情報提示システム100がステアリングSに設けられるバイブレーション機構を備えている場合に、提示情報管理部20がユーザへの注意喚起として、そのバイブレーション機構を作動させてもよい。
(Utilization example 3 of finger position information)
As described above, when the presentation information includes branch metadata, the presentation
(指位置情報の活用例4)
提示情報管理部20は、インターフェース形状制御部40によって変形インターフェース50の形状が変化して、変形インターフェース50の表面に突出部が形成された場合において、ユーザの指が形成された突出部にあるという指位置情報を取得すると、情報提示部30に、そのボタンを押す意味を説明する出力を行なわせる。具体的は、情報提示部30は、ユーザが触れているボタンの意味を音声で説明する。
(Example 4 of using finger position information)
When the shape of the
以上のように、本実施の形態の情報提示システム100によれば、ユーザには、提示情報をその遷移構造に従って順に提示していくとともに、ユーザに対して直接の問いかけをするのではなく、ユーザが何らかの入力をできるときに、変形インターフェース50の形状を変化させて、ユーザによる入力を可能とするので、ユーザは、問いかけに対していちいち応答をする必要はない。よって、ユーザが提示情報に対して積極的に関与したくないとき(例えば、車両の運転に集中しているとき)には、ユーザの入力がなくても次々に情報が提示される。
As described above, according to the
一方、提示される情報に対して、ユーザが積極的に入力を行いたい場合には、ユーザの入力が可能なタイミングで、その入力を行なうためのインターフェースである変形インターフェース50が変形するので、ユーザは、入力が可能なタイミングを知ることができる。そして、この変形インターフェース50の変形が入力有効領域に対応して変形するので、ユーザは、いくつの選択肢の中から選んで入力をすることができるのかも知ることができる。
On the other hand, when the user wants to actively input information to be presented, the
以上に説明した情報提示システム100に対しては、種々の変形が可能である。以下、変形例を説明する。
Various modifications can be made to the
(変形例1)
例えば、情報提示システム100は、さらにユーザの運転負荷を検知する運転負荷検知部を含んでいてよい。運転負荷検知部は、車両の速度やステアリングの回転角度等の運転負荷に関する検出値をインターフェース形状制御部40に通知する。インターフェース形状制御部40は、車両の速度やステアリングの回転角度が所定の閾値より大きく、即ち運転負荷が所定の閾値より大きい場合には、分岐メタデータに関らず、変形インターフェース50の形状を変化させないように制御する。これにより、運転負荷が大きい場合に変形インターフェース50の形状を変化させることで、ユーザがそれに対して注意を払い、また変形した変形インターフェース50に対して入力を行なうことで安全運転に影響を及ぼすことを回避できる。
(Modification 1)
For example, the
(変形例2)
インターフェース形状制御部40は、所定の時間内に複数の分岐点が存在した場合には、変形インターフェース50を前記複数の分岐点の内容に応じた複数通りの形状に順に変化させてもよい。また、このとき、提示情報管理部20は、情報提示部30に、変形インターフェース50の各形状の意味を説明する出力を行なわせる。具体的は、情報提示部30は、インターフェース形状制御部40によって変形された変形インターフェース50の形状の意味を音声で説明する。
(Modification 2)
When there are a plurality of branch points within a predetermined time, the interface
(変形例3)
インターフェース形状制御部40は、入力処理部60にてユーザによる入力を受け付けたときに、入力の内容に応じて、変形インターフェースをさらに別の形状に変化させてよい。このようにすることで、ユーザに段階的に入力を行なわせることができる。
(Modification 3)
When the
例えば、ユーザに、最初に音量調節及び周波数調整のいずれかを選択する入力を行わせ、音量調節が選択された場合に、次に上下にそれぞれ入力有効領域を形成することで音量の大小を入力させることができ、周波数調整が選択された場合に、次に左右にそれぞれ入力有効領域を形成させることで周波数を調整させることができる。 For example, when the user first performs an input to select either volume adjustment or frequency adjustment, and volume adjustment is selected, next, input the volume level by forming input effective areas above and below, respectively. When frequency adjustment is selected, the frequency can be adjusted by forming input effective areas on the left and right sides.
本発明は、情報の分岐点に対して入力が可能であることをユーザに知らせることができるとともに、ユーザが精度よく入力を行なうことができるという効果を有し、情報を提示するとともに提示する情報に対して入力が可能な情報提示システム等として有用である。 The present invention can notify a user that input can be made to a branch point of information, and has an effect that the user can input with high accuracy, and presents information as well as presenting information. It is useful as an information presentation system or the like that allows input.
10 提示情報データベース
20 提示情報管理部
30 情報提示部
40 インターフェース形状制御部
50 変形インターフェース
51 押し上げ部材
52 上支持部材
53 変形カバー
54 下支持部材
55 高分子アクチュエータ
60 入力処理部
70 指位置検出部
100 情報提示システム
DESCRIPTION OF
Claims (15)
自ら形状を変化させることが可能であり、かつユーザによる機械的な入力が可能である変形インターフェースと、
前記変形インターフェースの形状を変化させるよう制御するインターフェース形状制御部と、
ユーザに提供する情報を保存するための提示情報保存部と、
前記情報を提示する情報提示部と、
前記提示情報保存部に保存された情報のいずれを前記情報提示部にて提示するかを管理する提示情報管理部と、
を備え、
前記情報提示部は、前記情報として、ユーザが応答を強要されない雑談形式の音声情報を連鎖的に提供し、
前記インターフェース形状制御部は、前記提示情報管理部が前記情報提示部に提示させる情報の中に、情報の分岐点が存在する場合に、前記変形インターフェースの形状を変化させることによって、前記情報の分岐点の存在をユーザに伝達することを特徴とする情報提供システム。 An information providing system that provides information to users in a chain,
Deformation interface that can change shape by itself and mechanical input by user,
An interface shape control unit for controlling to change the shape of the deformation interface;
A presentation information storage unit for storing information to be provided to the user;
An information presentation unit for presenting the information;
A presentation information management unit that manages which of the information stored in the presentation information storage unit is presented by the information presentation unit;
With
The information presenting unit provides, as the information, chained voice information that does not force the user to respond,
The interface shape control unit changes the shape of the deformed interface when there is an information branch point in the information presented by the presentation information management unit to the information presentation unit, thereby branching the information. An information providing system for transmitting the existence of a point to a user.
前記インターフェース形状制御部は、前記入力処理部にてユーザによる前記入力を受け付けたときに、当該入力の内容に応じて、前記変形インターフェースを別の形状に変化させることを特徴とする請求項2又は3に記載の情報提供システム。 Further comprising an input processor you process the input of the user to the deformable interface,
The interface shape control unit changes the deformation interface to another shape according to the content of the input when the input processing unit receives the input by the user. 3. The information providing system according to 3.
前記提示情報管理部は、前記指位置検知部にて検知されたユーザの指の位置が前記入力有効領域にあるときに、当該入力有効領域に対応する説明を前記情報提示部に提示させる
ことを特徴とする請求項2ないし4のいずれか一項に記載の情報提供システム。 A finger position detector for detecting the position of the user's finger;
The presentation information management unit causes the information presentation unit to present an explanation corresponding to the input valid area when the position of the user's finger detected by the finger position detection unit is in the input valid area. The information providing system according to any one of claims 2 to 4, wherein the information providing system is characterized in that:
前記インターフェース形状制御部は、前記指位置検知部にて検知されたユーザの指の位置に応じて前記変形インターフェースの形状を変化させる
ことを特徴とする請求項2ないし4のいずれか一項に記載の情報提供システム。 A finger position detector for detecting the position of the user's finger;
The said interface shape control part changes the shape of the said deformation | transformation interface according to the position of the user's finger | toe detected by the said finger position detection part. The Claim 1 thru | or 4 characterized by the above-mentioned. Information provision system.
前記インターフェース形状制御部は、前記指位置検知部にて検知されたユーザの指の位置に基づいて、前記ユーザの指を前記入力有効領域に誘導するように、前記変形インターフェースの形状を変化させる
ことを特徴とする請求項2ないし4のいずれか一項に記載の情報提供システム。 A finger position detector for detecting the position of the user's finger;
The interface shape control unit changes the shape of the deformation interface so as to guide the user's finger to the input effective area based on the position of the user's finger detected by the finger position detection unit. The information providing system according to any one of claims 2 to 4, wherein
前記提示情報管理部は、前記車両の位置及び前記車両のナビゲーションシステムの処理に基づいて、前記提示情報保存部に保存された情報の中から提示する情報を選択して前記
情報提示部に提示させる
ことを特徴とする請求項1ないし7のいずれか一項に記載の情報提供システム。 The information providing system is used as an in-vehicle system mounted on a vehicle,
The presentation information management unit selects information to be presented from the information stored in the presentation information storage unit based on the position of the vehicle and the processing of the navigation system of the vehicle, and causes the information presentation unit to present the information. The information providing system according to any one of claims 1 to 7, characterized in that
前記インターフェース形状制御部は、前記運転負荷検知部にて検知した運転負荷が所定の閾値をより大きい場合には、前記変形インターフェースの形状を変化させない
ことを特徴とする請求項8に記載の情報提供システム。 The information providing system further includes a driving load detection unit that detects a driving load of the user,
The information provision according to claim 8, wherein the interface shape control unit does not change the shape of the deformed interface when the driving load detected by the driving load detection unit exceeds a predetermined threshold. system.
前記インターフェース形状制御部は、ユーザによる入力を拒否する場合には、前記変形インターフェースを基準形状にする
ことを特徴とする請求項1ないし13のいずれか一項に記載の情報提供システム。 The deformation interface has a reference shape and a plurality of deformation shapes,
The information providing system according to any one of claims 1 to 13, wherein the interface shape control unit sets the deformed interface to a reference shape when rejecting an input by a user.
The information providing system according to claim 1, wherein the presentation information management unit notifies the user that the shape of the deformed interface is to be changed immediately before the shape of the deformed interface is changed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011069863A JP5529789B2 (en) | 2011-03-28 | 2011-03-28 | Information presentation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011069863A JP5529789B2 (en) | 2011-03-28 | 2011-03-28 | Information presentation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012203798A JP2012203798A (en) | 2012-10-22 |
JP5529789B2 true JP5529789B2 (en) | 2014-06-25 |
Family
ID=47184703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011069863A Expired - Fee Related JP5529789B2 (en) | 2011-03-28 | 2011-03-28 | Information presentation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5529789B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11570870B2 (en) | 2018-11-02 | 2023-01-31 | Sony Group Corporation | Electronic device and information provision system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06332601A (en) * | 1993-05-21 | 1994-12-02 | Matsushita Electric Ind Co Ltd | Ruggedness display device and its controller, and stereoscopic input/output interface device |
JP2001191871A (en) * | 2000-01-11 | 2001-07-17 | Toyota Central Res & Dev Lab Inc | On-vehicle information presentation control device |
JP2003241891A (en) * | 2002-02-20 | 2003-08-29 | Nippon Hoso Kyokai <Nhk> | Haptic information transmitter, control device and method therefor |
JP4717461B2 (en) * | 2005-02-14 | 2011-07-06 | キヤノン株式会社 | Information input device, information input method, and information input program |
FR2882881B1 (en) * | 2005-03-01 | 2015-09-25 | Commissariat Energie Atomique | METHOD AND DEVICES FOR TRANSMITTING TOUCH INFORMATION |
JP2008186279A (en) * | 2007-01-30 | 2008-08-14 | Tokai Rika Co Ltd | Remotely-operated input device |
JP2009098899A (en) * | 2007-10-16 | 2009-05-07 | Toyota Motor Corp | Information presentation device |
US8004501B2 (en) * | 2008-01-21 | 2011-08-23 | Sony Computer Entertainment America Llc | Hand-held device with touchscreen and digital tactile pixels |
JP5110438B2 (en) * | 2008-10-23 | 2012-12-26 | トヨタ自動車株式会社 | Input device |
-
2011
- 2011-03-28 JP JP2011069863A patent/JP5529789B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012203798A (en) | 2012-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10466800B2 (en) | Vehicle information processing device | |
US10845871B2 (en) | Interaction and management of devices using gaze detection | |
CN108459654B (en) | Driving support device | |
US11226719B2 (en) | Information processing device | |
CN108430819B (en) | Vehicle-mounted device | |
US20180232057A1 (en) | Information Processing Device | |
US9678573B2 (en) | Interaction with devices based on user state | |
JP6935164B2 (en) | Gesture-based input system with tactile feedback in the vehicle | |
US20220055482A1 (en) | Systems And Methods For Horizon Digital Virtual Steering Wheel Controller | |
US20140267035A1 (en) | Multimodal User Interface Design | |
JP2019523497A (en) | Tactile guidance system | |
US20160336009A1 (en) | In-vehicle control apparatus and in-vehicle control method | |
WO2016051440A1 (en) | Vehicle and steering unit | |
US9193315B2 (en) | Method and apparatus for operating a device in a vehicle with a voice controller | |
JP5529789B2 (en) | Information presentation system | |
JP6960716B2 (en) | Input device, display device, input device control method and program | |
KR101722542B1 (en) | Control apparatus using touch and vehicle comprising the same | |
JP5981782B2 (en) | Haptic guidance control device, haptic guidance control method, and haptic guidance control program | |
CN103935294B (en) | Vehicle operator is facilitated to select and trigger the equipment of speech control system | |
KR20180070235A (en) | In-vehicle command input system and method of controlling thereof | |
Kuoch et al. | Designing an Intuitive Driving Experience in a Digital World | |
JP6049429B2 (en) | PROCESSING DEVICE, PROCESSING METHOD, AND PROGRAM FOR PROCESSING DEVICE | |
US20220129124A1 (en) | Control device, system, and program | |
KR101714517B1 (en) | An apparatus for controlling devices in vehicle | |
CN113661469A (en) | Control device, system, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5529789 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |