JP5435250B2 - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP5435250B2 JP5435250B2 JP2007218335A JP2007218335A JP5435250B2 JP 5435250 B2 JP5435250 B2 JP 5435250B2 JP 2007218335 A JP2007218335 A JP 2007218335A JP 2007218335 A JP2007218335 A JP 2007218335A JP 5435250 B2 JP5435250 B2 JP 5435250B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- past
- information
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G06F19/00—
Landscapes
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像データを処理して情報を提供したりサービスを行ったりする画像表示装置、特に鏡の機能及び画像表示機能を持つ鏡型ディスプレイを用いる画像表示装置に関する。 The present invention relates to an image display device that processes image data to provide information or perform a service, and more particularly to an image display device that uses a mirror function and a mirror-type display having an image display function.
使用者が、洗面台等の鏡の前に定期的に立ち、自分の顔色や姿勢などを見て毎日の健康管理や体調のチェックをすることは行われている。このとき見た目の主観的な判断ではなく、自分の健康状態に関する客観的な情報を得ることが望まれている。そこで、関連する技術として、自分の顔や全身の像をカメラにより撮像し表示素子により表示し、同時に測定又演算して求めた健康状態に関する情報を表示する画像表示装置が提案されている。 A user regularly stands in front of a mirror such as a washbasin and checks his / her face color and posture to check daily health management and physical condition. At this time, it is desired to obtain objective information about his / her health condition instead of subjective judgment. Thus, as a related technique, an image display device has been proposed in which an image of a person's face or whole body is picked up by a camera and displayed on a display element, and at the same time, information on a health condition obtained by measurement or calculation is displayed.
このような画像表示装置の文献として、以下の例が知られている。 The following examples are known as documents of such image display devices.
特許文献1に記載されている洗面台型ディスプレイ装置は、洗面台の鏡の部分に使用者の映像や健康管理情報を始めとする各種情報を表示するものである。この装置は、特に使用者の日常行動中に、特に意識することなしに自動的に予め測定された使用者の体調に関する情報を表示している。
The wash basin type display device described in
図13は、特許文献1に記載されている洗面台型ディスプレイ装置を示す図である。
FIG. 13 is a diagram showing a wash basin type display device described in
洗面台101の正面に傾斜して配置したハーフミラー111と、洗面台101の前の使用者113を撮影するようにハーフミラー111の背部に設置したビデオカメラ112と、ハーフミラー111により正面に表示されるように配置したモニター114とを備える。モニター114には、少なくともビデオカメラ112で撮影した映像と健康管理情報データとを合成する画像処理装置115からの画像を表示する。使用者113は、モニター114の像を保護ガラス110を通して見ることができる。
Displayed in front by a
一方、特許文献2に記載されている顔色計測装置は、健康管理などの目安にするため顔色の変化値を計測するものである。
On the other hand, the face color measuring device described in
この顔色計測装置は、CCDカメラ部と画面を備えた操作表示部を有する。操作表示部は、CCDカメラ部で採取された対象者の像が表示され、「鏡」としての機能を有すると共に、採取された画像データにもとづき、定義された顔色の健康目安値や「平常」、「注意」などを表示することができる。
特許文献1に記載されているような洗面台型ディスプレイ装置では、洗面台の鏡の前に立つという、使用者の日常行動中に自らの画像と健康管理情報データを知ることができる点で、便利である。しかしながら、この洗面台型ディスプレイ装置は、健康管理システムという大がかりなものの一部であり、健康管理情報データは、システム中のセンサにより測定しており、撮影した画像を処理、分析して得たものではない。
In the wash basin type display device as described in
また、特許文献2に記載されているような顔色計測装置は、定点カメラによる観測であり、画像の補正、処理が容易である。しかし、使用者の現在の画像と過去の画像の双方が使用者の視覚に入るようにしたものではなく、健康状態の把握に十分とは言い難い。
Further, the face color measuring apparatus as described in
そこで、カメラ等によって撮影された顔の画像データや身体の画像データを、以前に蓄積された画像データと自動的に比較照合し、現在の画像と過去の画像を表示すれば便利である。すなわち、これらの情報は、自分の過去の姿と現在の姿を見比べることで、いつもよりも顔色が悪い・姿勢が悪い・半年前よりも太ったといった情報を得ることができる。 Therefore, it is convenient to automatically compare and collate face image data and body image data taken by a camera or the like with previously accumulated image data and display the current image and the past image. That is, by comparing the past figure with the present figure, it is possible to obtain such information that the complexion is worse than usual, the posture is worse, and the weight is more than half a year ago.
本発明の目的は、対象者(使用者)の現在の画像と過去の画像を鏡型ディスプレイ上の適切な領域上に表示することにより、対象者の容貌の変化を容易に把握することにある。 An object of the present invention is to easily grasp a change in the appearance of a target person by displaying the current image and past image of the target person (user) on an appropriate area on a mirror-type display. .
上記課題を解決するため、本発明の第1の画像表示装置は、対象者の画像データを取り込む画像入力部と、前記画像データを記憶する画像データ記憶部と、鏡型ディスプレイと、を備える画像表示装置であって、前記鏡型ディスプレイは、対面する対象者の現在の画像を表示する画像表示部と、少なくとも前記画像データにより得た過去の画像を含む情報を表示する情報表示部を有し、前記現在の画像と前記過去の画像の双方が対象者の視覚に入るようにされており、前記過去の画像は、前記画像入力部で取り込まれた現在の画像データと前記画像データ記憶部に記憶されている過去の画像データを比較照合分析し、その差分情報から選択した過去の画像であり、前記情報表示部は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴を分析し、前記対象者の現在の外見的特徴と一致する特徴に付与されたラベル情報を表示することを特徴とする。
また、上記課題を解決するため、本発明の第2の画像表示装置は、対象者の画像データを取り込む画像入力部と、前記画像データを記憶する画像データ記憶部と、鏡型ディスプレイと、を備える画像表示装置であって、前記鏡型ディスプレイは、対面する対象者の現在の画像を表示する画像表示部と、少なくとも前記画像データにより得た過去の画像を含む情報を表示する情報表示部を有し、前記現在の画像と前記過去の画像の双方が対象者の視覚に入るようにされており、前記過去の画像は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴と前記画像データ記憶部に記憶されている過去の画像データから抽出する前記対象者の過去の外見的特徴とを比較照合分析し、分析の結果として得た、前記対象者の現在の外見的特徴と前記対象者の過去の外見的特徴との差分情報から選択した過去の画像であり、前記情報表示部は、前記差分情報と一致する外見的特徴の差分の特徴に付与されたラベル情報を表示することを特徴とする。
また、上記課題を解決するため、本発明の第3の画像表示装置は、対象者の画像データを取り込む画像入力部と、前記画像データを記憶する画像データ記憶部と、鏡型ディスプレイと、を備える画像表示装置であって、前記鏡型ディスプレイは、対面する対象者の現在の画像を表示する画像表示部と、少なくとも前記画像データにより得た過去の画像を含む情報を表示する情報表示部を有し、前記現在の画像と前記過去の画像の双方が対象者の視覚に入るようにされており、前記過去の画像は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴と前記画像データ記憶部に記憶されている過去の画像データから抽出する前記対象者の過去の外見的特徴とを比較照合分析し、分析の結果として得た、前記対象者の現在の外見的特徴と前記対象者の過去の外見的特徴との差分情報から選択した過去の画像であり、
前記鏡型ディスプレイは、鏡体とスクリーンで構成し、前記画像表示部の前記現在の画像は、対象者の像が前記鏡体で反射されることにより表示され、前記情報表示部の前記情報は、前記スクリーン上の情報が前記鏡体で反射されて表示されることを特徴とする。
In order to solve the above problems, an image display device according to a first aspect of the present invention includes an image input unit that captures image data of a subject, an image data storage unit that stores the image data, and a mirror display. In the display device, the mirror-type display includes an image display unit that displays a current image of a person to be faced, and an information display unit that displays information including at least a past image obtained from the image data. Both the current image and the past image are entered into the visual perception of the subject, and the past image is stored in the current image data captured by the image input unit and the image data storage unit. the past image data stored comparison verification analysis, Ri past image der selected from the difference information, the information display section, extracted from the current image data captured by the image input unit Wherein analyzing the current appearance characteristics of the subject, and displaying a label information assigned to the feature that matches the current appearance characteristics of the subject that.
In order to solve the above problems, a second image display device of the present invention includes an image input unit that captures image data of a subject, an image data storage unit that stores the image data, and a mirror display. The mirror-type display includes an image display unit that displays a current image of a person to be faced, and an information display unit that displays information including at least a past image obtained from the image data. And both the current image and the past image enter the visual sense of the subject, and the past image is extracted from the current image data captured by the image input unit. The comparison between the current appearance characteristics of the person and the past appearance characteristics of the target person extracted from the past image data stored in the image data storage unit is obtained as a result of the analysis. It is a past image selected from difference information between the current appearance feature of the subject and the past appearance feature of the subject, and the information display unit is a difference feature of the appearance feature that matches the difference information. The label information attached to is displayed.
In order to solve the above problems, a third image display device of the present invention includes an image input unit that captures image data of a subject, an image data storage unit that stores the image data, and a mirror display. The mirror-type display includes an image display unit that displays a current image of a person to be faced, and an information display unit that displays information including at least a past image obtained from the image data. And both the current image and the past image enter the visual sense of the subject, and the past image is extracted from the current image data captured by the image input unit. The comparison between the current appearance characteristics of the person and the past appearance characteristics of the target person extracted from the past image data stored in the image data storage unit is obtained as a result of the analysis. A past image selected from difference information between the current appearance characteristics of the subject and historical appearance characteristics of the subject,
The mirror display includes a mirror body and a screen, and the current image of the image display unit is displayed by reflecting an image of a subject on the mirror body, and the information of the information display unit is The information on the screen is reflected by the mirror and displayed.
本発明により、鏡型ディスプレイにより対象者の対面中の現在の画像と過去の画像の双方が対象者の視覚に入るようにしたので、容貌の変化を容易に把握することができる。 According to the present invention, since both the current image and the past image in the face of the subject are included in the subject's vision by the mirror-type display, the change in appearance can be easily grasped.
一般的に人間は顔を洗う・歯を磨く・服装をチェックといった場合などに、日常的に鏡を利用する。また、これらの動作はほぼ同じ時刻になったり、ほぼ同じ立ち位置になったりするケースが多い。 In general, humans use mirrors on a daily basis when washing their faces, brushing their teeth, or checking their clothes. In many cases, these operations are performed at approximately the same time or at substantially the same standing position.
このことから顔画像データや身体画像データを人間が鏡を利用する際に取得することは、使用者に対し特に負担もかけずに自然に行える。また、取得された画像データは、主に使用者が鏡に対面しているときの画像データ、あるいは、鏡に対面していなくても同じポージングとなる画像データのケースが多くなる。このため、対面中の使用者の画像データは、蓄積された画像データと使用者の顔・身体の大きさ・角度・明るさなどが類似し、使用者に負担をかけずに自然に行える環境の下に、高精度な比較照合・分析が可能となる。本発明では、鏡としての機能と画像を表示する機能を持ったディスプレイを使用者が通常の鏡として用いる場合に、画像データを処理して情報を提供するサービスを行う。 Therefore, it is possible to naturally acquire face image data and body image data when a human uses a mirror without particularly burdening the user. In addition, the acquired image data is often image data when the user is facing the mirror or image data that is the same posing even when the user is not facing the mirror. For this reason, the user's face-to-face image data is similar to the stored image data in terms of the user's face, body size, angle, brightness, etc., and can be naturally performed without burdening the user. Under this, high-precision comparison and analysis are possible. In the present invention, when a user uses a display having a function as a mirror and a function for displaying an image as a normal mirror, a service is provided for processing image data and providing information.
また、画像データを分析した結果を、文字や音声だけで出力するだけでなく画像や図形などを交えて使用者に提示することは非常に有意義であり、鏡としての機能を有するディスプレイを用いることはこの点でも非常に効果が大きい。つまり、通常のパソコン作業中に同様の画像処理サービスを行おうとすると、定点画像データが取得できる点では同様の効果があるが、ディスプレイを見ているときは基本的に何かしらの作業中であり、そのディスプレイに表示するのは邪魔になる。一方で、鏡は自分自身を映すことが主な目的であり注視している自分自身の鏡像以外は特に不必要な領域であるケースが多い。そのような空き領域を利用できるので、使用者の邪魔にならずに詳細な画像分析結果を出力することが可能となる。 In addition to outputting the results of analyzing image data not only with text and voice, but also presenting it to the user with images and graphics, it is very meaningful to use a display that functions as a mirror. Is also very effective in this respect. In other words, if you try to perform the same image processing service during normal computer work, it will have the same effect in that you can obtain fixed-point image data, but when you are looking at the display, you are basically working on something, Displaying on that display is in the way. On the other hand, the main purpose of mirrors is to reflect themselves, and there are many cases where the mirror is a particularly unnecessary area other than the mirror image of the person being watched. Since such an empty area can be used, it is possible to output a detailed image analysis result without disturbing the user.
どのように表示するかの判断は、例えば空き領域が小さい場合は、結果を小さく表示する、なるべく重なる範囲が小さくなるように表示するといった判断を行う。他にも、表示効果として、結果を表示する領域が見やすいように背景色を変更したり、半透明化したりといったことも考えられる。 For example, when the empty area is small, the determination of how to display is performed such that the result is displayed small, or the overlapping range is displayed as small as possible. In addition, as a display effect, it is possible to change the background color or make it translucent so that the region where the result is displayed is easy to see.
本発明の画像表示装置は、カメラ等の入力装置、及び出力装置として鏡の機能及び映像表示機能を持つディスプレイである鏡型ディスプレイを有し、入力装置から取得した過去の画像を対象者の対面中の現在の画像と共に鏡型ディスプレイ上の適切な領域上に表示する。この鏡型ディスプレイを例えば一般家庭内の鏡として用い、画像データの入力装置であるカメラ等は、この鏡型ディスプレイを利用する使用者にフォーカスをあてるように設置する。 The image display device of the present invention has an input device such as a camera and a mirror-type display which is a display having a mirror function and a video display function as an output device, and a past image acquired from the input device is faced by a subject. Display on the appropriate area on the mirror display with the current image inside. For example, this mirror-type display is used as a mirror in a general home, and a camera or the like as an image data input device is installed so as to focus on a user who uses the mirror-type display.
次に、本発明を実施するための最良の形態について実施形態1,2として図面を参照して詳細に説明する。
Next, the best mode for carrying out the present invention will be described in detail as
[実施形態1]
図1は、本発明を実施するための実施形態1の構成を示すブロック図である。
[Embodiment 1]
FIG. 1 is a block diagram showing a configuration of
図2は、本発明を実施するための実施形態1のフローチャートである。
FIG. 2 is a flowchart of
図1を参照すると、本実施形態の画像表示装置は、カメラ等により使用者の画像データを取り込み、入力するための画像入力部1と、制御部2と、操作入力部3と、入力画像データから所定の領域を抽出する画像処理部4と、抽出された人物画像データを分析する画像分析部5と、画像データベース6と、画像分析結果を所定の領域に出力させる画像出力部7と、分析結果を表示させる鏡型ディスプレイ8とを備えている。
Referring to FIG. 1, the image display apparatus according to the present embodiment captures and inputs user image data with a camera or the like, an
操作入力部3は、使用者が制御部2に各種操作指令を行う入力部である。
The
画像データベース6は、画像処理部4から出力された画像データがラベル情報と共に記憶されている画像データ記憶部である。
The
画像処理部4は、画像入力部1から与えられた入力画像データに対し、所定の領域を抽出する処理を行い、抽出された画像データを出力する。
The
画像分析部5は、画像処理部4から出力される抽出済み画像データに対し、画像データベース6に記憶されている所定の過去画像データと比較照合分析を行い、その比較照合分析処理における画像データの差分情報を分析結果として出力する。
The
鏡型ディスプレイ8は、画像表示部と情報表示部からなり、対面する対象者(使用者)の現在の画像を画像表示部に表示し、画像出力部7は、画像分析部5から出力される分析結果から選択した過去の画像を情報表示部に表示する。この選択した過去の画像は、例えば、差分の最も大きい過去の画像である。
The mirror-
本実施形態の画像表示装置の鏡型ディスプレイ8と画像入力部1であるカメラについて、具体的な態様を説明する。
Specific modes of the mirror-
今、使用者が身だしなみを確認するために、鏡型ディスプレイの正面に立ったとする。このとき、鏡型ディスプレイの正面に立つ人を撮影するカメラが使用者の画像データを取得する。カメラは、基本的に鏡型ディスプレイを見る使用者をほぼ正面から撮影できればどの位置に設置されていてもよく、例えば使用者から見て鏡型ディスプレイの右上角付近に設置してあれば、使用者の右上方からの画像情報を取得することが可能である。また、鏡型ディスプレイにハーフミラーとしての機能を持たせ、鏡ディスプレイの真裏にカメラを設置することで、使用者の真正面からの画像情報を取得することも可能である。 Assume that the user stands in front of a mirror-type display to check his appearance. At this time, a camera that captures a person standing in front of the mirror-type display acquires user image data. The camera can be installed at any position as long as it can shoot the user viewing the mirror display from almost the front. For example, if the camera is installed near the upper right corner of the mirror display, It is possible to acquire image information from the upper right of the person. Moreover, it is also possible to acquire image information from directly in front of the user by providing a mirror-type display with a function as a half mirror and installing a camera directly behind the mirror display.
図3は、鏡型ディスプレイの構成の一例を示す図である。 FIG. 3 is a diagram illustrating an example of a configuration of a mirror-type display.
図3(a)において、鏡型ディスプレイ8は、鏡体11上に電子情報を表示可能な薄膜の表示素子12を貼り付けている。薄膜の表示素子12は、光透過性があり、鏡体11上の一部に貼り付けてもよい。対面する使用者の像を鏡体11に反射させて現在の画像を表示する。同時に表示素子12により過去の画像を表示する。すなわち、鏡体11が現在の画像を表示する画像表示部に対応し、薄膜の表示素子12は、画像出力部7から出力される過去の画像として表示する情報表示部に対応する。
In FIG. 3A, the
鏡体11は不透明の例であり、画像入力部1であるカメラは、鏡型ディスプレイ8の周囲、例えば上方に設置する。
The
図3(b)は、鏡体と薄膜の表示素子が光透過性の半透明の例であり画像入力部であるカメラ1は、鏡型ディスプレイ8の真裏に設置する。
FIG. 3B shows an example in which the mirror and the thin film display element are translucent and translucent. The
図4は、鏡型ディスプレイの構成の他の例を示す図である。 FIG. 4 is a diagram illustrating another example of the configuration of the mirror-type display.
図4(a)において、鏡型ディスプレイ8は、鏡体21とスクリーン31から成っている。スクリーン31は、図5(a)のような構成でもよいが他の公知の表示手段でもよい。対面する使用者の像を鏡体21に反射させて現在の画像を表示する。同時に鏡体21とは離れた位置にあるスクリーン31上の過去の画像は、鏡体21に反射されて表示される。すなわち、鏡体21が現在の画像を表示する画像表示部に対応し、スクリーン31が画像出力部7から出力される過去の画像として表示される情報表示部に対応する。使用者は鏡の反射画像として結果を知覚することが可能である。この場合、使用者の視点・視線と、鏡体21とスクリーン31までの距離などを考慮すれば、出力すべき領域の算出は可能である。鏡体21は不透明の例であり、画像入力部1であるカメラは、鏡型ディスプレイ8の周囲、例えば上方に設置する。
In FIG. 4A, the
図4(b)は、鏡体が光透過性のハーフミラーの例であり画像入力部であるカメラ1は、鏡型ディスプレイ8の真裏に設置する。鏡体21の裏側にあるスクリーン31上の過去の画像は、鏡体21を透過して表示される。
FIG. 4B shows an example of a half-mirror whose mirror body is light transmissive, and the
図5は、鏡型ディスプレイの構成の他の例を示す図である。 FIG. 5 is a diagram illustrating another example of the configuration of the mirror-type display.
図5(a)において、鏡型ディスプレイ8は、全体をスクリーン43として構成し、基板41上に全面に電子情報を表示可能な薄膜の表示素子42を貼り付けている。対面する使用者の現在の画像は、画像入力部1により入力され、擬似的に鏡の機能を持たせている薄膜の表示素子42に表示される。画像出力部7から出力される過去の画像も、薄膜の表示素子42により表示される。すなわち、画像表示部と情報表示部は、共通のスクリーン43に対応する。
5A, the mirror-
図5(b)は、基板と薄膜の表示素子が光透過性の半透明の例であり画像入力部1であるカメラは、鏡型ディスプレイ8の真裏に設置する。
FIG. 5B shows an example in which the substrate and the thin film display element are translucent and translucent. The camera that is the
次に、図2のフローチャートを参照して、本実施形態の画像表示装置の動作について詳細に説明する。 Next, the operation of the image display apparatus of this embodiment will be described in detail with reference to the flowchart of FIG.
まず、使用者が鏡として利用する目的で鏡型ディスプレイ8の前方に立つ。画像入力部1により使用者を含む画像データが入力される(ステップS1)。入力された画像データから、画像処理部4により所定の領域が抽出される(ステップS2)。抽出された画像データは画像データベース6に記憶、格納される(ステップS3)。ステップS3とは別に、画像分析部5は、画像処理部4により抽出された画像データと、画像データベース6に記憶されている画像データとを比較照合分析し、その差分情報を分析結果として出力する(ステップS4)。画像出力部7は、分析結果を過去の画像として鏡型ディスプレイ8の所定の領域である情報表示部に表示する(ステップS5)。
First, the user stands in front of the mirror-
以下、ステップS1からステップS5について、詳述する。 Hereinafter, step S1 to step S5 will be described in detail.
図6は、入力される正面からの画像データの例を示す図である。 FIG. 6 is a diagram illustrating an example of input image data from the front.
図7は、顔領域を抽出した画像データの例を示す図である。 FIG. 7 is a diagram illustrating an example of image data obtained by extracting a face area.
画像処理部4は、入力されたこの画像データから所定の領域を抽出する。抽出される領域としては、例えば、顔領域、全身の領域などを画像データから使用者の領域のみを抽出したり、ある画面位置から特定の画像サイズ分を抽出したり、特定の形で抽出することも可能である。領域の抽出は、例えば顔領域の抽出などは、肌色部分を主に抽出する、あるいは、顔画像のテンプレート情報などを用いるといったことで可能である。
The
図8は、現在の画像データと画像データベースに蓄積された過去画像データとの比較照合処理を説明する図である。 FIG. 8 is a diagram for explaining a comparison / collation process between the current image data and the past image data stored in the image database.
本実施形態では、画像処理部4で抽出された画像データはラベル情報を付与した状態で画像データベースに過去画像データとして蓄積される。ラベル情報としては、主に使用者を区別するIDや時間情報などが考えられる。このようなラベル情報を用いることで蓄積された全過去画像データと比較照合するのではなく、所定のラベル情報が付与された過去画像データと比較照合処理を行う。例えば、同一人物の1年前の画像と比較照合する。
In the present embodiment, the image data extracted by the
使用者IDの付与は、既に使用者IDが付与された登録済み画像との類似度を測定し、類似度の最も高い画像データに付与された使用者IDを用いるといった自動処理が可能である。また、RFIDや指紋や声紋等の外部入力による個人認証も可能である。 The user ID can be automatically processed by measuring the degree of similarity with a registered image to which a user ID has already been assigned, and using the user ID assigned to the image data having the highest degree of similarity. In addition, personal authentication by external input such as RFID, fingerprint or voiceprint is also possible.
また、時間情報の付与は、画像が入力された時間情報を付与すればよい。 Further, the time information may be given by adding the time information when the image is input.
画像分析部5は、画像処理部4で抽出された画像データと画像データベースに蓄積されている所定の過去画像データと比較照合処理を行い、そのラベル情報を分析結果として出力する。例えば、1日前・1週間前・1月前・1年前の過去画像データと比較照合し、差分情報を分析結果として出力する。その際、差分の最も大きい画像データを選択し、そのラベル情報を選択して出力することが考えられる。
The
図9は、鏡型ディスプレイに現在の画像と過去の画像の双方を表示した状態を示す図である。 FIG. 9 is a diagram showing a state in which both the current image and the past image are displayed on the mirror-type display.
鏡に映った顔画像の近くに選択された過去の画像を表示している。 The selected past image is displayed near the face image reflected in the mirror.
使用者が鏡を利用する場合、自分自身以外の領域は特に不必要な空き領域となることが多い。よって例えば、画像処理部7で抽出した顔や身体に重ならない領域(顔の横の領域など)に表示すれば使用者の邪魔にならずに表示が可能である。
When the user uses a mirror, the area other than himself is often an unnecessary space. Therefore, for example, if the image is displayed on the face extracted by the
画像出力部7は、過去の画像を、情報表示部に表示するが、鏡ディスプレイ8のどの領域に表示するかを判断する。過去の画像を表示する場合、現在の顔画像に重ならない領域に表示してもよいし、逆に顔画像に重なるように表示すれば差分が見やすくなることもある。これにより、例えば、1年でどの程度太った、又はやせたといったことが使用者は一目で判断が可能となる。
The
また、分析結果表示中に使用者が動いたような場合は、表示する領域を動的に判断し表示結果を移動させることも考えられる。 In addition, when the user moves during the analysis result display, it may be possible to dynamically determine the display area and move the display result.
[実施形態2]
本実施形態において、その鏡型ディスプレイの構成は、実施形態1の図3−5に示した構成と同一である。
[Embodiment 2]
In the present embodiment, the configuration of the mirror-type display is the same as the configuration shown in FIGS.
図10は、本発明を実施するための実施形態2の構成を示すブロック図である。 FIG. 10 is a block diagram showing a configuration of the second embodiment for carrying out the present invention.
図11は、本発明を実施するための実施形態2のフローチャートである。
FIG. 11 is a flowchart of
図10を参照すると、本実施形態の画像表示装置は、図1に示された実施形態1における構成に加えて、分析用知識ベース9を有する。本実施形態は、画像分析部5において画像データベース6、及び分析用知識ベース9の双方を用いて、入力画像データの分析を行い、その分析結果を出力する点で、実施形態1と異なる。
Referring to FIG. 10, the image display apparatus according to the present embodiment has an analysis knowledge base 9 in addition to the configuration of the first embodiment shown in FIG. The present embodiment is different from the first embodiment in that the
分析用知識ベース9には、画像データを分析する上で必要となる画像データの特徴が、ラベル情報が付与された状態であらかじめ記憶されていると共に、画像データの差分情報の特徴が、ラベル情報が付与された状態であらかじめ記憶されている。 In the analysis knowledge base 9, the characteristics of the image data necessary for analyzing the image data are stored in advance with the label information attached, and the characteristics of the difference information of the image data are the label information. Is stored in advance in a state of being assigned.
画像分析部5は、画像処理部4から出力される抽出済み画像データに対して、分析用知識ベース9に記憶されている画像データの特徴を参照し、その特徴に該当するかどうかの分析を行い、該当した画像データの特徴に付与されたラベル情報を分析結果として出力する。また、画像処理部4から出力される抽出済み画像データと画像データベース6に記憶されている所定の過去画像データとの比較照合分析の結果、差分情報が得られる。その差分情報に対して、分析用知識ベース9に記憶されている画像データの差分情報の特徴を参照し、その特徴に該当するかどうかの分析も行い、該当した画像データの差分情報の特徴に付与されたラベル情報を分析結果として出力する。
The
画像出力部7は、画像分析部5から出力される分析結果を、鏡型ディスプレイ8の所定の領域である情報表示部に表示する。
The
鏡型ディスプレイ8は、画像表示部と情報表示部からなり、対面する使用者の現在の画像を画像表示部に表示し、画像出力部7は、画像分析部4から出力される分析結果を過去の画像として情報表示部に表示する。これは、実施形態1と同様である。本実施形態では、更に現在の画像データを分析し特徴に付与されたラベル情報、及び上記差分情報の特徴に付与されたラベル情報も情報表示部に表示する。
The mirror-
次に、図11のフローチャートを参照して、本実施形態の画像表示装置の動作について詳細に説明する。 Next, the operation of the image display apparatus of this embodiment will be described in detail with reference to the flowchart of FIG.
まず、使用者が鏡として利用する目的で鏡型ディスプレイ8の前方に立つ。画像入力部1により使用者を含む画像データが入力される(ステップS1)。入力された画像データから、画像処理部4により所定の領域が抽出される(ステップS2)。抽出された画像データは画像データベース6に記憶、格納される(ステップS3)。
First, the user stands in front of the mirror-
画像分析部5は、画像処理部4により抽出された画像データを入力とし、分析用知識ベース9を参照して、画像データに該当する特徴に付与されたラベル情報を分析結果として出力する(ステップS5)。更に画像分析部5は、画像処理部4により抽出された画像データと、画像データベース6に記憶されている画像データとを比較照合分析し、その差分情報を得る(ステップS4)。更に画像分析部5は、ステップS4で得られた画像データの差分情報を入力とし、分析用知識ベース9を参照して、差分情報に該当する特徴に付与されたラベル情報を分析結果として出力する(ステップS6)。画像出力部7は、ステップS4の分析結果である過去の画像、及びステップS5、ステップS6の分析結果であるラベル情報を鏡型ディスプレイ8の所定の領域である情報表示部に表示する(ステップS7)。
The
図12は、鏡型ディスプレイに現在の画像と過去の画像の双方を表示し、更に現在の画像データを分析した結果、及び差分情報を分析した結果をラベル情報として表示した状態を示す図である。 FIG. 12 is a diagram showing a state in which both the current image and the past image are displayed on the mirror-type display, and the result of analyzing the current image data and the result of analyzing the difference information are displayed as label information. .
現在の画像データを分析した結果について、分析結果の文字列は顔領域以外に表示し、顔領域中に矢印を表示させている。 Regarding the result of analyzing the current image data, the character string of the analysis result is displayed outside the face area, and an arrow is displayed in the face area.
分析用知識ベース9には、例えば、「下腹が出ている→肥満」、「歯に黒い部分がある→虫歯」、「目の下に黒い部分がある→くまができている、寝不足」といったように、画像データの特徴とそのラベル情報とが対応付けられてあらかじめ登録されている。画像データの特徴としては、健康状態や疾患の兆候などが外見的な特徴で判断可能であるような特徴が主に登録されており、ラベル情報としては特徴の名称(下腹が出ている等)その健康状態や疾患の名称(肥満)が主に登録されている。 The analysis knowledge base 9 includes, for example, “the lower stomach is overweight → obesity”, “the tooth has a black portion → cavities”, “the black portion under the eye → the bear is made, and sleep is insufficient” The feature of the image data and its label information are registered in advance in association with each other. Features of image data are mainly registered so that health conditions and signs of disease can be judged by appearance features, and the name of the feature (eg, abdomen) as label information Its health condition and disease name (obesity) are mainly registered.
この処理により、例えば目の下が黒ずんでいるような画像データに対して、「くまができてます」といった分析結果を出力することになる。また、「早く寝ましょう」などのように対応アドバイス情報などを同時にラベルとして記憶させておけば、分析結果としてアドバイスも分析結果として出力でき、最終的にアドバイスを使用者に提示することが可能である。画像データの分析は、例えば顔画像の分析の場合、目や口など特定の部位の画像位置の特定は、その部位の色情報や顔テンプレートなどを利用することで可能であるし、既に画像処理部4で顔領域を抽出する際に目の位置などを特定しているのであれば、その情報を用いればよい。また、使用者の顔領域内の疾患の特徴が見られる領域に矢印や○印を表示することで、更に分かりやすい結果表示方法も可能である。
With this processing, for example, an analysis result such as “I can bear” is output for image data in which the eyes are darkened. In addition, if you store the corresponding advice information as a label at the same time, such as “Let's go to bed early”, the advice can be output as the analysis result, and the advice can be finally presented to the user. It is. For example, in the case of analysis of a face image, the image data can be identified by using the color information of the part, the face template, or the like to specify the image position of a specific part such as an eye or a mouth. If the position of the eyes is specified when the face area is extracted by the
現在の画像に対して分析処理を行った抽出済み画像データも合わせて表示しても構わない。 Extracted image data obtained by performing analysis processing on the current image may also be displayed.
他方、差分情報を分析した結果も表示する。分析用知識ベース9には、ラベル情報が付与された画像特徴データに加えて、画像データの差分情報の特徴データがラベル情報を付与された状態で、記憶されている。例えば、「1年前よりも顔周りが約10cm程度増加→太りすぎ、食事制限の必要あり」といったデータが考えられる。 On the other hand, the result of analyzing the difference information is also displayed. In the analysis knowledge base 9, in addition to the image feature data to which the label information is assigned, the feature data of the difference information of the image data is stored with the label information added. For example, data such as “the area around the face has increased by about 10 cm compared to a year ago → becomes overweight and needs to be dietary restricted” can be considered.
これにより、実施形態1のように差分の大きい過去画像データを出力するだけでなく、その差分がどのような状態のものか、その差分がどのような健康的な影響を持つものなのかを、使用者に提示することが可能となる。 As a result, not only the past image data with a large difference is output as in the first embodiment, but also the state of the difference and the health effect of the difference. It can be presented to the user.
1年前との画像との比較、その結果太ったと分析された結果を表示させている。表示位置は使用者の顔の横に出して、判断しやすいようにした。 The result of the comparison with the image of one year ago and the result of analysis as fat as a result is displayed. The display position is placed next to the user's face so that it can be easily judged.
分析された結果は、例えば、「1年前より少し太りました」、「ほほが太った」、「全体的にやせた」、「身長が伸びた」、「姿勢が悪くなった」、などとして表示する。また、ほほが太ったことを示すために1年前の画像のほほの個所にスジをつけてもよい。 Analyzed results are displayed as, for example, “I got a little bit more than a year ago”, “I was overweight”, “I was thin overall”, “I was taller”, “I got worse” To do. In addition, streaks may be added to the cheeks of the image one year ago to indicate that cheeks are fat.
このように、現在の画像データを分析した結果、及び差分情報を分析した結果を表示しているが、一方を表示しないようにすることもできる。 As described above, the result of analyzing the current image data and the result of analyzing the difference information are displayed, but it is also possible not to display one of them.
本実施形態では結果を鏡型ディスプレイ上に出力することについて説明してきたが、結果を使用者が見ている鏡型ディスプレイに表示するだけでなく、分析結果を音声出力することもできる。また、サーバに記憶させ別の情報機器から結果を参照できるようにしたり、医師等の専門家・家族や上司などが有する情報機器に分析結果を送信して知らせたりすることも可能である。 Although the present embodiment has been described with respect to outputting a result on a mirror-type display, not only the result is displayed on a mirror-type display that the user is looking at, but also the analysis result can be output as a voice. It is also possible to store the information in a server so that the result can be referred to from another information device, or to send the analysis result to an information device owned by a specialist such as a doctor, a family, a boss, or the like.
本発明の画像表示装置は、日常使われる住宅内の洗面台に適用することができる。 The image display device of the present invention can be applied to a washstand in a house that is used everyday.
1…画像入力部(カメラ)
2…制御部
3…操作入力部
4…画像処理部
5…画像分析部
6…画像データベース
7…画像出力部
8…鏡型ディスプレイ
11…鏡体
12…表示素子
21…鏡体
31…スクリーン
41…基板
42…表示素子
43…スクリーン
1. Image input unit (camera)
DESCRIPTION OF
Claims (11)
前記鏡型ディスプレイは、対面する対象者の現在の画像を表示する画像表示部と、少なくとも前記画像データにより得た過去の画像を含む情報を表示する情報表示部を有し、
前記現在の画像と前記過去の画像の双方が対象者の視覚に入るようにされており、
前記過去の画像は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴と前記画像データ記憶部に記憶されている過去の画像データから抽出する前記対象者の過去の外見的特徴とを比較照合分析し、分析の結果として得た、前記対象者の現在の外見的特徴と前記対象者の過去の外見的特徴との差分情報から選択した過去の画像であり、
前記情報表示部は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴を分析し、前記対象者の現在の外見的特徴と一致する特徴に付与されたラベル情報を表示することを特徴とする画像表示装置。 An image display device comprising an image input unit that captures image data of a subject, an image data storage unit that stores the image data, and a mirror-type display,
The mirror-type display has an image display unit that displays a current image of a person to be faced, and an information display unit that displays information including at least a past image obtained from the image data.
Both the current image and the past image are adapted to enter the subject's vision,
The past image is extracted from the current appearance feature of the subject extracted from the current image data captured by the image input unit and the past image data stored in the image data storage unit. The past image selected from the difference information between the current appearance feature of the subject and the past appearance feature of the subject obtained as a result of the comparison and analysis of the past appearance feature of the subject And
The information display unit analyzes a current appearance feature of the subject extracted from the current image data captured by the image input unit, and is given to a feature that matches the current appearance feature of the subject. images display you and displaying the label information.
前記鏡型ディスプレイは、対面する対象者の現在の画像を表示する画像表示部と、少なくとも前記画像データにより得た過去の画像を含む情報を表示する情報表示部を有し、
前記現在の画像と前記過去の画像の双方が対象者の視覚に入るようにされており、
前記過去の画像は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴と前記画像データ記憶部に記憶されている過去の画像データから抽出する前記対象者の過去の外見的特徴とを比較照合分析し、分析の結果として得た、前記対象者の現在の外見的特徴と前記対象者の過去の外見的特徴との差分情報から選択した過去の画像であり、
前記情報表示部は、前記差分情報と一致する外見的特徴の差分の特徴に付与されたラベル情報を表示することを特徴とする画像表示装置。 An image display device comprising an image input unit that captures image data of a subject, an image data storage unit that stores the image data, and a mirror-type display,
The mirror-type display has an image display unit that displays a current image of a person to be faced, and an information display unit that displays information including at least a past image obtained from the image data.
Both the current image and the past image are adapted to enter the subject's vision,
The past image is extracted from the current appearance feature of the subject extracted from the current image data captured by the image input unit and the past image data stored in the image data storage unit. The past image selected from the difference information between the current appearance feature of the subject and the past appearance feature of the subject obtained as a result of the comparison and analysis of the past appearance feature of the subject And
Wherein the information display unit, the difference information with the images display you and displaying the label information assigned to the feature of difference between the appearance characteristic matching.
前記鏡型ディスプレイは、対面する対象者の現在の画像を表示する画像表示部と、少なくとも前記画像データにより得た過去の画像を含む情報を表示する情報表示部を有し、
前記現在の画像と前記過去の画像の双方が対象者の視覚に入るようにされており、
前記過去の画像は、前記画像入力部で取り込まれた現在の画像データから抽出する前記対象者の現在の外見的特徴と前記画像データ記憶部に記憶されている過去の画像データから抽出する前記対象者の過去の外見的特徴とを比較照合分析し、分析の結果として得た、前記対象者の現在の外見的特徴と前記対象者の過去の外見的特徴との差分情報から選択した過去の画像であり、
前記鏡型ディスプレイは、鏡体とスクリーンで構成し、前記画像表示部の前記現在の画像は、対象者の像が前記鏡体で反射されることにより表示され、前記情報表示部の前記情報は、前記スクリーン上の情報が前記鏡体で反射されて表示されることを特徴とする画像表示装置。 An image display device comprising an image input unit that captures image data of a subject, an image data storage unit that stores the image data, and a mirror-type display,
The mirror-type display has an image display unit that displays a current image of a person to be faced, and an information display unit that displays information including at least a past image obtained from the image data.
Both the current image and the past image are adapted to enter the subject's vision,
The past image is extracted from the current appearance feature of the subject extracted from the current image data captured by the image input unit and the past image data stored in the image data storage unit. The past image selected from the difference information between the current appearance feature of the subject and the past appearance feature of the subject obtained as a result of the comparison and analysis of the past appearance feature of the subject And
The mirror display includes a mirror body and a screen, and the current image of the image display unit is displayed by reflecting an image of a subject on the mirror body, and the information of the information display unit is , images display you characterized in that the information on the screen is displayed is reflected by the mirror body.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007218335A JP5435250B2 (en) | 2007-08-24 | 2007-08-24 | Image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007218335A JP5435250B2 (en) | 2007-08-24 | 2007-08-24 | Image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009053328A JP2009053328A (en) | 2009-03-12 |
JP5435250B2 true JP5435250B2 (en) | 2014-03-05 |
Family
ID=40504479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007218335A Active JP5435250B2 (en) | 2007-08-24 | 2007-08-24 | Image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5435250B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5468859B2 (en) * | 2009-09-30 | 2014-04-09 | パナソニック株式会社 | Intercom system |
JP2013101242A (en) | 2011-11-09 | 2013-05-23 | Sony Corp | Image processor, display control method and program |
EP3091737A3 (en) * | 2013-02-14 | 2017-02-15 | Panasonic Intellectual Property Management Co., Ltd. | Digital mirror apparatus |
KR20150072463A (en) * | 2013-12-11 | 2015-06-30 | 한국 한의학 연구원 | Health state determining method and health state determining apparatus using image of face |
KR102420100B1 (en) * | 2014-03-14 | 2022-07-13 | 삼성전자주식회사 | Electronic apparatus for providing health status information, method for controlling the same, and computer-readable storage medium |
EP2919142B1 (en) * | 2014-03-14 | 2023-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing health status information |
JP6541940B2 (en) * | 2014-04-30 | 2019-07-10 | シャープ株式会社 | Display device |
JP2015210797A (en) * | 2014-04-30 | 2015-11-24 | シャープ株式会社 | Display divice |
WO2015166691A1 (en) * | 2014-04-30 | 2015-11-05 | シャープ株式会社 | Display device |
JP7128473B2 (en) * | 2018-11-27 | 2022-08-31 | 国立大学法人東京工業大学 | Character display method |
JP2021002047A (en) * | 2020-08-26 | 2021-01-07 | 株式会社東芝 | Image processing device, image processing system, user terminal, image processing method, and program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11197116A (en) * | 1998-01-08 | 1999-07-27 | Mitsubishi Electric Corp | Health care system |
JP2000060752A (en) * | 1998-08-20 | 2000-02-29 | Toto Ltd | Wash toilet stand |
JP2002183315A (en) * | 2000-12-19 | 2002-06-28 | National Institute Of Advanced Industrial & Technology | Washstand type display device |
JP3505575B2 (en) * | 2001-03-23 | 2004-03-08 | 独立行政法人産業技術総合研究所 | Digital mirror device |
JP2004008632A (en) * | 2002-06-10 | 2004-01-15 | Foundation For Nara Institute Of Science & Technology | Complexion measuring instrument |
JP2004357103A (en) * | 2003-05-30 | 2004-12-16 | Pioneer Electronic Corp | Mirror device with display device |
JP4056443B2 (en) * | 2003-08-21 | 2008-03-05 | Necフィールディング株式会社 | Health checkup system and program |
JP2005078589A (en) * | 2003-09-03 | 2005-03-24 | Toshiba Corp | Person recognition device and traffic control device |
JP2005200203A (en) * | 2004-01-19 | 2005-07-28 | Mitsubishi Electric Corp | Display device with mirror of elevator car |
-
2007
- 2007-08-24 JP JP2007218335A patent/JP5435250B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US12106630B2 (en) | 2018-07-25 | 2024-10-01 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
Publication number | Publication date |
---|---|
JP2009053328A (en) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5435250B2 (en) | Image display device | |
CN114502061B (en) | Image-based automatic skin diagnosis using deep learning | |
US10192033B2 (en) | Capturing data for individual physiological monitoring | |
US8038615B2 (en) | Inferring wellness from physiological conditions data | |
US7972266B2 (en) | Image data normalization for a monitoring system | |
EP2829221B1 (en) | Asperger's diagnosis assistance device | |
US8038614B2 (en) | Establishing baseline data for physiological monitoring system | |
US8062220B2 (en) | Monitoring physiological conditions | |
JP6329696B2 (en) | Biological information analysis system | |
JP4765429B2 (en) | Wash unit with body measurement function | |
US20080294018A1 (en) | Privacy management for well-being monitoring | |
US20160262624A1 (en) | Lens information management system for surface condition measurement and analysis and information management method for surface condition measurement and analysis | |
JP2010086036A (en) | Diagnostic device and diagnostic method | |
KR101793468B1 (en) | Self-Beauty App platform System using AR and method | |
JP2006305260A (en) | Expression diagnosis assisting apparatus | |
US11599739B2 (en) | Image suggestion apparatus, image suggestion method, and image suggestion program | |
WO2008033010A1 (en) | Device and method for positioning recording means for recording images relative to an object | |
JP4059829B2 (en) | Method for calculating skin age from skin measurement value and display method thereof | |
JP5555073B2 (en) | Beauty support device and beauty counseling method | |
JP2002183315A (en) | Washstand type display device | |
JP2004008632A (en) | Complexion measuring instrument | |
TW201720364A (en) | Color vision examination method and system for objectively examining color recognition capability of examinee | |
US11475564B2 (en) | Non-invasive non-contact system and method for measuring health parameters | |
JP4028960B2 (en) | Esthetic support system and esthetic support computer | |
KR200473892Y1 (en) | Apparatus for analyzing image with mirror |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100716 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101022 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5435250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |