JP5845079B2 - 表示装置およびｏｓｄ表示方法 - Google Patents
表示装置およびｏｓｄ表示方法 Download PDFInfo
- Publication number
- JP5845079B2 JP5845079B2 JP2011271107A JP2011271107A JP5845079B2 JP 5845079 B2 JP5845079 B2 JP 5845079B2 JP 2011271107 A JP2011271107 A JP 2011271107A JP 2011271107 A JP2011271107 A JP 2011271107A JP 5845079 B2 JP5845079 B2 JP 5845079B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- osd
- user
- unit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、表示装置およびＯＳＤ表示方法に関し、より詳細には、画像データを領域毎に表示可能な大画面ディスプレイを備えた表示装置およびＯＳＤ表示方法に関する。
従来、Ｓｋｙｐｅ（登録商標）等のビデオ電話アプリケーションを用いて、複数のユーザ間でユーザの画像を互いに表示させながら音声通話を行う表示装置が知られている。最近の表示装置は大画面化されており、３人以上の多人数であっても同時に一画面にユーザの画像を表示させることが可能となっている。このようなビデオ電話アプリケーションと大画面の表示装置とを組み合わせることにより、企業等においては遠隔地にある複数の事業所をネットワーク経由で結んで、多人数でビデオ会議を行うことができるため、出張経費を削減できるなどの大きなメリットがある。このため企業等ではビデオ電話アプリケーションを用いたビデオ会議システムの導入が進んでいる。
一方、上記のような大画面の表示装置を用いてプレゼンテーションを行う技術が提案されている（例えば、特許文献１を参照）。この特許文献１に記載の大画面プレゼンテーションシステム用ポインティング装置によれば、プレゼンテーションする画像を表示するディスプレイと、ディスプレイ上で指示すべき点を表示するカーソルと、説明者の眼球の近傍に設置され説明者の注視点を検出する視線追従センサとを備え、この視線追従センサの出力を受けて演算し説明者が注視しているプレゼンテーション画面上の個所にカーソルを移動させるように構成されている。
図１８は、従来の表示装置を用いたビデオ電話システムにおける画面表示例を示す図で、図中、１００は表示装置、１０１はカメラを示す。この例では、ビデオ電話アプリケーション（以下、ビデオ電話アプリという）を用いて、ユーザＡ〜Ｄの４人のユーザ間でネットワークを介してビデオ会議を行う場合について想定する。つまり、ユーザＤは表示装置１００の画面を見ながら、ユーザＡ〜Ｃと音声通話を行うように構成されている。表示装置１００は、ユーザＡの画像を表示する領域１０２と、ユーザＢの画像を表示する領域１０３と、ユーザＣの画像を表示する領域１０４とを有し、ＯＳＤ（On Screen Display）の表示内容としてビデオ電話アプリを操作するための操作パネル１０５を表示する。なお、ユーザＤはカメラ１０１で撮影され、ユーザＤの撮影画像は他のユーザＡ〜Ｃの表示装置（図示せず）にネットワークを介して送信され、図１８の例と同様にユーザＡ〜Ｃのそれぞれの表示装置の画面上に表示される。
図１８において、ユーザＤが例えばユーザＡの領域１０２を見ながら、音声通話を行っている場合、操作パネル１０５は領域１０３上に表示されているため、ユーザＤの視界に入らない。このため、ユーザＤがユーザＡの領域１０２を見ながら操作パネル１０５を操作するためには、操作パネル１０５を移動させ、ユーザＡの領域１０２上に表示させなくてはならない。すなわち、ユーザＤは視線を移した先の領域に操作パネル１０５が表示されていない場合には、その都度操作パネル１０５を移動させる必要があり、面倒な操作を強いられていた。
これに対して、上述の特許文献１に記載の技術を用いることで、ユーザＤが視線を移した先の画面上の位置に操作パネル１０５を移動させることができる。しかしながら、ユーザＤがユーザＡの顔に視線を向けていれば、操作パネル１０５はユーザＡの顔に重畳され、ユーザＡの顔が隠れてしまう。このため、ユーザＤはユーザＡの顔が隠れないように操作パネル１０５の表示位置を調整しなくてはならず、ユーザＤはやはり面倒な操作を行わなければならなかった。
本発明は、上述のような実情に鑑みてなされたもので、ネットワークを介して受信した画像データを領域毎に表示させたときに、ユーザが視線を向けた領域の画像データの邪魔にならず、ユーザが見易い適切な場所にＯＳＤを配置することができる表示装置およびＯＳＤ表示方法を提供すること、を目的とする。
上記課題を解決するために、本発明の第１の技術手段は、ネットワークを介して受信した画像データを領域毎に表示する表示部を備えた表示装置であって、前記表示部の画面を見るユーザを撮影する撮影部と、該撮影した撮影データを解析してユーザの位置および視線の方向を検出する視線検出部と、該検出したユーザの位置および視線の方向に基づいて該視線が到達する前記表示部の画面上の領域を決定する領域決定部と、該決定した領域の画像データから特定部分を抽出する特定部分抽出部と、該抽出した特定部分の位置に重ならないようにＯＳＤの表示位置を算出するＯＳＤ表示位置算出部とを備え、前記表示部は、前記ＯＳＤ表示位置算出部で算出したＯＳＤの表示位置に該ＯＳＤを表示することを特徴としたものである。
第２の技術手段は、第１の技術手段において、前記特定部分抽出部は、前記特定部分として、人間の顔部分を抽出することを特徴としたものである。
第３の技術手段は、第１または第２の技術手段において、前記ＯＳＤの表示内容は、前記表示装置で実行される所定のアプリケーションを操作するための操作パネルであることを特徴としたものである。
第４の技術手段は、第３の技術手段において、前記ＯＳＤの表示内容は、前記所定のアプリケーションに係る付加情報を含むことを特徴としたものである。
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記ＯＳＤは、前記特定部分に重ならない位置であって、該特定部分の近傍位置に配置されることを特徴としたものである。
第６の技術手段は、ネットワークを介して受信した画像データを領域毎に表示する表示部を備えた表示装置によるＯＳＤ表示方法であって、前記表示部の画面を見るユーザを撮影する撮影ステップと、該撮影した撮影データを解析してユーザの位置および視線の方向を検出する視線検出ステップと、該検出したユーザの位置および視線の方向に基づいて該視線が到達する前記表示部の画面上の領域を決定する領域決定ステップと、該決定した領域の画像データから特定部分を抽出する特定部分抽出ステップと、該抽出した特定部分の位置に重ならないようにＯＳＤの表示位置を算出するＯＳＤ表示位置算出ステップと、該算出したＯＳＤの表示位置に該ＯＳＤを表示する表示ステップとを備えたことを特徴としたものである。
本発明によれば、ネットワークを介して受信した画像データを領域毎に表示させたときに、ユーザの位置および視線を検出することによりユーザが見ている領域を決定し、その領域の画像データに含まれる特定部分に重ならないようにＯＳＤの表示位置を算出することができるため、ユーザが視線を向けた領域の画像データの邪魔にならず、ユーザが見易い適切な場所にＯＳＤを配置することができる。
以下、添付図面を参照しながら、本発明の表示装置およびＯＳＤ表示方法に係る好適な実施の形態について説明する。
図１は、本発明の一実施形態に係る表示装置の構成例を示すブロック図で、図中、１０は表示装置を示す。表示装置１０は、距離・視線角度検出用データベース１１と、画像データから特定部分（顔部分や矩形部分など）を抽出する画像検出部１２と、表示装置１０の動作を制御する主制御部１３と、ＯＳＤ（On Screen Display）の表示位置を算出する表示位置算出部１４と、映像表示制御部１５ａおよびＯＳＤ表示制御部１５ｂを含む表示部１５と、リモコン等の操作入力機器２１と通信し操作入力機器２１から操作信号を入力する通信部１６と、カメラ２２と接続しカメラ２２の動作を制御するカメラ制御部１７と、ネットワークの一例であるインターネット２３を介して他のユーザの表示装置と接続するインターネット制御部１８とを備える。
図２は、本発明の表示装置をビデオ電話システムに適用した場合の画面表示例を示す図である。本例では、表示装置１０で実行される所定のアプリケーションの一例としてＳｋｙｐｅ（登録商標）等のビデオ電話アプリケーション（ビデオ電話アプリ）を例示し、このビデオ電話アプリを用いて、ユーザＡ〜Ｄの４人のユーザ間でインターネット２３を介してビデオ会議を行う場合について説明する。つまり、ユーザＤは表示装置１０の画面を見ながら、ユーザＡ〜Ｃと音声通話を行うように構成されている。表示装置１０は、ユーザＡの画像を表示する領域１５１と、ユーザＢの画像を表示する領域１５２と、ユーザＣの画像を表示する領域１５３とを有し、ＯＳＤの表示内容の一例としてビデオ電話アプリを操作するための操作パネル１５４を表示する。なお、ユーザＤはカメラ２２で撮影され、ユーザＤの撮影画像は他のユーザＡ〜Ｃの表示装置（図示せず）にインターネット２３を介して送信され、図２の例と同様にユーザＡ〜Ｃのそれぞれの表示装置の画面上に表示される。
本発明の主たる目的は、ネットワークを介して受信した画像データを領域毎に表示させたときに、ユーザが視線を向けた領域の画像データの邪魔にならず、ユーザが見易い適切な場所にＯＳＤを配置することにある。このための構成として、図１，２において、表示装置１０は、表示部１５の画面を見るユーザＤを撮影する撮影部と、撮影した撮影データを解析してユーザＤの位置および視線の方向を検出する視線検出部と、検出したユーザＤの位置および視線の方向に基づいて視線が到達する表示部１５の画面上の領域を決定する領域決定部と、決定した領域の画像データから特定部分（顔部分など）を抽出する特定部分抽出部と、抽出した特定部分の位置に重ならないようにＯＳＤの表示位置を算出するＯＳＤ表示位置算出部とを備える。なお、カメラ２２は撮影部に相当し、画像検出部１２は視線検出部、領域決定部、および特定部分抽出部に相当し、表示位置算出部１４はＯＳＤ表示位置算出部に相当する。
表示部１５は、例えば、液晶ディスプレイなどの表示デバイスとして構成され、インターネット２３を介して受信したユーザＡ〜Ｃのビデオストリームを領域毎に表示すると共に、表示位置算出部１４で算出したＯＳＤの表示位置に操作パネル１５４を表示する。表示部１５は、映像表示制御部１５ａおよびＯＳＤ表示制御部１５ｂを備え、映像表示制御部１５ａはユーザＡ〜Ｃのビデオストリームを領域毎に表示するように表示部１５を制御し、ＯＳＤ表示制御部１５ｂは表示位置算出部１４で算出したＯＳＤの表示位置に操作パネル１５４が表示されるように表示部１５を制御する。
図２において、ユーザＡ〜Ｄの４者間でビデオ通話を行う際に、ユーザＤの表示装置１０では、ユーザＡ，Ｂ，Ｃの各表示装置（図示せず）から、ユーザＡ，Ｂ，Ｃそれぞれを撮影したビデオストリームとして、ｖｉｄｅｏＡ，Ｂ，Ｃをインターネット２３経由で受信し、図２（Ａ）に示すように、表示部１５の各領域に表示する。また、表示部１５の中心にはカメラ２２が設置されており、カメラ２２によりユーザＤが撮影される。そして、表示装置１０は、ユーザＤを撮影したビデオストリームとして、ｖｉｄｅｏＤをインターネット２３経由でユーザＡ，Ｂ，Ｃの各表示装置に送信する。
また、ビデオ電話アプリを操作するための操作パネル１５４を図２（Ｂ）に例示する。この操作パネル１５４は、リモコン等の操作入力機器２１の十字キーに応じて操作ができるように操作ボタンが配置されている。つまり、ユーザＤは、操作パネル１５４を見ながら操作入力機器２１の十字キーを操作することにより、操作パネル１５４の操作ボタンを選択して実行することができる。なお、図２(Ｂ)の例では「Ｅｎｄ ｃａｌｌ」が選択されている。
図３は、本発明の表示装置１０によるＯＳＤ表示方法の一例を説明するための図である。なお、ｖｉｄｅｏＡはユーザＡを撮影したビデオストリーム、ｖｉｄｅｏＢはユーザＢを撮影したビデオストリーム、ｖｉｄｅｏＣはユーザＣを撮影したビデオストリーム、ｖｉｄｅｏＤはユーザＤを撮影したビデオストリームを示す。
まず、カメラ２２でユーザＤを撮影したｖｉｄｅｏＤは、主制御部１３に送信され（Ｓ１）、主制御部１３は、このｖｉｄｅｏＤをインターネット２３を介してユーザＡ〜Ｃの各表示装置に送信すると共に、映像表示制御部１５ａに出力し（Ｓ２）、映像表示制御部１５ａは、主制御部１３から入力されたｖｉｄｅｏＤを“ＰｌａｎｅＬ”として図示しないフレームバッファに保存する（Ｓ３）。
次に、主制御部１３は、インターネット２３を介してユーザＡ〜Ｃの各表示装置からｖｉｄｅｏＡ，Ｂ，Ｃおよびその領域情報を受信し（Ｓ４）、受信したｖｉｄｅｏＡ，Ｂ，Ｃの領域情報として、AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h)をメモリ（図示せず）に保存する（Ｓ５）。そして、主制御部１３は、ｖｉｄｅｏＡ，Ｂ，Ｃおよびその領域情報(AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h))を映像表示制御部１５ａに出力し（Ｓ６）、映像表示制御部１５ａは、主制御部１３から入力されたｖｉｄｅｏＡ，Ｂ，Ｃおよびその領域情報(AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h))を、それぞれ“ＰｌａｎｅＡ”、“ＰｌａｎｅＢ”、“ＰｌａｎｅＣ”としてフレームバッファに保存し、これらのｖｉｄｅｏＡ，Ｂ，Ｃを図２（Ａ）の例のように画面上に表示する。（Ｓ７）。
次に、主制御部１３は、カメラ２２からユーザＤを撮影したｖｉｄｅｏＤを入力すると（Ｓ８）、このｖｉｄｅｏＤを画像検出部１２に出力する（Ｓ９）。画像検出部１２は、主制御部１３から入力されたｖｉｄｅｏＤを解析しユーザＤの位置および視線の方向を検出し、検出したユーザＤの位置(Dposition(x,y,z))および視線の方向(Deye_dir(r,y,p))を主制御部１３に返す（Ｓ１０）。主制御部１３は、ユーザＤの位置(Dposition(x,y,z))および視線の方向(Deye_dir(r,y,p))をメモリに保存し（Ｓ１１）、Ｓ５で保存したｖｉｄｅｏＡ，Ｂ，Ｃの領域情報(AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h))と、Ｓ１１で保存したユーザＤの位置(Dposition(x,y,z))および視線の方向(Deye_dir(r,y,p))とを表示位置算出部１４に出力する（Ｓ１２）。この際、カメラ２２の設置位置情報（CameraPosition(x,y)）も主制御部１３から表示位置算出部１４に出力される。なお、本例ではカメラ２２の設置位置は固定としている。
表示位置算出部１４は、主制御部１３から入力された、ユーザＤの位置(Dposition(x,y,z))および視線の方向(Deye_dir(r,y,p))と、ｖｉｄｅｏＡ，Ｂ，Ｃの領域情報(AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h))と、カメラ２２の設置位置情報（CameraPosition(x,y)）とに基づいて、第１の表示位置算出処理を実行する（Ｓ１３）。
表示位置算出部１４による第１の表示位置算出処理のアルゴリズムの概要を図４（Ａ）に示す。表示位置算出部１４は、上記のDposition(x,y,z)、Deye_dir(r,y,p)、AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h)、CameraPosition(x,y)が入力されると、三角関数を用いて、ユーザＤが見ているポイントの中心位置（UserSpot(x,y)）を複数確定し（Ｓ３１）、確定した複数のUserSpot(x,y)の平均値を取得する（Ｓ３２）。そして、表示位置算出部１４は、取得した平均値に基づいてユーザＤがユーザＡ、Ｂ，Ｃの誰を見ているか（つまり、ユーザＤがｖｉｄｅｏＡ，Ｂ，Ｃのどのｖｉｄｅｏ ｐｌａｎｅを見ているか）を決定し（Ｓ３３）、主制御部１３に対して、ｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）が選択されたことを示す“Select VideoX=AorBorC”を出力する。
すなわち、図３において、表示位置算出部１４は、上記の第１の表示位置算出処理により、ｖｉｄｅｏＡ，Ｂ，Ｃの中からユーザＤが見ているｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）を選択し、ｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）が選択されたことを示す“Select VideoX=AorBorC”を主制御部１３に出力する（Ｓ１４）。
次に、主制御部１３は、表示位置算出部１４から入力された“Select VideoX=AorBorC”に応じて、インターネット２３を介してｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）を受信すると（Ｓ１５）、受信したｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）を画像検出部１２に出力する（Ｓ１６）。画像検出部１２は、主制御部１３から入力されたｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）から顔検出を行ない、その検出結果（Xface(x,y,v,h)）を主制御部１３に返す（Ｓ１７）。なお、顔検出は従来公知の方法により実現することができる。主制御部１３は、顔検出結果（Xface(x,y,v,h)）をメモリに保存し（Ｓ１８）、表示位置算出部１４に対して、Ｓ１１で保存したユーザＤの位置(Dposition(x,y,z))および視線の方向(Deye_dir(r,y,p))と、ｖｉｄｅｏＸの領域情報（XVideo(x,y,v,h)）と、Ｓ１８で保存した顔検出結果（Xface(x,y,v,h)）とを出力する（Ｓ１９）。
表示位置算出部１４は、主制御部１３から入力された、ユーザＤの位置(Dposition(x,y,z))および視線の方向(Deye_dir(r,y,p))と、ｖｉｄｅｏＸの領域情報(XVideo(x,y,v,h))と、顔検出結果（Xface(x,y,v,h)）とに基づいて、第２の表示位置算出処理を実行する（Ｓ２０）。
表示位置算出部１４による第２の表示位置算出処理のアルゴリズムの概要を図４（Ｂ）に示す。表示位置算出部１４は、上記のDposition(x,y,z)、Deye_dir(r,y,p)、XVideo(x,y,v,h)、Xface(x,y,v,h)が入力されると、Ｘｆａｃｅ（対象物：本例では顔部分）の位置に重複せず、且つ、Ｘｆａｃｅの近傍に操作パネル１５４の表示位置を決定する（Ｓ４１）。例えば、Xface(x=40,y=40,v=50,h=60)の場合、XVideo(x,y,v,h)で定まる範囲内で顔の斜め上側に十分なスペースがあれば、その位置に操作パネル１５４を配置する。そして、表示位置算出部１４は、操作パネル１５４の表示ポジションデータを生成し（Ｓ４２）、主制御部１３に対して、表示ポジションデータを示す“Pposition(x,y,v,h)”を出力する。
すなわち、図３において、表示位置算出部１４は、上記の第２の表示位置算出処理により、操作パネル１５４を画面上に表示する際の表示位置を示す表示ポジションデータ(Pposition(x,y,v,h))を主制御部１３に出力する（Ｓ２１）。
次に、主制御部１３は、表示位置算出部１４から入力された“Pposition(x,y,v,h)”に基づいて、ＯＳＤ表示制御部１５ｂに対して、操作用ＧＵＩ(Graphical User Interface)である操作パネル１５４をＯＳＤとして描画するように指示する（Ｓ２２）。ＯＳＤ表示制御部１５ｂは、主制御部１３からの指示に従って、表示ポジションデータ（Pposition(x,y,v,h)）に対応する表示位置に、操作パネル１５４を表示するように表示部１５を制御する（Ｓ２３）。
図５，６は、表示位置算出部１４による第１の表示位置算出処理の一例を説明するためのフロー図である。本例のフローは図４（Ａ）に示した処理を具体的に説明したものである。まず、図５において、表示位置算出部１４は、主制御部１３から、ユーザＤの位置（Dposition(x,y,z)）および視線の方向（Deye_dir(r,y,p)）、ｖｉｄｅｏＡ〜Ｃの領域情報（AVideo(x,y,v,h)、BVideo(x,y,v,h)、CVideo(x,y,v,h)）、カメラ２２の位置情報（CameraPosition(x,y)）が入力されると、三角関数を用いて、ユーザＤが見ているポイントの中心位置（UserSpot(x,y)）を複数確定し（ステップＳ５１）、確定した複数（本例では２０個分）のUserSpot(x,y)をリングバッファに格納する（ステップＳ５２）。つまり、１０ｆｐｓ(frame per second)＝１００ｍｓ周期で、２ｓ間の平均を取る。そして、２０個分たまっている場合には、分散の大きなデータを省く処理を行い（ステップＳ５３）、２０個分のUserSpot(x,y)の平均値（Ave_UserSpot(x,y)）をメモリに格納する（ステップＳ５４）。
次に、図６において、表示位置算出部１４は、メモリに格納された平均値（Ave_UserSpot(x,y)）を取得すると（ステップＳ６１）、平均値（Ave_UserSpot(x,y)）がｖｉｄｅｏＡの領域情報（AVideo(x,y,v,h)）に含まれるか否かを判定し（ステップＳ６２）、含まれると判定した場合（ＹＥＳの場合）、ユーザＤが見ている領域として、ｖｉｄｅｏＡを選択し、ｖｉｄｅｏＡを選択したことを示す“Select VideoX=A”を生成する（ステップＳ６３）。そして、表示位置算出部１４は、主制御部１３に対して、ｖｉｄｅｏＡを選択したことを示す“Select VideoX=A”(Select Video Value)を出力する（ステップＳ６４）。
また、表示位置算出部１４は、ステップＳ６２において、平均値（Ave_UserSpot(x,y)）がｖｉｄｅｏＡの領域情報（AVideo(x,y,v,h)）に含まれないと判定した場合（ＮＯの場合）、平均値（Ave_UserSpot(x,y)）がｖｉｄｅｏＢの領域情報（BVideo(x,y,v,h)）に含まれるか否かを判定し（ステップＳ６５）、含まれると判定した場合（ＹＥＳの場合）、ユーザＤが見ている領域として、ｖｉｄｅｏＢを選択し、ｖｉｄｅｏＢを選択したことを示す“Select VideoX=B”を生成する（ステップＳ６６）。そして、ステップＳ６４に移行して、表示位置算出部１４は、主制御部１３に対して、ｖｉｄｅｏＢを選択したことを示す“Select VideoX=B”(Select Video Value)を出力する。
また、表示位置算出部１４は、ステップＳ６５において、平均値（Ave_UserSpot(x,y)）がｖｉｄｅｏＢの領域情報（BVideo(x,y,v,h)）に含まれないと判定した場合（ＮＯの場合）、平均値（Ave_UserSpot(x,y)）がｖｉｄｅｏＣの領域情報（CVideo(x,y,v,h)）に含まれるか否かを判定し（ステップＳ６７）、含まれると判定した場合（ＹＥＳの場合）、ユーザＤが見ている領域として、ｖｉｄｅｏＣを選択し、ｖｉｄｅｏＣを選択したことを示す“Select VideoX=C”を生成する（ステップＳ６８）。そして、ステップＳ６４に移行して、表示位置算出部１４は、主制御部１３に対して、ｖｉｄｅｏＣを選択したことを示す“Select VideoX=C”(Select Video Value)を出力する。
また、表示位置算出部１４は、ステップＳ６７において、平均値（Ave_UserSpot(x,y)）がｖｉｄｅｏＣの領域情報（CVideo(x,y,v,h)）に含まれないと判定した場合（ＮＯの場合）、前回値（ｖｉｄｅｏＡｏｒＢｏｒＣ）を選択し、前回値（ｖｉｄｅｏＡｏｒＢｏｒＣ）を選択したことを示す“Select VideoX=前回値”を生成する（ステップＳ６９）。そして、ステップＳ６４に移行して、表示位置算出部１４は、主制御部１３に対して、前回値を選択したことを示す“Select VideoX=前回値”(Select Video Value)を出力する。
図７は、表示位置算出部１４による第２の表示位置算出処理の一例を説明するためのフロー図である。本例のフローは図４（Ｂ）に示した処理を具体的に説明したものである。まず、表示位置算出部１４は、主制御部１３から、ユーザＤの位置（Dposition(x,y,z)）および視線の方向（Deye_dir(r,y,p)）、ｖｉｄｅｏＸ（Ｘ＝ＡｏｒＢｏｒＣ）の領域情報（XVideo(x,y,v,h)）、ｖｉｄｅｏＸの顔検出結果（Xface(x,y,v,h)）が入力されると、これらの情報の中から顔検出結果（Xface(x,y,v,h)）を抽出する（ステップＳ７１）。ここで、ｖｉｄｅｏＸがｖｉｄｅｏＡ（Ｘ＝Ａ）であった場合の映像例を図８に示す。なお、ｖｉｄｅｏＢ、Ｃの場合も同様である。
図８において、ｖｉｄｅｏＡの領域は矩形とされ、左上端の位置がAVideo(x,y)、右下端の位置がAVideo(x+v,y+h)と示される。これより、ｖｉｄｅｏＡの領域情報は、AVideo(x,y,v,h)と示される。また、顔部分についても同様に、左上端の位置がAface(x,y)、右下端の位置がAface(x+v,y+h)と示される。これより、顔部分の位置を示す顔検出結果は、Aface(x,y,v,h)と示される。また、“Position data”はＯＳＤ（本例の場合、操作パネル１５４）の表示位置を示しており、このＯＳＤはデフォルトではｖｉｄｅｏＡの右下端に配置される。そして、デフォルトポジションとして、ＯＳＤの左上端の位置はdefaultPosition(x,y)、右下端の位置はdefaultPosition(x+v,y+h)で示される。このように、ＯＳＤ（操作パネル１５４）は、顔部分に重ならない位置であって、顔部分の近傍位置に配置される。
次に、図７において、表示位置算出部１４は、ｖｉｄｅｏＸの領域情報（XVideo(x,y,v,h)）と、顔検出結果（Xface(x,y,v,h)）とに基づいて、顔部分の右側に操作パネル１５４の表示スペースがあるか否かを判定する（ステップＳ７２）。そして、表示スペースがあると判定した場合（ＹＥＳの場合）、操作パネル１５４の表示位置を示す“Position data”として、Position data(x)=Xface(x)+Xface(v)+α、Position data(y)=Xface(y)+β、を生成し（ステップＳ７３）、主制御部１３に対して、操作パネル１５４の“Position data”を出力する（ステップＳ７４）。なお、α（ｘ方向）、β（ｙ方向）は、図８に例示するように、顔部分の右上端とＯＳＤ（操作パネル１５４）の左上端との距離を示す。
また、表示位置算出部１４は、ステップＳ７２において、顔部分の右側に操作パネル１５４の表示スペースがないと判定した場合（ＮＯの場合）、ｖｉｄｅｏＸの領域情報（XVideo(x,y,v,h)）と、顔検出結果（Xface(x,y,v,h)）とに基づいて、顔部分の左側に操作パネル１５４の表示スペースがあるか否かを判定する（ステップＳ７５）。そして、表示スペースがあると判定した場合（ＹＥＳの場合）、操作パネル１５４の表示位置を示す“Position data”として、Position data(x)=Xface(x)-OSDsize(v)-α、Position data(y)=Xface(y)+β、を生成し（ステップＳ７６）、ステップＳ７４に移行して、主制御部１３に対して、操作パネル１５４の“Position data”を出力する。
また、表示位置算出部１４は、ステップＳ７５において、顔部分の左側に操作パネル１５４の表示スペースがないと判定した場合（ＮＯの場合）、ｖｉｄｅｏＸの領域情報（XVideo(x,y,v,h)）と、顔検出結果（Xface(x,y,v,h)）とに基づいて、顔部分の下側に操作パネル１５４の表示スペースがあるか否かを判定する（ステップＳ７７）。そして、表示スペースがあると判定した場合（ＹＥＳの場合）、操作パネル１５４の表示位置を示す“Position data”として、Position data(x)=Xface(x)-OSDsize(v)-α、Position data(y)=Xface(y)+Xface(h)+β、を生成し（ステップＳ７８）、ステップＳ７４に移行して、主制御部１３に対して、操作パネル１５４の“Position data”を出力する。
また、表示位置算出部１４は、ステップＳ７７において、顔部分の下側に操作パネル１５４の表示スペースがないと判定した場合（ＮＯの場合）、操作パネル１５４の表示位置を示す“Position data”として、Position data(x)=defaultPositon(x)、Position data(y)=defaultPosition(y)、を生成し（ステップＳ７９）、ステップＳ７４に移行して、主制御部１３に対して、操作パネル１５４の“Position data”を出力する。すなわち、顔部分の右側、左側、下側に表示スペースがない場合には、操作パネル１５４は図８に示すデフォルトポジションに配置される。
図９は、画像検出部１２によりユーザＤの視線を検出する方法の一例を説明するための図である。前述の図１の例において、ユーザＤの視線を検出する方法は、例えば、特開２００７−２１３４６９号公報に記載された方法や、「沼尻 貴昭, 中村 明生, 久野 義徳、「多量情報の効率的取得のための高速閲覧システム」、第8回画像センシングシンポジウム (SSII 2002) 講演論文集, pp.463-468, 横浜, July 2002」に記載された方法など、従来公知の方法を用いて実行することができる。以下では、特開２００７−２１３４６９号公報に記載された方法について簡単に説明する。
図９に示すように、眼球は円（球体）と仮定することができるから、水平方向の視線の角度をθ、眼球の半径をｒ、目の中心から虹彩の中心までの距離をｄとすると、次の式（１）の関係が成り立つ。
θ＝ｓｉｎ-1（ｄ／ｒ） …式（１）
ここで、距離ｄは、目の画像を解析して求めることができる。また、眼球の半径ｒは、予め視線角度が分かっている方向（角度θ0）を見たときの目の中心から虹彩の中心までの距離ｄ0を求め、θ0及びｄ0を式（１）に代入して求めることができる。画像検出部１２は、こうして求めた眼球の半径ｒと、カメラ２２の映像の解析から得た距離ｄとを用いて、式（１）から、時々刻々と変わる水平方向の視線の向きを算出することができる。これにより、ユーザＤの視線の向きθ、すなわち、前述の（Deye_dir(r,y,p)）を求めることができる。
θ＝ｓｉｎ-1（ｄ／ｒ） …式（１）
ここで、距離ｄは、目の画像を解析して求めることができる。また、眼球の半径ｒは、予め視線角度が分かっている方向（角度θ0）を見たときの目の中心から虹彩の中心までの距離ｄ0を求め、θ0及びｄ0を式（１）に代入して求めることができる。画像検出部１２は、こうして求めた眼球の半径ｒと、カメラ２２の映像の解析から得た距離ｄとを用いて、式（１）から、時々刻々と変わる水平方向の視線の向きを算出することができる。これにより、ユーザＤの視線の向きθ、すなわち、前述の（Deye_dir(r,y,p)）を求めることができる。
図１０は、画像検出部１２によりユーザＤの位置を抽出する方法の一例を説明するための図である。前述の図１に示した距離・視線角度検出用データベース１１には、ユーザの顔のサイズと、カメラ２２からの距離の情報とが保持されている。例えば、ユーザの顔部分のサイズを（ｖ，ｈ）、カメラ２２からの距離をＤｃとした場合に、（１）ｖ＝１０、ｈ＝１５、Ｄｃ＝１０００ｍｍ、（２）ｖ＝２０、ｈ＝３０、Ｄｃ＝７００ｍｍ、（３）ｖ＝３０、ｈ＝５０、Ｄｃ＝４００ｍｍ、（４）・・・、などと予め保持しておく。画像検出部１２は、ユーザＤを撮影した撮影データから顔部分を検出し、その顔部分のサイズ（ｖ，ｈ）を求める。そして、画像検出部１２は、ユーザＤの顔部分のサイズ（ｖ，ｈ）に基づき、距離・視線角度検出用データベース１１を参照し、カメラ２２からユーザＤまでの距離Ｄｃ、つまり、ユーザＤの位置Ｄｃを求めることができる。これにより、ユーザＤの位置Ｄｃ、すなわち、前述の（Dposition(x,y,z)）を求めることができる。
図１１は、ユーザＤが見ているポイントの中心位置を算出する方法の一例を説明するための図である。本例では前述の図５で説明したUserSpot(x,y)を算出する方法について説明する。なお、カメラ２２の位置を“Xcamara”とし本例では固定とする。図中、ｄは表示部１５の画面からカメラ２２のレンズまでの距離を示し、予め定められた値である。また、Ｄｃはカメラ２２のレンズからユーザＤまでの距離を示し、前述の図１０で説明した方法により求めることができる。また、θuはカメラ２２の中心を通り表示部１５の画面に直交する線分３１とカメラ２２とユーザＤとでなす角度を示し、本例では予め定められた値とする。また、θはユーザＤの視線の向きを示し、前述の図９で説明した方法により求めることができる。
上記より、カメラ２２からユーザＤが見ているポイントの中心位置までの距離をｘとすると、
ｘ＝（Ｄｃ＋ｄ）ｔａｎθ−（Ｄｃ）ｔａｎθu …式（２）
ＤｉｓｐｌａｙＰｏｓｉｔｉｏｎ（ｘ）＝Ｘｃａｍｅｒａ＋ｘ …式（３）
この式（２）、（３）により、ユーザＤが見ているポイントの中心位置（UserSpot(x,y)）を求めることができる。
ｘ＝（Ｄｃ＋ｄ）ｔａｎθ−（Ｄｃ）ｔａｎθu …式（２）
ＤｉｓｐｌａｙＰｏｓｉｔｉｏｎ（ｘ）＝Ｘｃａｍｅｒａ＋ｘ …式（３）
この式（２）、（３）により、ユーザＤが見ているポイントの中心位置（UserSpot(x,y)）を求めることができる。
図１２は、図１１に示すθｕを算出する方法の一例を説明するための図である。このように画像解析によりθｕを算出するようにしてもよい。図１２の例は、カメラ２２でユーザＤを撮影して得た画像データであり、点線が画像データ上の中心位置を示している。カメラ２２の水平画角θｍａｘは、カメラ２２の設計により固定値となる。また、この画像データの中心位置（点線の位置）からユーザＤの顔部分の中心までの距離（画素数）をｐｘ（計測値）、カメラ２２の水平解像度の１／２をｐｘｍａｘ（固定値）とすると、θｕとの間で以下の式が成立する。
θｕ：θｍａｘ＝ｐｘ：ｐｘｍａｘ …式（４）
θｕ＝（ｐｘ／ｐｘｍａｘ）×θｍａｘ …式（５）
なお、距離ｐｘは、ユーザＤの顔部分を検出し、検出した顔部分の中心までの画素数を計測することで得ることができる。そして、これらθｍａｘ、ｐｘ、ｐｘｍａｘと式（５）によりθｕを算出することができる。
θｕ：θｍａｘ＝ｐｘ：ｐｘｍａｘ …式（４）
θｕ＝（ｐｘ／ｐｘｍａｘ）×θｍａｘ …式（５）
なお、距離ｐｘは、ユーザＤの顔部分を検出し、検出した顔部分の中心までの画素数を計測することで得ることができる。そして、これらθｍａｘ、ｐｘ、ｐｘｍａｘと式（５）によりθｕを算出することができる。
このように本発明によれば、ネットワークを介して受信した画像データを領域毎に表示させたときに、ユーザの位置および視線を検出することによりユーザが見ている領域を決定し、その領域の画像データに含まれる特定部分（顔部分など）に重ならないようにＯＳＤの表示位置を算出することができるため、ユーザが視線を向けた領域の画像データの邪魔にならず、ユーザが見易い適切な場所にＯＳＤを配置することができる。
図１３は、本発明による表示装置に表示される他のＯＳＤの画面表示例を示す図である。本例の場合、ＯＳＤとしてプレゼンテーション資料（以下、プレゼン資料）１５５を表示させる。プレゼン資料１５５は、例えば、ＭｉｃｒｏｓｏｆｔＰｏｗｅｒＰｏｉｎｔ（登録商標）などのアプリケーションソフトを利用して適宜作成することができる。ユーザＤがユーザＡ〜Ｃに対してプレゼンテーションを行っているときに、例えば、ユーザＡの方向を向いてプレゼン資料１５５を説明する場合を想定する。この場合、プレゼン資料１５５は、ユーザＡの顔に重ならないようにＯＳＤ表示されるため、ユーザＤはユーザＡの顔を見ながら、プレゼン資料１５５の内容を説明することができる。これにより、重点的にプレゼンしたい相手に対して、効果的なプレゼンを行うことが可能となる。
図１４は、本発明による表示装置に表示される更に他のＯＳＤの画面表示例を示す図である。図１４（Ａ）は図１４（Ｂ）に示す操作パネル１５６を表示部１５に表示させたときの画面表示例を示す。本例の場合、ＯＳＤとしてユーザＤの撮影画像を含む操作パネル１５６を表示させる。ユーザＤがユーザＡ〜Ｃとの間でビデオ会議を行っているときに、例えば、ユーザＡの方向を向いて操作パネル１５６を操作する場合を想定する。この場合、操作パネル１５６は、ユーザＡの顔に重ならないようにＯＳＤ表示されるため、ユーザＤはユーザＡの顔を見ながら、操作入力機器２１を用いて操作パネル１５６を操作することができる。そして、さらに、操作パネル１５６にユーザＤ自身の撮像画像がプレビュー表示されるため、ユーザＡ〜Ｃの各表示装置においてユーザＤ自身が表示されていることを確認することができる。このように、ＯＳＤの表示内容として、ビデオ電話アプリに係る付加情報を含むようにしてもよい。本例の場合、付加情報として、ユーザＤ自身の撮影画像がプレビュー表示される。
図１５は、本発明による表示装置に表示される更に他のＯＳＤの画面表示例を示す図である。本例の場合、ＯＳＤとしてＴＶの番組視聴予約のコーション１５７を表示させる。このコーション１５７は時刻情報を含むようにしてもよい。ユーザＤがユーザＡ〜Ｃとの間でビデオ会議を行っているときに、例えば、ユーザＡの方向を向いて話す場合を想定する。この場合、コーション１５７は、ユーザＡの顔に重ならないようにＯＳＤ表示されるため、ユーザＤはユーザＡの顔を見ながら、コーション１５７の内容を確認することができる。
図１６は、本発明による表示装置に表示される更に他のＯＳＤの画面表示例を示す図である。図１６（Ａ）は図１６（Ｂ）に示す操作パネル１５８を表示部１５に表示させたときの画面表示例を示す。本例の場合、ＯＳＤとしてユーザＡ〜Ｄの全ての撮影画像を含む操作パネル１５８を表示させる。ユーザＤがユーザＡ〜Ｃとの間でビデオ会議を行っているときに、例えば、ユーザＡの方向を向いて操作パネル１５８を操作する場合を想定する。この場合、操作パネル１５８は、ユーザＡの顔に重ならないようにＯＳＤ表示されるため、ユーザＤはユーザＡの顔を見ながら、操作入力機器２１を用いて操作パネル１５８を操作することができる。そして、さらに、操作パネル１５８にユーザＡ〜Ｄの全ユーザの撮像画像がプレビュー表示されるため、ユーザＤはユーザＡの顔に注視しながらも、他のユーザＢ，Ｃの顔を確認し、さらには、ユーザＤ自身の顔を確認することができる。このように、ＯＳＤの表示内容として、ビデオ電話アプリに係る付加情報を含むようにしてもよい。本例の場合、付加情報として、ユーザＡ〜Ｄの撮影画像がプレビュー表示される。
図１７は、本発明による表示装置に表示される更に他のＯＳＤの画面表示例を示す図である。本例の表示部１５は、記事１５９ａを含むＨＰ（ホームページ）１を表示する領域１５９と、ＨＰ２を表示する領域１６０と、ＨＰ３を表示する領域１６１とを有し、ＯＳＤとしてビデオ電話の着信を示す着信ＯＳＤ１６２を表示させる。ユーザＤがＨＰ１の方向を向いて記事１５９ａを読んでいるときに、ビデオ電話の着信があった場合を想定する。この着信ＯＳＤ１６２は、ＨＰ１の記事１５９ａに重ならないようにＯＳＤ表示されるため、ユーザＤは記事１５９ａを読みながら、着信ＯＳＤ１６２を確認することができる。このため、ユーザはビデオ電話の着信があった場合でもＨＰの閲覧を妨害されることがなく、また、着信ＯＳＤ１６２によってＨＰの画面からビデオ電話の画面へスムーズに移行させることができる。
１０…表示装置、１１…距離・視線角度検出用データベース、１２…画像検出部、１３…主制御部、１４…表示位置算出部、１５…表示部、１５ａ…映像表示制御部、１５ｂ…ＯＳＤ表示制御部、１６…通信部、１７…カメラ制御部、１８…インターネット制御部、２１…操作入力機器、２２…カメラ、２３…インターネット。
Claims (6)
- ネットワークを介して受信した画像データを領域毎に表示する表示部を備えた表示装置であって、
前記表示部の画面を見るユーザを撮影する撮影部と、該撮影した撮影データを解析してユーザの位置および視線の方向を検出する視線検出部と、該検出したユーザの位置および視線の方向に基づいて該視線が到達する前記表示部の画面上の領域を決定する領域決定部と、該決定した領域の画像データから特定部分を抽出する特定部分抽出部と、該抽出した特定部分の位置に重ならないようにＯＳＤの表示位置を算出するＯＳＤ表示位置算出部とを備え、
前記表示部は、前記ＯＳＤ表示位置算出部で算出したＯＳＤの表示位置に該ＯＳＤを表示することを特徴とする表示装置。 - 請求項１に記載の表示装置において、前記特定部分抽出部は、前記特定部分として、人間の顔部分を抽出することを特徴とする表示装置。
- 請求項１または２に記載の表示装置において、前記ＯＳＤの表示内容は、前記表示装置で実行される所定のアプリケーションを操作するための操作パネルであることを特徴とする表示装置。
- 請求項３に記載の表示装置において、前記ＯＳＤの表示内容は、前記所定のアプリケーションに係る付加情報を含むことを特徴とする表示装置。
- 請求項１〜４のいずれか１項に記載の表示装置において、前記ＯＳＤは、前記特定部分に重ならない位置であって、該特定部分の近傍位置に配置されることを特徴とする表示装置。
- ネットワークを介して受信した画像データを領域毎に表示する表示部を備えた表示装置によるＯＳＤ表示方法であって、
前記表示部の画面を見るユーザを撮影する撮影ステップと、該撮影した撮影データを解析してユーザの位置および視線の方向を検出する視線検出ステップと、該検出したユーザの位置および視線の方向に基づいて該視線が到達する前記表示部の画面上の領域を決定する領域決定ステップと、該決定した領域の画像データから特定部分を抽出する特定部分抽出ステップと、該抽出した特定部分の位置に重ならないようにＯＳＤの表示位置を算出するＯＳＤ表示位置算出ステップと、該算出したＯＳＤの表示位置に該ＯＳＤを表示する表示ステップとを備えたことを特徴とするＯＳＤ表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011271107A JP5845079B2 (ja) | 2011-12-12 | 2011-12-12 | 表示装置およびｏｓｄ表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011271107A JP5845079B2 (ja) | 2011-12-12 | 2011-12-12 | 表示装置およびｏｓｄ表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013122529A JP2013122529A (ja) | 2013-06-20 |
| JP5845079B2 true JP5845079B2 (ja) | 2016-01-20 |
Family
ID=48774517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011271107A Active JP5845079B2 (ja) | 2011-12-12 | 2011-12-12 | 表示装置およびｏｓｄ表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5845079B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014207828A1 (ja) * | 2013-06-25 | 2014-12-31 | 富士通株式会社 | 情報処理装置およびプログラム |
| KR102496603B1 (ko) * | 2018-05-30 | 2023-02-03 | 삼성에스디에스 주식회사 | 어플리케이션 실행 화면의 위치 선정 방법 |
| JP2020091617A (ja) | 2018-12-05 | 2020-06-11 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11112949A (ja) * | 1997-10-06 | 1999-04-23 | Sanyo Electric Co Ltd | データ多重送信器、データ多重受信器、およびそれらを用いたデータ多重送受信システム |
| JP2004110769A (ja) * | 2003-06-09 | 2004-04-08 | Canon Inc | 端末及びポインティングデバイス |
| JP5263476B2 (ja) * | 2007-10-12 | 2013-08-14 | セイコーエプソン株式会社 | プロジェクタ、会議支援システムおよび会議支援方法 |
-
2011
- 2011-12-12 JP JP2011271107A patent/JP5845079B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013122529A (ja) | 2013-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11470377B2 (en) | Display apparatus and remote operation control apparatus | |
| JP7385052B2 (ja) | 撮影方法、装置、電子機器および記憶媒体 | |
| US8502780B1 (en) | Head mount display and method for controlling the same | |
| US10757335B2 (en) | Mobile terminal | |
| JP7005161B2 (ja) | 電子機器及びその制御方法 | |
| JP2007121489A (ja) | 携帯表示装置 | |
| CN108965656B (zh) | 显示控制设备、显示控制方法和存储介质 | |
| JP2006235771A (ja) | 遠隔操作装置 | |
| KR20130094023A (ko) | 디스플레이장치 및 그 시선추적방법 | |
| KR102474729B1 (ko) | 모니터링 장치 | |
| JP2008097571A (ja) | 電子機器および有効な機能の選択方法 | |
| JP5845079B2 (ja) | 表示装置およびｏｓｄ表示方法 | |
| JP2016213674A (ja) | 表示制御システム、表示制御装置、表示制御方法、及びプログラム | |
| EP2953351A1 (en) | Method and apparatus for eye-line augmentation during a video conference | |
| WO2023040288A1 (zh) | 显示设备及设备控制方法 | |
| CN104238983B (zh) | 一种控制方法及电子设备 | |
| EP3561570A1 (en) | Head-mounted display apparatus, and visual-aid providing method thereof | |
| JP6792721B2 (ja) | 電子機器、プログラム、制御装置および制御方法 | |
| US20140043445A1 (en) | Method and system for capturing a stereoscopic image | |
| US9832372B1 (en) | Dynamic vediotelphony systems and methods of using the same | |
| US11265529B2 (en) | Method and apparatus for controlling image display | |
| WO2021076301A1 (en) | Facial tracking during video calls using remote control input | |
| JP7005160B2 (ja) | 電子機器及びその制御方法 | |
| WO2018186004A1 (ja) | 電子機器及びその制御方法 | |
| US11232796B2 (en) | Voice activity detection using audio and visual analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5845079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |