JP5974189B2 - 投写型映像表示装置及び投写型映像表示方法 - Google Patents

投写型映像表示装置及び投写型映像表示方法 Download PDF

Info

Publication number
JP5974189B2
JP5974189B2 JP2015553291A JP2015553291A JP5974189B2 JP 5974189 B2 JP5974189 B2 JP 5974189B2 JP 2015553291 A JP2015553291 A JP 2015553291A JP 2015553291 A JP2015553291 A JP 2015553291A JP 5974189 B2 JP5974189 B2 JP 5974189B2
Authority
JP
Japan
Prior art keywords
projection
sensor
image
display apparatus
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015553291A
Other languages
English (en)
Other versions
JPWO2015092905A1 (ja
Inventor
沙希子 成川
沙希子 成川
森 直樹
直樹 森
孝志 松原
孝志 松原
瀬尾 欣穂
欣穂 瀬尾
将史 山本
将史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Maxell Energy Ltd
Original Assignee
Hitachi Maxell Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Energy Ltd filed Critical Hitachi Maxell Energy Ltd
Application granted granted Critical
Publication of JP5974189B2 publication Critical patent/JP5974189B2/ja
Publication of JPWO2015092905A1 publication Critical patent/JPWO2015092905A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザの操作を検出して映像を表示する投写型映像表示装置及び投写型映像表示方法に関する。
本件技術分野に関し特許文献1には、ユーザにとって使い勝手のよい投影装置を提供することを目的に、撮像部が撮像した対象者の画像を入力する入力部と、撮像部が撮像した対象者の位置(または対象者の手の位置)に応じて、第1画像を投影する投影部を備える構成が開示されている。例えば、対象者の手の位置に応じて、スクリーンにポインタを投影することが記載されている。
特開2012−185630号公報
特許文献1では、画像を投影する映像投写面(スクリーン)は壁等に鉛直に設けられていることを想定してユーザ(操作者)の位置を検出しており、投写面が水平に設置されている場合に関しては考慮されていない。後述するように、投写面の設置方向が鉛直の場合と水平の場合とでは、投写面に対するユーザの位置(手の位置)が異なってくる。そのため、投写面が鉛直に設置された場合に好適な投影装置であっても、投写面が水平に設置された場合には、ユーザの操作を精度良く検出できないことがあり、投影装置の機能が低下するという課題がある。
本発明の目的は、映像投写面が鉛直だけでなく水平に設置されている場合でも、ユーザ(操作者)の操作を精度良く検出する投写型映像表示装置及び投写型映像表示方法を提供することである。
本発明は、投写型映像表示装置であって、映像投写面に映像を投写して表示する映像投写部と、投写型映像表示装置を操作する操作者を検出するセンサと、センサの出力から操作者の動きを検出する操作検出部と、操作検出部の検出結果に基づき映像投写部を制御する制御部と、を備え、センサにより検出するセンシングエリアは、映像投写面の方向が鉛直の場合と水平の場合とで異なるように設定したことを特徴とする。ここに、センサによるセンシングエリアは、映像投写面の方向が鉛直の場合よりも水平の場合の方が狭いことが好ましい。
本発明によれば、映像投写面の方向や投写型映像表示装置の設置状態によらず、ユーザの操作を精度良く検出することが可能となる。これにより、投写型映像表示装置におけるユーザの操作性と使い勝手が向上する。
本発明に係る投写型映像表示装置の一例を示す構成図(実施例1)。 投写型映像表示装置の使用形態の例を示す図。 焦電型センサによるユーザの操作の検出原理を説明する図。 1個の焦電型センサによるセンシングエリアを示す図。 2個の焦電型センサによるセンシングエリアを示す図。 投写面とセンシングエリアの位置関係を示す図。 投写面とユーザの位置関係を示す図。 投写面の方向に応じたセンシングエリアの設定を示す図。 センシングエリアの設定処理を示すフローチャート。 天吊り設置におけるセンシングエリアの修正を説明する図。 センサの設置場所と検出タイミングの関係を示す図。 センサに可動機構を設けてセンシングエリアを調整する例を示す図。 投写面の方向に応じてセンサの用途を変更する一例を示す図(実施例2)。 センサ用途に関するユーザ設定画面の一例を示す図。 センシングエリアの設定処理を示すフローチャート。 ユーザの位置に応じてセンシングエリアを設定する例を示す図(実施例3)。 センシングエリアの設定処理を示すフローチャート。
以下、図面を用いて実施例を説明する。
実施例1では、投写型映像表示装置の設置状態や映像を投写する映像投写面(以下、投写面)の方向に応じて、ユーザ(操作者)の操作を検出するセンシングエリアを好適に設定することについて説明する。
図1は、本発明に係る投写型映像表示装置の一例を示す構成図である。投写型映像表示装置1(以下、表示装置)は、ユーザの操作を検出する検出機能部10と、投写面に映像を表示する表示機能部20を備える。検出機能部10は、2個のセンサ11,12、2個の操作検出部13,14、通信部15、制御部16を有する。表示機能部20は、映像投写部21、設置状態検出部22、通信部23、制御部24を有する。ここに検出機能部10と表示機能部20は、独立した装置で構成しても良い。また、各構成要素11〜16、21〜24は、必要に応じて1または複数の構成要素にまとめて構成してもよい。例えば、要素13〜16は、1または複数の中央処理装置(CPU)でその処理を行うことができる。さらに、検出機能部10と表示機能部20の要素のいくつかを外部に配置し、ネットワークやユニバーサルシリアルバス(USB)で接続する構成でも良い。
検出機能部10において、センサ11及び12は、ユーザの存在、特に手の動きを検出するものであって、例えば焦電型センサを用いる。センサには、焦電型検出素子の他にレンズ、回路基板等を含む。センサを複数個(2個)用いることで、複数の検出領域(センシングエリア)を設定し、使用する領域を切り替えることができる。センサとしては、他に、サーモパイル型センサ、カメラ、測距センサ、超音波センサ、静電容量センサ、光検出センサ等を用いることができる。
操作検出部13及び14は、それぞれセンサ11,12の検出信号から、ユーザの動きを検出するもので、回路基板やソフトウェア等で構成される。通信部15は、表示機能部20との間で検出結果等のデータを送受信するインタフェースであり、ネットワーク接続やUSB接続、超音波ユニット、赤外線通信装置、可視光通信装置、無線通信装置等で構成される。制御部16は、センサ11,12、操作検出部13,14、通信部15を制御するもので、回路基板やソフトウェア等で構成される。特に、センサ11,12によるセンシングエリアを切り替える制御を行う。
表示機能部20において、映像投写部(以下、投写部)21は、光源、映像表示素子(例えば液晶パネル)、投写レンズ等で構成され、図示しない映像装置から供給される映像信号を投写面(スクリーン、机上など)に投写して表示する。設置状態検出部22は、表示装置1(表示機能部20)が設置されている状態や投写面の方向を検出するものであり、センサとして重力センサ、ジャイロセンサ、加速度センサ、磁気センサ、高度センサ、傾斜センサ等を用いることができる。
通信部23は、検出機能部10との間で設置状態などのデータを送受信するインタフェースであり、ネットワーク接続やUSB接続、超音波ユニット、赤外線通信装置、可視光通信装置、無線通信装置等で構成される。また通信部23には、図示しない映像装置から映像信号が入力する。制御部24は、投写部21、設置状態検出部22、通信部23を制御するもので、回路基板やソフトウェア等で構成される。特に、ユーザ操作の検出データに基づいて、投写部21の表示する映像を制御する。
検出機能部10は通信部15を介して表示機能部20に検出結果データ31を出力する。このデータ31には、ユーザ操作の種類、操作の方向、操作の速度、操作の位置、操作の大きさ等の情報が含まれる。一方表示機能部20は通信部23を介して検出機能部10に設置状態データ32を出力する。このデータ32には、表示装置1(表示機能部20)の設置状態や投写面の方向の情報が含まれる。
図2は、投写型映像表示装置の使用形態の例を示す図である。ここに投写型映像表示装置1は、スクリーンや机上等の映像投写面2に対して近距離から投写するプロジェクタ(超短投写モデル)を例とし、投写面2に向かって見た様子を示す。表示装置(プロジェクタ)1を使用すると、投写面2が鉛直面、水平面のいずれであっても映像を投写することが可能であり、設置の向きを90度回転させればよい。
図2(a)は、壁やスクリーン等の鉛直な投写面2に映像を投写する使用形態で、表示装置1は投写面2の下方に設置し、投写方向は上方向(鉛直斜め方向)となる。ユーザ3は投写映像200の正面に立って映像の手前に手をかざし、例えば手を左から右へ動かすような操作を行うことで、映像(スライド)はP1からP2に移動する。図2(b)は、机の天板等の水平な投写面2に映像を投写する使用形態で、表示装置1は投写面2の前方に設置し、投写方向は手前方向(水平斜め方向)となる。ユーザ3は投写映像200を上から覗き込める位置に立って映像の上方に手をかざし、例えば手を左から右へ動かすような操作を行うことで、映像はP1からP2に移動する。
このようなユーザ3の操作は、表示装置1に組み込まれた検出機能部10にて検出する。本例では、センサ11,12は投写部21の近傍に配置している。検出機能部10の検出結果は表示機能部20に送られ、ユーザの操作と連動してスライドのページ送りやページ戻しの制御を行ったり、映像を切り替えたりすることができる。ユーザの操作はセンサ11,12を用いて検出するが、ここでは焦電型センサを用いた検出方法について説明する。
図3は、焦電型センサによるユーザの操作の検出原理を説明する図である。焦電型センサ300は人の存在を検知する人感センサ等に多く採用されており、焦電検出素子の前を人体や体の一部等の赤外線を放射する物体が通過すると、電圧を発生するものである。以下では、内部に2個の検出素子300a,300bを有する焦電型センサ300を例に説明する。
図3(a)は、素子300a,300bが左右(X方向)に並んでいて、その前で左から右へスワイプ動作を行った場合、素子300a,300bの検出信号波形を示す。信号波形が両極性パルスとなるのは、各素子がデュアル素子構成としているからである。素子300aによる検出タイミングが、素子300bによる検出タイミングより所定時間早いことから、左から右へのスワイプ動作が行われたと判断することができる。
また図3(b)は、素子300a,300bが左右に並んでいて、その前で右から左へのスワイプ動作を行った場合、素子300a,300bの検出信号波形を示す。素子300bによる検出タイミングが、素子300aによる検出タイミングより所定時間早いことから、右から左へのスワイプ動作が行われたと判断することができる。
なお、焦電型センサからの出力は、電圧でなく電流であっても良い。また、センサから出力される信号波形は、素子の構造により図3に示す波形と異なる形状であっても良い。
焦電型センサの検出素子は、単体でも赤外線を検出して電圧を発生することができるが、素子単体では検出範囲(センシングエリア)の指向特性が固定される。そのため、フレネルレンズを組み合わせてエリアを修正し、所望のセンシングエリアを形成するようにした。以下、フレネルレンズを組み込んだ焦電型センサのセンシングエリアについて説明する。
図4は、1個の焦電型センサによるセンシングエリアを示す図である。(a)はセンサ300を正面(Z方向)から見た図、(b)は上面(Y方向)から見た図、(c)は側面(X方向)から見た図である。
焦電型センサ300の検出素子300a,300bによるセンシングエリアをそれぞれ400a,400bで示す。センサ300にフレネルレンズ310を組み合わせると、各素子を起点としてセンシングエリアを絞り込むことができる。ここでは、所望の角度で放射状(四角錐状)に広がるセンシングエリアを形成している。またセンシングエリア400a,400bは、素子を並べた方向(X方向)に2つに分離し、両者間に検出不感帯が存在する。各素子のセンシングエリアを人体や体の一部が横切ると、対応する素子に検出信号が発生する。その際、不感帯を設けることで、移動体の動きの方向をより正確に検出することができる。また、フレネルレンズ310の形状を変えることで、図4(d)に示すように、素子とセンシングエリアのX方向の位置関係を反転させることも可能である。
図5は、2個の焦電型センサによるセンシングエリアを示す図である。本実施例では、図4に示した焦電型センサ300を2個組み合わせ、2個の焦電型センサ11,12として上下方向(Y方向)に並べて配置している。(a)はセンサ11,12を正面(Z方向)から見た図、(b)は上面(Y方向)から見た図、(c)は側面(X方向)から見た図である。各センサ11,12によるセンシングエリアをそれぞれ401,402とし、両者はY方向に隣接するように形成している。またそれぞれのエリアはX方向に配置した2個の検出素子により、401aと401b、402aと402bに分離している。その結果、センシングエリアは左右方向(X方向)と上下方向(Y方向)に分離された4個のエリアを有している。
図6は、投写面とセンシングエリアの位置関係を示す図である。(a)(b)は、鉛直投写面の場合、(c)(d)は、水平投写面の場合である。
投写面2に対して操作を行うユーザ3を検出するためには、図5に示した2個のセンサ11,12を使用し、センサ11は投写面2から遠いエリア、センサ12は投写面2に近いエリアをカバーするように配置する。具体的には側面図(b)(d)に示すように、センサ11によるセンシングエリア401a,401bは、その中心軸401cが投写面2と略平行になるように形成し、センサ12によるセンシングエリア402a,402bは、その中心軸402cが投写面2に斜めに交差するように、好ましくは投写映像200の中心付近で交わるように形成する。ユーザ3の手がセンシングエリア401a,401bまたは402a,402bを左右に横切るように操作すると、センサ11または12の各素子に検出信号が発生して、ユーザの操作を検出することができる。
図7は、投写面とユーザの位置関係を示す図である。(a)は鉛直投写面の場合、(b)は水平投写面の場合である。
(a)の鉛直投写面に対してユーザ3が操作する場合は、ユーザ3の体の軸3cと投写面2はほぼ平行な位置関係になる。操作を行うユーザ3は、投写面2から少し離れた位置に立つことが多い。なぜなら、ユーザ3の体が投写面2に近くに存在すると、後方にいる他のユーザから投写面2の投写映像200が見えにくくなり、これを回避するため、意識的に投写面2から離れて立つためである。その結果、投写面2から手先3aまでの距離dは遠くなる傾向にある。
(b)の水平投写面に対してユーザ3が操作する場合は、ユーザ3の体の軸3cと投写面2はほぼ垂直な位置関係になる。そのとき操作を行うユーザ3は、ユーザの体で投写映像200が遮られることを意識しなくてよいので、その結果、投写面2から手先3aまでの距離dは近くなる傾向にある。
このように投写面2が鉛直な場合と水平な場合とでは、投写面2に対するユーザ3の体の方向3cや、投写面から手先3aまでの距離dが異なる。したがって、ユーザ3の操作を正しく検出するためには、投写面の方向に応じてセンシングエリアを適切に設定することが必要になる。
図8は、投写面の方向に応じたセンシングエリアの設定を示す図である。(a)は鉛直投写面の場合、(b)は水平投写面の場合である。
(a)の鉛直投写面の場合は、図7(a)で説明したように投写面2からユーザの手先3aまでの距離dは遠くなるので、遠いエリアにおいてユーザ3の手の動きを検出できるようにする。すなわち、図6(b)におけるセンサ11によるセンシングエリア401a,401bを有効にする。さらに、ユーザ3の手先3aが投写面2に近づく場合もあるので、センサ12によるセンシングエリア402a,402bも有効にする。
(b)の水平投写面の場合は、図7(b)で説明したように投写面2からユーザの手先3aまでの距離dは近くなるので、近いエリアにおいてユーザ3の手の動きを検出できるようにする。すなわち、図6(d)におけるセンサ12によるセンシングエリア402a,402bを有効にする。このとき、ユーザ3の体の軸3cと投写面2はほぼ垂直な位置関係になり、ユーザの手先3a以外の部分(ここではユーザの腕など)がセンサ11のセンシングエリア401a,401b内に入る場合がある。センサ11で検出されるユーザの手先3a以外の部分の動きを検出信号に加えると、ユーザ操作を誤って検出する恐れがある。よって、センサ11によるセンシングエリア401a,401bについては検出を無効にするよう設定する。このように、投写面2の方向に応じて使用するセンシングエリアを選択して設定する。
各センサ11,12による検出の有効/無効を切り替えるには、図1においてセンサ11,12と操作検出部13,14との電気的接続をON/OFFする、あるいは、操作検出部13,14における検出処理動作をON/OFFする。これらのON/OFF切り替えは、制御部16により行われる。検出処理を無効にすることで、検出機能部10における無駄な消費電力を抑える効果もある。
投写面2の方向が鉛直であるか水平であるかの判定は、例えば設置状態検出部22においてジャイロセンサや重力センサを用いて重力方向を検出し、表示装置1の設置状態(投写方向)から判定する。あるいは、照度センサを用いて表示装置1の背面(図8(a)では下側、図8(b)では右側)の照度を測定し、照度の高低から表示装置1の投写方向を判定しても良い。その他、加速度センサ、磁気センサ、高度センサ、傾斜センサ等を利用することもできる。あるいは、ユーザがリモコンやボタン、スイッチ等の操作を通じて、投写面の方向を入力しても良い。このようにして得られた表示装置1の設置状態のデータ32は、検出機能部10の制御部16へ送られ、操作検出部13,14を制御することでセンシングエリアを選択して設定する。
ここで、投写面2の方向が鉛直でも水平でもなく、中間の角度に傾斜して設置されている場合も考えられる。その場合には、傾斜角度が鉛直か水平のいずれに近いかで判定しても良い。あるいは、2つのセンサ11,12のカバーするそれぞれのセンシングエリアの角度範囲に基づき、傾斜角度に対していずれのセンサを使用するかを予め定めておいて、これを適用しても良い。なお、設置状態検出部22からの検出信号が変動するような場合は、表示装置1が移動中や設置作業中であることが考えられる。このような場合は、ユーザの操作は行われていないとみなし、両方のセンサ11,12による検出を無効にする。
図9は、センシングエリアの設定処理を示すフローチャートである。
まず、S1001では設置状態検出部22により投写面の方向を判定する。判定方法は前記した通り、ジャイロセンサ等を用いて表示装置1の設置状態(投写方向)から判定する。投写面の方向が鉛直である場合はS1002に、水平である場合はS1003に進む。その際、斜め方向の場合もあるので、傾斜角度の閾値を設けて、閾値と比較することで鉛直または水平に振り分ける。ただし、投写面の方向が変動している場合はユーザ操作はないものとしてS1004に進む。
S1002では、制御部16はセンサ11,12による検出をいずれも有効となるよう設定する。S1003では、センサ11による検出を無効、センサ12による検出を有効となるよう設定する。S1004では、センサ11,12による検出をいずれも無効となるよう設定する。この設定は、制御部16が操作検出部13,14を制御することで切り替える。
図9ではS1001〜S1004の処理で終了としているが、実際にはこのフローを繰り返して実行することで、投写面の方向が途中で変更された場合にも対応できる。
以下、本実施例のいくつかの変形例を説明する。
上記実施例では、投写面2が鉛直である場合には、表示装置1を投写面2の下方に設置して映像を上方に投写する形態とした。これに対し、投写面2が鉛直である場合であって、表示装置1を天井や壁から吊るして映像を下方に投写する使用形態(天吊り設置)も可能である。このような場合には、センシングエリアの形状を修正するのが好ましい。
図10は、天吊り設置におけるセンシングエリアの修正を説明する図である。表示装置1はユーザ3の頭上方向に設置され、これから鉛直の投写面2に向けて映像が投写される。(a)は、前記図8(a)と同じようにセンシングエリアを設けた場合、(b)はセンシングエリアを修正して設けた場合である。
(a)の場合、表示装置1を天吊り設置することで、投写面2の近くに立つユーザ3の足3dがセンサ11のセンシングエリア401a,401b内に入ることがある。センサ11がユーザの足3dに反応すると、誤検出となる。これを回避するために、センサ11のセンシングエリアの形状を修正し、(b)に示すようなエリア401a’,401b’とする。すなわち、エリア401a,401bのユーザ側の境界401dを投写面2に近づけて、投写面2に略平行な境界401d’とする。これにより、ユーザ3の足3dを検出する恐れがなくなる。なお、このエリア修正は、表示装置1の設置状態(天吊り設置)に応じて、図12で後述するようにセンサ11の取り付け姿勢等を変更すればよい。
また、前記したようにセンサ11,12はそれぞれ2個の検出素子を有しており、2個の検出素子の検出タイミングがいずれが早いかによりユーザの操作方向(左→右、または右→左)を判定している。ただし、ユーザの操作方向が同方向であっても、センサの設置場所により検出タイミングが反転する場合があり、その例を示す。
図11は、センサの設置場所と検出タイミングの関係を示す図である。
(a)は焦電型センサ11,12の正面図で、図5(a)に示したように4個の検出素子ごとのセンシングエリア401a,401b,402a,402bを有している。そのうちセンサ12のセンシングエリア402a,402bが投写面2(投写映像200)側に形成されるように、センサを設置するものとする。
(b)は、鉛直の投写面2の下方にセンサ11,12を設置した場合で、ユーザ3から見て左側にセンシングエリア401b,402b、右側にセンシングエリア401a,402aが形成される。この状態で例えばユーザ3が左から右へスワイプ動作を行うと、センシングエリア401b,402bの素子が先にユーザの動きに反応する。
(c)は、水平の投写面2の前方にセンサ11,12を設置した場合で、ユーザ3から見て左側にセンシングエリア401a,402a、右側にセンシングエリア401b,402bが形成される。この状態でユーザ3が左から右へスワイプ動作を行うと、センシングエリア401a,402aの素子が先にユーザの動きに反応する。よって、(b)と(c)のセンサ設置ではユーザ操作に対するセンサ内の2つの素子の検出タイミングが反転する。
(d)は、鉛直の投写面2の上方にセンサ11,12を設置した場合で、ユーザ3から見て左側にセンシングエリア401a,402a、右側にセンシングエリア401b,402bが形成される。この状態でユーザ3が左から右へスワイプ動作を行うと、センシングエリア401a,402aの素子が先にユーザの動きに反応し、(c)の設置と同じ検出タイミングになる。
このように、センサの設置に応じて、ユーザ操作に対するセンサの検出タイミングが反転してしまう。これを回避するため、表示装置1の設置形態に応じて、操作検出部13,14で行うタイミング判定処理を反転させることで、ユーザが行った操作方向を正しく検出できる。
また、さらなる変形例として、センサに可動機構を設けてセンシングエリアを調整することもできる。
図12は、センサに可動機構を設けてセンシングエリアを調整する例を示す図である。(a)では、センサ300を載せた支持台500を傾斜させ、可動レンズ510を介して形成されるセンシングエリア400の方向を変えている。(b)では、可動レンズ510の形状を変えて、センシングエリア400の角度幅を変えている。(c)では、可動遮蔽板520の開閉により、センシングエリア400の角度幅を変えている。(d)は、レーザ530をラインスキャンさせるセンサの場合で、レーザを反射させる角度可変ミラー540の傾斜角度を変えて、センシングエリアの方向を変えている。また、(a)〜(d)に示した方法を組み合わせても良い。
上記説明では、2個の検出素子を有する焦電型センサを2個使用したが、1個の検出素子を有するセンサを4個使用したり、4個の検出素子を有するセンサを1個使用することでもよい。あるいは、検出素子の合計数が4より多くなるようにセンサを構成し、より多くのセンシングエリアを設ければ、ユーザの細かい操作を検出できるようになる。また図12のようにセンサに可動機構を設けることで、1個のセンサで複数通りのセンシングエリアを実現し、センサの数を削減することができる。
センサは、焦電型センサの代わりに、各素子において絶対温度の検出が可能なサーモパイル型センサを使用できる。あるいはカメラを使用し、カメラ画像の上方がセンサ11のセンシングエリア相当、下方がセンサ12のセンシングエリア相当となるように撮影を行い、上方と下方の画像をそれぞれ解析してユーザの操作を検出しても良い。あるいは、光を照射して物体までの距離を取得するTime-Of-Flight方式、Structured Light方式等のセンサを使用しても良い。あるいは、測距センサ、超音波センサ、静電容量センサ、光検出センサ等を使用しても良い。
本実施例によれば、投写面が鉛直か水平かに応じたセンシングエリアの設定を行い、投写面が水平の場合は、鉛直の場合よりもセンシングエリアが狭くなるようにする。これにより、投写面が鉛直、水平のいずれの場合もユーザの操作を正確に検出することが可能となり、投写型映像表示装置に対するユーザの操作性が向上する。
実施例2では、投写面の方向に応じてセンサの用途を変更することで、ユーザの操作をより的確に検出する方法について説明する。
図13は、投写面の方向に応じてセンサの用途を変更する一例を示す図である。(a)は鉛直投写面の場合、(b)は水平投写面の場合である。
(a)の鉛直投写面の場合は、実施例1(図8)と同様と、センサ11によるセンシングエリア401a,401bと、センサ12によるセンシングエリア402a,402bの両方を有効とし、両方のエリアでユーザ3の手の動きを検出する。
(b)の水平投写面の場合は、センサ11によるセンシングエリア401a,401bも有効とし、ユーザ3の体を検出するようにする。またセンサ12によるセンシングエリア402a,402bではユーザ3の手の動きを検出する。センサ11によりユーザ3の体を検出することで、新たにユーザ3の在/不在を検知することができる。操作検出部13では、ある一定時間以上センサ11から検出信号がなければ(あるいは信号が小さければ)、表示装置1(または投写面2)の前にユーザが居ないと判定する。この検出結果(ユーザ不在)は表示機能部20へ伝えられる。ユーザが不在のときは映像を投写し続ける必要はないので、制御部24は投写部21に対し映像の投写を中止させ、あるいは表示装置1の電源を切る等の処理を行う。これにより、無駄な電力消費を抑えることができる。
図14は、センサ用途に関するユーザ設定画面の一例を示す図である。ユーザ設定画面600は例えば投写部21により投写面2に表示し、ユーザがリモコンやボタン、スイッチ等を介して設定する。ユーザ設定画面600には、壁やスクリーンに映像を投写するときの設定画面601と、机上に映像を投写するときの設定画面602を表示する。
設定画面601では、鉛直投写面の場合にユーザの手を検出するエリアを選択する。ここでは、投写面から近いエリアでのみ操作を受け付けるか、あるいは離れたエリアでも操作を受け付けるかを選択する。
設定画面602では、水平投写面の場合にユーザの不在検知を行うか否かを選択する。その際、不在を検知してから表示装置(プロジェクタ)1本体の電源を切るまでの時間を設定できるようにしても良い。
このようなユーザ設定画面を設けることで、ユーザの体やユーザの使い方に合わせて表示装置を動作させることができる。
図15は、センシングエリアの設定処理を示すフローチャートである。
まず、S1101では設置状態検出部22により投写面の方向を判定する。投写面の方向が鉛直である場合はS1102に、水平である場合はS1103に、投写面の方向が変動している場合はS1104に進む。
S1102では、センサ11,12による検出をいずれも有効にして、S1105に進み、センサ11,12で手を検出するよう設定する。
S1103では、センサ11,12による検出をいずれも有効にして、S1106に進み、センサ11で体を検出、センサ12で手を検出するよう設定する。
S1104では、センサ11,12による検出をいずれも無効に設定する。以上のフローを繰り返して実行することで、投写面の方向が途中で変更された場合にも対応できる。
本実施例によれば、投写面が鉛直か水平かに応じてセンサの用途を変更することにより、投写面の方向に応じたユーザの操作をより的確に検出でき、投写型映像表示装置に対するユーザの操作性と使い勝手が向上する。
実施例3では、投写面の方向だけでなく、ユーザの位置に応じてセンシングエリアを設定することで、ユーザの操作をより正確に検出する方法について説明する。
図16は、ユーザの位置に応じてセンシングエリアを設定する例を示す図である。
(a)はユーザの位置を示す上面図で、投写面2が水平で、2人のユーザ3,3’が表示装置1の正面ではなく、両側面に立っている場合である。(b)はこの場合のセンシングエリアを示す側面図で、2個のセンサ11,12を有効にし、両方のセンシングエリア401a,401b,402a,402bでユーザの手を検出するよう設定する。
投写面が水平の場合、前記実施例1(図8(b))では、ユーザが表示装置1の正面に立っている場合を想定し、センサ12によるセンシングエリア402a,402bのみを有効とし、センサ11によるセンシングエリア401a,401bを無効とした。これに対し本実施例ではユーザの位置を考慮する。(a)のようにユーザ3,3’は表示装置1の両側面に立っているので、ユーザの手以外の体がセンサ11のセンシングエリア401a,401bに入ることがなく、センサ11により手の検出を行うことができる。この場合、センサ11も手の検出のために用いることで、センシングエリアを拡大することができ、結果的にユーザの操作の検出精度が向上する。なお、ユーザが一人の場合でも同様である。
ユーザが表示装置1の正面に居るか否かについては、センサ11の検出信号から判定できる。ユーザが正面にいるときは、センサ11の検出信号が常に大きくなり、正面にいないときは、センサ11の検出信号は小さくなる。あるいは、検出信号が大きい期間と検出信号が小さい期間の割合からも、ユーザが正面に居るか否かを判定できる。
なお、投写面が鉛直の場合にはユーザの位置はほぼ固定されるので、センシングエリアは実施例1と同様に設定する。
図17は、センシングエリアの設定処理を示すフローチャートである。
まず、S1201では設置状態検出部22により投写面の方向を判定する。投写面の方向が鉛直である場合はS1202に、水平である場合はS1203に、投写面の方向が変動している場合はS1204に進む。
S1202では、センサ11,12による検出をいずれも有効にして、S1205に進み、センサ11,12で手を検出するよう設定する。
S1203では、センサ11,12による検出をいずれも有効にして、S1206に進み、センサ11は常に動きを検出しているか否かを判定する。常に動きを検出している場合はユーザが正面にいると判定してS1207に進み、センサ12で手を検出するよう設定する。センサ11が常に動きを検出しない場合はユーザは正面にいないと判定してS1205に進み、センサ11,12で手を検出するよう設定する。
S1204では、センサ11,12による検出をいずれも無効に設定する。以上のフローを繰り返して実行することで、投写面の方向が途中で変更された場合にも対応できる。
本実施例によれば、投写面が水平の場合にユーザの配置に応じてセンシングエリアの設定を行うことで、センシングエリアを拡大しユーザの操作をより正確に検出することができる。
上記した各実施例は、本発明の説明のための例示であって、本発明は上記した各実施例に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることや、ある実施例の構成に他の実施例の構成を追加することも可能である。
1:投写型映像表示装置、
2:映像投写面、
3:ユーザ、
10:検出機能部、
11,12:センサ(焦電型センサ)、
13,14:操作検出部、
15,23:通信部、
16,24:制御部、
20:表示機能部、
21:映像投写部、
22:設置状態検出部、
31:検出結果データ、
32:設置状態データ、
200:投写映像、
300:焦電型センサ、
300a,300b:検出素子、
310:フレネルレンズ、
400a,400b,401a,401b,402a,402b:センシングエリア、
500:支持台、
510:可動レンズ、
520:可動遮蔽板、
530:レーザ、
540:角度可変ミラー、
600:ユーザ設定画面。

Claims (12)

  1. 投写型映像表示装置であって、
    映像投写面に映像を投写して表示する映像投写部と、
    前記投写型映像表示装置を操作する操作者を検出するセンサと、
    前記センサの出力から操作者の動きを検出する操作検出部と、
    前記操作検出部の検出結果に基づき前記映像投写部を制御する制御部と、を備え、
    前記センサにより検出するセンシングエリアは、前記映像投写面の方向が鉛直の場合と水平の場合とで異なるように設定したことを特徴とする投写型映像表示装置。
  2. 請求項1に記載の投写型映像表示装置であって、
    前記センサによるセンシングエリアは、前記映像投写面の方向が鉛直の場合よりも水平の場合の方が狭いことを特徴とする投写型映像表示装置。
  3. 請求項1に記載の投写型映像表示装置であって、
    前記センサは、前記映像投写面の方向が鉛直の場合は操作者の手を検出し、水平の場合は操作者の手及び操作者の存在を検出することを特徴とする投写型映像表示装置。
  4. 請求項1に記載の投写型映像表示装置であって、
    前記センサによるセンシングエリアは、前記映像投写面の方向が水平の場合、前記映像投写面に対する操作者の位置によって切り替え、操作者が前記映像投写面の正面にいない場合は正面にいる場合よりも広くすることを特徴とする投写型映像表示装置。
  5. 請求項1乃至4のいずれか1項に記載の投写型映像表示装置であって、
    前記センサはセンシングエリアの異なる複数のセンサで構成し、
    各センサ毎の有効/無効を切り替えることで、前記センサのセンシングエリアを変更することを特徴とする投写型映像表示装置。
  6. 請求項1乃至4のいずれか1項に記載の投写型映像表示装置であって、
    前記センサにはセンシングエリアを調整するための可動機構を取り付けたことを特徴とする投写型映像表示装置。
  7. 請求項3に記載の投写型映像表示装置であって、
    前記センサはセンシングエリアの異なる複数のセンサで構成し、
    各センサ毎に検出する対象物を設定したことを特徴とする投写型映像表示装置。
  8. 請求項1乃至7のいずれか1項に記載の投写型映像表示装置であって、
    前記映像投写面の方向、あるいは前記投写型映像表示装置の設置状態が変動している間は、前記センサあるいは前記操作検出部の動作を停止させることを特徴とする投写型映像表示装置。
  9. 請求項1に記載の投写型映像表示装置であって、
    前記センサによるセンシングエリアは、前記映像投写面の方向が鉛直の場合、前記映像投写面に対する前記センサの位置によって切り替え、前記センサが前記映像投写面の上方にある場合は下方にある場合よりも狭くすることを特徴とする投写型映像表示装置。
  10. 請求項1乃至9のいずれか1項に記載の投写型映像表示装置であって、
    前記センサは2個の焦電検出素子を並べて配置した焦電型センサであることを特徴とする投写型映像表示装置。
  11. 請求項1乃至10のいずれか1項に記載の投写型映像表示装置であって、
    前記投写型映像表示装置の設置状態を検出して前記映像投写面の方向を判定する設置状態検出部を有することを特徴とする投写型映像表示装置。
  12. 投写型映像表示方法であって、
    映像を投写する映像投写面の方向が鉛直か水平かを検出するステップと、
    前記検出した映像投写面の方向に応じて異なるセンシングエリアを設定するステップと、
    前記設定したセンシングエリアにおいて操作者の動きを検出するステップと、
    前記操作者の動きに基づき表示する映像を制御するステップと、を備え、
    前記センシングエリアは、前記映像投写面の方向が鉛直の場合よりも水平の場合の方が狭いことを特徴とする投写型映像表示方法。
JP2015553291A 2013-12-19 2013-12-19 投写型映像表示装置及び投写型映像表示方法 Active JP5974189B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/084141 WO2015092905A1 (ja) 2013-12-19 2013-12-19 投写型映像表示装置及び投写型映像表示方法

Publications (2)

Publication Number Publication Date
JP5974189B2 true JP5974189B2 (ja) 2016-08-23
JPWO2015092905A1 JPWO2015092905A1 (ja) 2017-03-16

Family

ID=53402298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015553291A Active JP5974189B2 (ja) 2013-12-19 2013-12-19 投写型映像表示装置及び投写型映像表示方法

Country Status (4)

Country Link
US (1) US10194124B2 (ja)
JP (1) JP5974189B2 (ja)
CN (1) CN105765494B (ja)
WO (1) WO2015092905A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199267A1 (ja) * 2015-06-11 2016-12-15 日立マクセル株式会社 光測距装置及びその制御方法、及びそれを用いたジェスチャ検出装置
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
US10976648B2 (en) 2017-02-24 2021-04-13 Sony Mobile Communications Inc. Information processing apparatus, information processing method, and program
CN110313021B (zh) * 2017-03-06 2023-07-25 连株式会社 增强现实提供方法、装置以及计算机可读记录介质
JP6295363B1 (ja) 2017-08-22 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
CN107631452A (zh) * 2017-09-13 2018-01-26 珠海格力电器股份有限公司 基于设备安装方向的显示装置、方法、存储介质、及设备
WO2019171635A1 (ja) * 2018-03-07 2019-09-12 Necソリューションイノベータ株式会社 操作入力装置、操作入力方法、及びコンピュータ読み取り可能な記録媒体
JP6585234B2 (ja) * 2018-05-30 2019-10-02 京セラ株式会社 電子機器、プログラムおよび制御方法
JP7112627B2 (ja) * 2020-11-30 2022-08-04 ソニーグループ株式会社 制御装置、制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012104096A (ja) * 2010-10-14 2012-05-31 Nikon Corp プロジェクタ
JP2012185630A (ja) * 2011-03-04 2012-09-27 Nikon Corp 投影装置
JP2013065061A (ja) * 2011-09-15 2013-04-11 Funai Electric Co Ltd プロジェクタ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US7364309B2 (en) * 2002-06-10 2008-04-29 Sony Corporation Image projector and image projecting method
WO2006098402A1 (ja) * 2005-03-17 2006-09-21 Brother Kogyo Kabushiki Kaisha プロジェクタ
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
JP5454325B2 (ja) * 2009-11-18 2014-03-26 セイコーエプソン株式会社 画像形成装置
US8681255B2 (en) * 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US20140218300A1 (en) * 2011-03-04 2014-08-07 Nikon Corporation Projection device
KR20120129664A (ko) * 2011-05-20 2012-11-28 삼성전자주식회사 프로젝터 및 프로젝터 제어방법
JP5921835B2 (ja) * 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012104096A (ja) * 2010-10-14 2012-05-31 Nikon Corp プロジェクタ
JP2012185630A (ja) * 2011-03-04 2012-09-27 Nikon Corp 投影装置
JP2013065061A (ja) * 2011-09-15 2013-04-11 Funai Electric Co Ltd プロジェクタ

Also Published As

Publication number Publication date
WO2015092905A1 (ja) 2015-06-25
US10194124B2 (en) 2019-01-29
CN105765494B (zh) 2019-01-22
CN105765494A (zh) 2016-07-13
US20160309127A1 (en) 2016-10-20
JPWO2015092905A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
JP5974189B2 (ja) 投写型映像表示装置及び投写型映像表示方法
US11470377B2 (en) Display apparatus and remote operation control apparatus
JP6222830B2 (ja) 画像投射装置
EP3051345B1 (en) Video projection device
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
US10203594B2 (en) Projector
US20120098852A1 (en) Image display device
US9544556B2 (en) Projection control apparatus and projection control method
US9841844B2 (en) Image display device
JP2011081506A (ja) 映像表示装置、および、その表示制御方法
WO2017141956A1 (ja) 空間表示装置
JP2011209579A (ja) 画像表示システムおよびその制御方法
KR101571096B1 (ko) 사용자 적응형 인터페이스 제공 시스템 및 방법
KR101534806B1 (ko) 사용자 위치 추적 기반의 자동 각도조절을 위한 디스플레이 거치대의 각도 제어 방법
JP6866467B2 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
JP2017146564A (ja) 空間表示装置
JP6349886B2 (ja) 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム
JP6686319B2 (ja) 画像投影装置及び画像表示システム
KR101492832B1 (ko) 영상 제어 방법 및 이를 이용한 영상 표시 장치
JP2019061539A (ja) 入力補助装置および携帯端末
WO2020110283A1 (ja) 表示装置
JP5669425B2 (ja) 表示制御装置およびその制御方法
JP2016045918A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2004343815A (ja) 撮像システム
TW201608488A (zh) 電子系統及偵測使用者的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160520

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160520

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160704

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160715

R150 Certificate of patent or registration of utility model

Ref document number: 5974189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250