JP5520517B2 - 携帯電子機器 - Google Patents

携帯電子機器 Download PDF

Info

Publication number
JP5520517B2
JP5520517B2 JP2009106548A JP2009106548A JP5520517B2 JP 5520517 B2 JP5520517 B2 JP 5520517B2 JP 2009106548 A JP2009106548 A JP 2009106548A JP 2009106548 A JP2009106548 A JP 2009106548A JP 5520517 B2 JP5520517 B2 JP 5520517B2
Authority
JP
Japan
Prior art keywords
image
projected
unit
predetermined
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009106548A
Other languages
English (en)
Other versions
JP2010224509A (ja
Inventor
昌之 大坂
泰弘 上野
康 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2009106548A priority Critical patent/JP5520517B2/ja
Priority to US13/203,082 priority patent/US8890992B2/en
Priority to KR1020117019741A priority patent/KR101392310B1/ko
Priority to PCT/JP2010/053005 priority patent/WO2010098406A1/ja
Publication of JP2010224509A publication Critical patent/JP2010224509A/ja
Application granted granted Critical
Publication of JP5520517B2 publication Critical patent/JP5520517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0272Details of the structure or mounting of specific components for a projector or beamer module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、スクリーンや壁面に画像を投影する画像投影部を有する携帯電子機器に関する。
従来から、壁面やスクリーンに画像を投影する装置としては、いわゆるプロジェクタがある。このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。
これに対して、近年、プロジェクタとして、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献1には、上キャビネットと、下キャビネットと、上キャビネット及び下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。
特開2007−96542号公報
ところで、プロジェクタに所定の画像が表示されないこと想定されるが、かかる場合にもプロジェクタの動作は継続されてしまう。本発明は、上記に鑑みてなされたものであって、画像を投影する画像投影部を備える携帯電子機器において、画像投影部により所定の画像が投影されない場合に、画像を投影する出力を抑制することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、第1の画像情報に基づいて、所定の画像を投影する画像投影部と、当該画像投影部が投影した画像を撮像する撮像部と、前記画像投影部に所定の画像を投影させるための第1の画像情報における一部分と、当該第1の画像情報に基づいて前記画像投影部が投影した画像を前記撮像部が撮像することにより得られた第2の画像情報における一部分とを比較することにより前記所定の画像が投影されているか否かを判定するとともに、前記所定の画像が投影されていないと判定した場合には、前記画像投影部が画像を投影する出力を抑制する処理部と、を含むことを特徴とする。
本発明の望ましい態様としては、前記携帯電子機器において、前記画像投影部が前記所定の画像を描画する時間と、前記撮像部が前記所定の画像を撮像する際の露光時間とを同一とすることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記所定の画像が投影されていないと判定した場合には、前記携帯電子機器が備える報知部に、前記所定の画像が投影されていないことの報知を行わせることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記所定の画像が投影されていないと判定した場合には、前記携帯電子機器が備える記憶部に、前記所定の画像が投影されていないことを示す情報を記憶させることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記画像投影部の起動に同期させて前記撮像部を起動させ、前記画像投影部に所定の画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の画像が投影されているか否かを判定することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記画像投影部の起動後、所定時間が経過してから前記撮像部を起動させるとともに、前記画像投影部に所定の画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した前記所定の画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の画像が投影されているか否かを判定することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記第1の画像情報は、前記画像投影部により前記所定の画像が投影されているか否かを判定するための試験用の画像情報であり、前記処理部は、前記画像投影部の起動時に、前記画像投影部が前記試験用の画像情報を投影するように処理するとともに、前記撮像部が前記試験用の画像情報に基づいて投影された画像を撮像するように処理することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記試験用の画像情報は、長方形又は正方形の画像を表示させるための情報であることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記撮像部の代わりに、前記画像投影部が投影した画像の反射光を検知する光検知部を有し、前記処理部は、前記光検知部によって検知された、前記第1の画像情報に基づいて前記画像投影部が投影した画像の反射光に基づいて、前記所定の画像が投影されているか否かを判定することが好ましい。
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、可視画像及び不可視画像を投影する画像投影部と、当該画像投影部が投影した不可視画像を撮像する撮像部と、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報における一部分と、当該第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像することにより得られた第2の画像情報における一部分とを比較することにより前記所定の不可視画像が投影されていないと判定した場合には、前記画像投影部が可視画像を投影する出力を抑制する処理部と、を含むことを特徴とする。
本発明の望ましい態様としては、前記携帯電子機器において、前記所定の不可視画像を描画する時間と、前記第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像する際の露光時間とを同一とすることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記所定の不可視画像が投影されていないと判定した場合には、前記携帯電子機器が備える報知部に、前記所定の不可視画像が投影されていないことの報知を行わせることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記所定の画像が投影されていないと判定した場合には、前記携帯電子機器が備える記憶部に、前記所定の不可視画像が投影されていないことを示す情報を記憶させることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記画像投影部が投影する可視画像と不可視画像とは重ねて投影されることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記画像投影部の起動に同期させて前記撮像部を起動させ、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の不可視画像が投影されているか否かを判定することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記画像投影部が前記可視画像を投影する前に、前記画像投影部に前記不可視画像を投影させるとともに前記撮像部を起動させ、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の不可視画像が投影されているか否かを判定することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記所定の不可視画像が投影されていると判定した場合、前記画像投影部に可視画像を投影させることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記画像投影部の起動後、所定時間が経過してから前記撮像部を起動させるとともに、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した前記所定の不可視画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の不可視画像が投影されているか否かを判定することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記第1の画像情報は、前記画像投影部により前記所定の不可視画像が投影されているか否かを判定するための試験用の画像情報であり、前記処理部は、前記画像投影部の起動時に、前記画像投影部が前記試験用の画像情報に基づいた不可視画像を投影するように処理するとともに、前記試験用の画像情報に基づいて投影された画像を前記撮像部が撮像するように処理することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記試験用の画像情報は、長方形又は正方形の不可視画像を表示させるための情報であることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記撮像部の代わりに、前記画像投影部が投影した不可視画像の反射光を検知する光検知部を有し、前記処理部は、前記光検知部によって検知された、前記第1の画像情報に基づいて前記画像投影部が投影した不可視画像の反射光に基づいて、前記所定の不可視画像が投影されているか否かを判定することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記携帯電子機器の筐体の内部であって、前記携帯電子機器の筐体の内部であって、前記画像投影部の近傍には、前記筐体が開かれたことを検出する検出部が設けられ、前記処理部は、前記筐体が開かれたことを前記検出部が検出した場合、前記画像投影部が画像を投影する出力を抑制することが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記検出部は、前記画像投影部を駆動する電源とは異なる電源で駆動させることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記検出部は、光検出センサであることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記筐体が開かれたことを前記検出部が検出した場合、前記携帯電子機器が備える報知部に、前記筐体が開かれたことについての情報を報知させることが好ましい。
本発明の望ましい態様としては、前記携帯電子機器において、前記処理部は、前記筐体が開かれたことを前記検出部が検出した場合、前記携帯電子機器が備える記憶部に、前記筐体が開かれたことについての情報を記憶させることが好ましい。
本発明は、画像を投影する画像投影部を備える携帯電子機器において、画像投影部により所定の画像が投影されない場合に、画像を投影する出力を抑制できる。
図1は、実施形態1に係る携帯電子機器の一実施形態の概略構成を示す斜視図である。 図2は、図1に示す携帯電子機器の機能の概略構成を示すブロック図である。 図3は、図1に示す携帯電子機器のプロジェクタで画像を表示させている状態を示す説明図である。 図4は、スキャン方式のプロジェクタにおける描画方法を示す模式図である。 図5は、実施形態1に係る携帯電子機器において、プロジェクタにより所定の画像が投影されているか否かを判定するための制御ブロック図である。 図6は、実施形態1に係る携帯電子機器において、プロジェクタにより所定の画像が投影されているか否かを判定する場合のタイミングチャートである。 図7−1は、所定の画像が投影されるプロジェクタが投影する、第1の画像情報に基づく画像を示す模式図である。 図7−2は、所定の画像が投影されるプロジェクタによって投影された所定の画像をカメラが撮像して得られる第2の画像情報を示す模式図である。 図7−3は、所定の画像が投影されないプロジェクタが投影する、第1の画像情報に基づく画像を示す模式図である。 図7−4は、所定の画像が投影されないプロジェクタが投影する、第1の画像情報に基づく画像を示す模式図である。 図8−1は、第1の画像情報と第2の画像情報とを比較する手法の説明図である。 図8−2は、第1の画像情報と第2の画像情報とを比較する手法の説明図である。 図8−3は、第1の画像情報と第2の画像情報とを比較する手法の説明図である。 図9は、実施形態1において、プロジェクタに所定の画像が投影されたか否かを判定する方法の手順を示すフローチャートである。 図10は、試験用の画像の一例を示す模式図である。 図11は、実施形態1に係る携帯電子機器において、光検出センサの配置例を示す模式図である。 図12は、筐体が開かれた場合における処理手順例を示すフローチャートである。 図13は、実施形態2に係る携帯電子機器の機能の概略構成を示すブロック図である。 図14は、可視画像、不可視画像、及び撮像領域の関係を示す模式図である。 図15は、実施形態2に係る携帯電子機器において、プロジェクタにより所定の不可視画像が投影されているか否かを判定するための制御ブロック図である。 図16は、実施形態2に係る試験用の画像の一例を示す模式図である。 図17は、実施形態2において、プロジェクタによって所定の不可視画像が投影されたか否かを判定する方法の手順を示すフローチャートである。 図18は、実施形態2において、プロジェクタによって所定の不可視画像が投影されたか否かを判定する他の方法の手順を示すフローチャートである。 図19は、カメラの代わりに、プロジェクタが投影した不可視画像の反射光を検知する光検知部を用いて所定の不可視画像が投影されているか否かを判定する手法の説明図である。 図20−1は、フォトダイオードによって検知された、描画時間中における不可視画像の不可視光点の輝度分布例を示す図である。 図20−2は、フォトダイオードによって検知された、描画時間中における不可視画像の不可視光点の輝度分布例を示す図である。
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handyphone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
(実施形態1)
図1は、実施形態1に係る携帯電子機器の一実施形態の概略構成を示す斜視図である。まず、携帯電子機器の外観の構成を説明する。携帯電子機器10は、無線通信機能を備えた携帯電話機である。携帯電子機器10は、1つの箱型形状の筐体11を有しており、その内部にそれぞれの構成部品が収納されたストレート形状の携帯電話機である。なお、本実施形態では、筐体11を1つの箱型形状としたが、例えば、ヒンジで連結された2つの部材で構成した折りたたみ可能な筐体や、2つの部材をスライドさせる筐体としてもよい。また、3つ以上の部材を連結した筐体を用いてもよい。
図1に示すように、筐体11には、表示部としてディスプレイ12が設けられる。ディスプレイ12は、携帯電子機器10が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器10の操作を補助するために用いられるメニュー画像を表示したりする。
筐体11には、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13が複数設けられている。操作キー13は、携帯電子機器10の操作部を構成する。また、筐体11には、携帯電子機器10の通話時に音声を受け取るマイク15、携帯電子機器10の通話時に音声を発するレシーバ16が設けられる。また、筐体11の側面であって、レシーバ16側の面には、画像投影部であるプロジェクタ34の画像投影面、及び撮像手段であるカメラ36の受光面が露出している。これによって、本実施形態では、プロジェクタ34の画像投影面と直交する方向と、カメラ36の受光面に直交する方向とが略平行になるように構成されるので、プロジェクタ34によって投影された画像をカメラ36によって撮像できる。
図2は、図1に示す携帯電子機器の機能の概略構成を示すブロック図である。図2に示すように、携帯電子機器10は、処理部22と、記憶部24と、送受信部26と、操作部28と、音声処理部30と、表示部32と、プロジェクタ34と、カメラ36と、光検出センサ38と、を有する。処理部22は、携帯電子機器10の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器10の各種の処理が、操作部28の操作や携帯電子機器10の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。携帯電子機器10の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器10の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、プロジェクタ34やカメラ36の駆動を制御するアプリケーションプログラムや、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させたりプロジェクタ34に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、比較判定部22a、カメラ制御部22b、プロジェクタ制御部22c、報知制御部22d、情報書き込み部22e、画像処理部22f、条件判定部22g、分解判定部22hを有する。比較判定部22a、カメラ制御部22b、プロジェクタ制御部22c、報知制御部22d、情報書き込み部22e、画像処理部22f、条件判定部22g、分解判定部22hがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ34やカメラ36の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部28は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13と、特別の操作が割り当てられた専用キー14とで構成される。そして、これらのキーがユーザーの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザーの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器10の筐体11内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ12を有しており、処理部22から供給される映像データに応じた映像、画像データに応じた画像を表示パネルに表示させる。ディスプレイ12は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Monitor)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ12に加え、サブディスプレイを有していてもよい。
図3は、図1に示す携帯電子機器のプロジェクタで画像を表示させている状態を示す説明図である。上述したように、プロジェクタ34は、画像を投影する画像投影部であり、画像投影面が筐体11の外部に露出している。携帯電子機器10は、プロジェクタ34から画像を投影することで、図3に示すように、プロジェクタ34の画像投影面と対向する位置の画像投影対象(例えば、壁面やスクリーン等)のうち、領域(投影領域)Pに画像を投影することができる。なお、プロジェクタ34は、処理部22により動作が制御され、処理部22から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域に表示させる。
プロジェクタ34は、光源と、画像データに応じて、光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態では、プロジェクタ34の光源をレーザー光としている。そして、プロジェクタ34は、光源と、光源から射出された光を透過させるか否かを切り換える切り換え素子と、当該切り換え素子を通過した光をラスター走査させるミラーとで構成される光学系とした構成としている。この場合は、ミラーによってレーザー光から射出された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に画像を投影させることができる。このように、プロジェクタ34は、スキャン方式のプロジェクタである。
なお、プロジェクタ34の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ34には、ハロゲンライトや、LED光源、LD光源を光源とし、LCD(Liquid Crystal Monitor)や、DMD(Digital Micro-mirror Device)を光学系とした構成のプロジェクタを用いてもよい。
カメラ36は、例えば、CCD(Charge Coupled Device)イメージセンサのような撮像素子を用いて構成される。カメラ36は、プロジェクタ34によって投影された画像を撮像することが可能である。すなわち、プロジェクタ34によって画像投影対象に投影された画像を撮像することが可能である。本実施形態では、カメラ36の撮像画角が、プロジェクタ34の投影画角よりも大きくなるように構成される。これによって、プロジェクタ34の投影領域Pよりもカメラ36の撮像領域Cの方が大きくなるので、プロジェクタ34によって投影された画像をすべてカメラ36で撮像できる。また、カメラ36は、携帯電子機器10の使用者が風景等を撮影するカメラとは別個に用意され、プロジェクタ34によって投影される画像を撮像するためにのみ用いられるものであってもよい。
光検出センサ38は、筐体11が開かれたことを検出する検出部である。携帯電子機器10を改造する等の目的で筐体11が開かれた場合、光検出センサ38は、筐体11の外部の光を受光し、その旨を出力する。上述した分解判定部22hは、光検出センサ38からの信号に基づき、筐体11が開かれたか否かを判定する。なお、本実施形態において、プロジェクタ34により所定の画像が投影されていることを判定する際には、分解判定部22h及び光検出センサ38は必ずしも必要ではない。
図4は、スキャン方式のプロジェクタにおける描画方法を示す模式図である。画像Aは、プロジェクタ34から照射されたレーザー光の点(光点)Dを、X方向及びY方向に走査させることで描画される。このとき、光点Dは、X方向に往復して走査され、Y方向に対しては一方向に走査される。プロジェクタ34による描画にあたっては、画像Aが長方形である場合、一つの角部から光点Dの走査が開始され、X方向及びY方向に向かって画像Aの全領域を光点Dが走査する。これによって1回の描画が終了し、一つの画像Aが描画される。
プロジェクタ34で画像を投影する場合、表示される画像は更新される。単位時間当たりに何度画像が更新されるか、すなわち、単位時間当たりの更新回数を示す指標をフレームレートといい、1秒あたりの更新回数で示される。フレームレートを周波数で表したものがフレーム周波数である。フレーム周波数がfHzである場合、1秒あたりf回画像が更新される。すなわち、1秒あたりf回の描画が実行される。
本実施形態では、プロジェクタ34により所定の画像が投影されていることを検出するため、処理部22は、プロジェクタ34が、第1の画像情報に基づき所定の画像を投影した場合に、所定の画像をプロジェクタ34が投影しているか否かを判定する。所定の画像をプロジェクタ34が投影していないと判定した場合、プロジェクタ34の状態が通常の状態から変化したと判断できる。したがって、処理部22は、所定の画像をプロジェクタ34が投影していないと判定した場合、プロジェクタ34が画像を投影する出力(プロジェクタ出力)を現時点よりも抑制、すなわち低下又は停止させる。所定の画像をプロジェクタ34が投影しているか否かを判定するにあたって、処理部22は、プロジェクタ34に所定の画像を投影させるための第1の画像情報、及びプロジェクタ34が第1の画像情報に基づき投影した画像をカメラ36が撮像することにより得られた第2の画像情報に基づいて判定する。
図5は、実施形態1に係る携帯電子機器において、プロジェクタにより所定の画像が投影されているか否かを判定するための制御ブロック図である。図6は、実施形態1に係る携帯電子機器において、プロジェクタにより所定の画像が投影されているか否かを判定する場合のタイミングチャートである。図6は、横軸が時間である。図7−1は、所定の画像が投影されるプロジェクタが投影する、第1の画像情報に基づく画像を示す模式図である。図7−2は、所定の画像が投影されるプロジェクタによって投影された所定の画像をカメラが撮像して得られる第2の画像情報を示す模式図である。図7−3、図7−4は、所定の画像が投影されないプロジェクタが投影する、第1の画像情報に基づく画像を示す模式図である。
プロジェクタ34により所定の画像が投影されていないことを判定する手法をより詳細に説明する。まず、図2に示す処理部22の画像処理部22fは、プロジェクタ34に所定の画像を投影させるための第1の画像情報A_Dを生成し、プロジェクタ34に送る。プロジェクタ34は、第1の画像情報A_Dに基づき、図4に示すように画像を描画して、所定の画像A_Pを投影する。すなわち、第1の画像情報A_Dは、所定の画像A_Pの元となる情報である。カメラ36は、第1の画像情報に基づいてプロジェクタ34によって投影された画像を撮像する。カメラ36が第1の画像情報に基づいて投影された画像を撮像することによって得られた画像情報、より具体的には、カメラ36によって撮像された後、画像処理部22fで第1の画像情報A_Dと比較できるように処理された画像情報が、第2の画像情報A_Cである。
処理部22の比較判定部22aは、画像処理部22fが出力した第1の画像情報A_Dと、カメラ36が撮像し、画像処理部22fで処理された第2の画像情報A_Cとを取得して両者を比較し、両者が一致するか否かを判定する。この場合、第1の画像情報A_Dと、第2の画像情報A_Cとが一致すれば、比較判定部22aは、所定の画像をプロジェクタ34が投影していると判定する。一方、比較の結果、第1の画像情報A_Dと、第2の画像情報A_Cとが不一致であれば、比較判定部22aは、所定の画像をプロジェクタ34が投影していないと判定する。
図6に示すように、プロジェクタ34が第1の画像情報A_Dに基づいて所定の画像A_Pを描画する時間が描画時間Tpであり、カメラ36が、第1の画像情報に基づき、プロジェクタ34によって投影された所定の画像を撮像する際の時間が露光時間Tsである。ここで、図6の時間Tfは、プロジェクタ34で画像を投影する際の画像の更新周期であり、フレーム周波数の逆数である。また、カメラ36の露光時間Tsの逆数は、カメラ36のシャッター速度となる。描画時間Tpは、画像の更新周期(画像更新期間)Tf中にプロジェクタ34が画像を出力(すなわち描画)する時間である。描画時間Tpは、描画の更新時におけるデータの切り替え等が発生することから、この切り替え等に要する時間を考慮して、図6に示すように、画像の更新周期Tfよりもやや短くなる。
ここで、通常、フレームレートは一定、すなわち、画像の更新周期Tfは一定であり、プロジェクタ34が通常の状態である限り、描画時間Tpも一定となる。本実施形態において、プロジェクタ34が所定の画像を投影しているか否かを判定する際における露光時間Tsは、プロジェクタ34が通常の状態で動作しているという前提において、画像の更新周期Tfに対して設定された描画時間Tpと同一とする。なお、プロジェクタ34が所定の画像を投影しているか否かを判定する際において、カメラ36による撮像は、画像の更新のタイミングと同期させる。すなわち、画像の更新が開始されるタイミングでカメラ36の露光が開始し、露光時間Tsで露光が終了する。
このように、第1の画像情報A_Dに基づきプロジェクタ34が所定の画像A_Pを投影する際の描画時間Tpと、投影された画像を撮像する際におけるカメラ36の露光時間Tsとを同一とすることで、カメラ36は、プロジェクタ34が投影し、描画した所定の画像A_Pをそのまま露光でき、プロジェクタ34が投影したものと同一の画像が撮像できる。なお、プロジェクタ34が投影した画像を更新する前までの期間であれば、カメラ36の露光時間Tsを、更新周期Tf以下の範囲で、プロジェクタ34の描画時間Tpよりも長くしてもよい(例えば、10%程度)。このようにすれば、カメラ36は、より確実にプロジェクタ34によって投影された画像を撮像できるので、所定の画像A_Pをプロジェクタ34が投影しているか否かの判定精度が向上する。
図7−1は、プロジェクタ34により所定の画像が投影されたとき、すなわち、プロジェクタ34の画像出力が図6の(1)に示すようになっている場合における所定の画像A_Pである。この場合、プロジェクタ34は、描画時間Tpで所定の画像A_Pを描画することになる。本実施形態において、描画時間Tpと露光時間Tsとは同一であり、カメラ36は、プロジェクタ34が投影したものと同一の画像が撮像できる。このため、プロジェクタ34が通常の状態で動作している場合には、第1の画像情報A_Dがすべて出力されるので、カメラ36が撮像した所定の画像A_Pから得られる画像情報(第2の画像情報A_C)は、図7−2に示すようになる。この場合、通常の状態のプロジェクタ34が投影した所定の画像A_Pから得られる第2の画像情報A_Cは、第1の画像情報A_Dと同一となる。
プロジェクタ34の状態が通常の状態から変化すると、描画における走査速度が低下することがある。プロジェクタ34の走査速度が低下すると、更新周期Tf中に一つの画像を構成するすべての情報を出力することができなくなる。すると、例えば、プロジェクタ34の走査速度が正常時の75%となった場合(図6の(2))、第1の画像情報A_Dは更新周期Tf中にすべて出力できないため、第1の画像情報A_Dに基づきプロジェクタ34が出力する画像は、図7−3に示すような画像A_P1のようになる。
また、例えば、プロジェクタ34の走査速度が正常時の50%となった場合(図6の(3))、第1の画像情報A_Dは更新周期Tf中にすべて出力できないため、第1の画像情報A_Dに基づきプロジェクタ34が出力する画像は、図7−4に示すような画像A_P2のようになる。ここで、図6のF1、F2は、プロジェクタ34が通常の状態である場合において、更新周期Tf中にプロジェクタ34から出力される第1の画像情報A_Dに対するデータ(情報)の不足分を示す。
ここで、上述したように、通常の状態のプロジェクタ34が第1の画像情報A_Dに基づいて投影した画像A_Pは、通常の状態から変化したプロジェクタ34が第1の画像情報A_Dに基づいて投影した所定の画像A_P1やA_P2とは異なる。カメラ36は、プロジェクタ34が投影したものと同一の画像が撮像できるので、図7−3に示す画像A_P1や図7−4に示す画像A_P2をカメラ36が撮像した場合、これらと同一の画像が撮像される。
したがって、通常の状態から変化したプロジェクタ34が、第1の画像情報に基づき投影した画像A_P1や画像A_P2をカメラ36が撮像することにより得られる第2の画像情報A_C1やA_C2は、第1の画像情報A_Dとは異なるものとなる。より具体的には、通常の状態から変化したプロジェクタ34が投影した画像A_P1や画像A_P2から得られる第2の画像情報A_C1やA_C2は、第1の画像情報A_Dに対してデータが不足している(図6のF1、F2に相当する分のデータ)。
したがって、第1の画像情報A_Dと第2の画像情報A_Cとが異なる場合、すなわち、両者が一致しない場合には、プロジェクタ34が所定の画像を投影していないと判定できる。例えば、比較判定部22aは、第1の画像情報A_Dと第2の画像情報A_Cとを比較し、一致していない割合が所定の閾値(例えば、10%)以上となった場合には、第1の画像情報A_Dと第2の画像情報A_Cとが一致していないと判定する。
図8−1〜図8−3は、第1の画像情報と第2の画像情報とを比較する手法の説明図である。第1の画像情報A_Dと第2の画像情報A_Cとを比較する場合、例えば、第1の画像情報A_Dと第2の画像情報A_C中の特徴部分(画像特徴部分)を抽出して比較する。画像特徴部分は、画像中のエッジ、文字、形状等であり、例えば、図8−1に示す例では、画像特徴部分Ob1、Ob2、Ob3の形状を画像特徴部分として抽出して比較する。
この場合、例えば、第1の画像情報A_Dの画像特徴部分と第2の画像情報A_Cの画像特徴部分との一致率が所定の閾値以上であれば、第1の画像情報A_Dと第2の画像情報A_Cとは一致すると判定してもよい。また、第1の画像情報A_Dの所定位置における画像特徴部分と、前記所定位置に対応する第2の画像情報A_Cの画像特徴部分とが同一であれば、第1の画像情報A_Dと第2の画像情報A_Cとは一致すると判定してもよい。画像特徴部分は、例えば、図2に示す処理部22の比較判定部22aに画像特徴部分の抽出機能を追加することにより抽出され、抽出された画像特徴部分同士を比較判定部22aが比較する。
また、第1の画像情報A_Dと第2の画像情報A_Cとを比較する場合、例えば、図8−2に示すように、比較対象の第1の画像情報A_Dの4隅(CD1〜CD4)と、第2の画像情報A_Cの4隅(CC1〜CC4)とを抽出して比較してもよい。そして、第1の画像情報A_Dと第2の画像情報A_Cとの間で抽出された4隅同士を比較して、すべて一致すれば、第1の画像情報A_Dと第2の画像情報A_Cとは一致し、抽出された4隅のうち一つでも異なれば、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないと判定する。画像情報の4隅は、例えば、図2に示す処理部22の比較判定部22aに画像情報の4隅を抽出する機能を追加することにより抽出され、抽出された4隅同士を比較判定部22aが比較する。
また、第1の画像情報A_Dと第2の画像情報A_Cとを比較する場合、例えば、比較対象の第1の画像情報A_Dと、第2の画像情報A_Cとの一部分を抽出して比較してもよい。図8−3に示す例では、第1の画像情報A_Dの一部分A1と第2の画像情報A_Cの一部分A1とを抽出して、同一か否かが比較される。その結果、抽出された一部分同士が同一であれば、第1の画像情報A_Dと第2の画像情報A_Cとは一致し、抽出された一部分同士が異なれば、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないと判定する。一部分の抽出は、例えば、図2に示す処理部22の比較判定部22aに画像情報の一部分を抽出する機能を追加することにより抽出され、抽出された一部分同士を比較判定部22aが比較する。次に、本実施形態において、プロジェクタ34により所定の画像が表示されているか否かを判定する方法を説明する。
図9は、実施形態1において、プロジェクタに所定の画像が投影されたか否かを判定する方法の手順を示すフローチャートである。ステップS101において、図2に示す処理部22の条件判定部22gは、プロジェクタ34が起動したか否かを判定する。ステップS101でNoと判定された場合、すなわち、処理部22がプロジェクタ34は起動していないと判定した場合、判定は終了する。ステップS101でYesと判定された場合、すなわち、条件判定部22gがプロジェクタ34は起動していると判定した場合、ステップS102へ進む。
ステップS102において、処理部22のカメラ制御部22bは、カメラ36を起動させる。この場合、カメラ制御部22bは、プロジェクタ34の起動に同期させてカメラ36を起動してもよい。また、カメラ36の起動に同期させてプロジェクタ34を起動してもよい。これによって、迅速にプロジェクタ34が所定の画像を投影しているか否かを判定できる。なお、カメラ制御部22bは、プロジェクタ34の起動後、所定時間が経過してからカメラ36を起動してもよい。このようにすると、プロジェクタ34のプロジェクタ出力が安定してからカメラ36でプロジェクタ34が投影した画像を撮像できる。また、プロジェクタ制御部22cは、カメラ36の起動後、所定時間が経過してから、プロジェクタ34を起動してもよい。
カメラ36が起動したらステップS103へ進み、処理部22のプロジェクタ制御部22cは、第1の画像情報A_Dに基づいて画像処理部22fが生成した所定の画像A_Pを、プロジェクタ34に投影させる。また、カメラ制御部22bは、プロジェクタ34によって第1の画像情報に基づき投影された画像をカメラ36に撮像させる。次に、ステップS104へ進み、比較判定部22aは、画像処理部22fから第1の画像情報A_Dを取得するとともに、カメラ36が撮像した画像から得られた第2の画像情報A_Cを取得する。なお、第2の画像情報A_Cは、カメラ36によって撮像された画像に対して、画像処理部22fがAD変換等の所定の処理を施して生成される。そして、比較判定部22aは、第1の画像情報A_Dと第2の画像情報A_Cとを比較し、一致するか否かを判定する。
ステップS104でYesと判定された場合、すなわち、比較判定部22aが、第1の画像情報A_Dと第2の画像情報A_Cとは一致すると判定した場合、プロジェクタ34は、第1の画像情報A_Dに基づく所定の画像A_Pを正しく投影していると判定できる。この場合、ステップS105へ進み、プロジェクタ制御部22cは、第1の画像情報A_Dと第2の画像情報A_Cとは一致するという判定結果を比較判定部22aから取得し、プロジェクタ34のプロジェクタ出力を変更せず、プロジェクタ34による投影を継続する。
ステップS104でNoと判定された場合、すなわち、比較判定部22aが、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないと判定した場合、プロジェクタ34は、第1の画像情報A_Dに基づく所定の画像A_Pを投影していないと判定できる。この場合、ステップS105へ進み、プロジェクタ制御部22cは、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないという判定結果を比較判定部22aから取得し、プロジェクタ34のプロジェクタ出力を抑制させる。これによって、プロジェクタ34が所定の画像A_Pを投影していない場合には、プロジェクタ34が消費する電力が低減されるので、無駄な電力消費を抑制できる。また、例えば、プロジェクタ34の光源にレーザー光を用いる場合には、プロジェクタ34によって投影されるレーザー光が集中して照射されるような事態を未然に回避できる。
なお、プロジェクタ34の起動中は、常に第1の画像情報A_Dと第2の画像情報A_Cとを比較して、プロジェクタ34が所定の画像A_Pを投影しているか否かを判定してもよい。しかし、常時プロジェクタ34が所定の画像A_Pを投影しているか否かを判定すると、処理部22の負荷が大きくなるので、本実施形態のように、プロジェクタ34の起動時にプロジェクタ34が所定の画像A_Pを投影しているか否かを判定してもよい。また、プロジェクタ34の起動中にプロジェクタ34が所定の画像A_Pを投影しているか否かを判定する場合、所定のタイミング毎(例えば、30秒毎)に前記判定を実行してもよい。このようにすれば、処理部22の負荷を低減しつつ、プロジェクタ34の起動中にプロジェクタ34が所定の画像A_Pを投影していない状態が発生した場合でもそれを検出して、プロジェクタ出力を抑制することができる。
ここで、プロジェクタ34が第1の画像情報A_Dに基づく所定の画像A_Pを投影していないと判定された場合、ステップS106でプロジェクタ出力が抑制されるとともに、処理部22の報知制御部22dは、プロジェクタ34により所定の画像が投影されていないことを示す情報を図1、図2に示す携帯電子機器10の報知部に報知させてもよい。例えば、報知部をディスプレイ12とし、報知制御部22dは、ディスプレイ12の背景色を赤色に変更したり、プロジェクタ34により所定の画像が投影されていない旨のメッセージをディスプレイ12に表示させたりする。また、報知部をスピーカ17とし、報知制御部22dは、スピーカ17から警告音を出力させたりする。このように、プロジェクタ34により所定の画像が投影されていないことを示す情報を報知させることによって、携帯電子機器10のユーザーは、プロジェクタ34の状態が通常の状態から変化したおそれがあることを把握できる。
また、プロジェクタ34が第1の画像情報A_Dに基づく所定の画像A_Pを投影していないと判定された場合、ステップS106でプロジェクタ出力が抑制されるとともに、処理部22の情報書き込み部22eは、所定の画像が投影されていないことを示す情報を図2に示す携帯電子機器10の記憶部24に記憶させてもよい。これによって、以後プロジェクタ34を起動する指令があった場合には、プロジェクタ制御部22cが記憶部24に記憶されている前記情報を読み込み、これに基づいてプロジェクタ34を起動させないように、あるいはプロジェクタ出力を制限させることができる。そして、プロジェクタ34が所定の画像を投影できるようになったら、情報書き込み部22eは、記憶部24から前記情報を消去させる。このようにすれば、プロジェクタ34が所定の画像を投影していないことが一度判定されれば、プロジェクタ34が所定の画像を投影できるようになって前記情報が記憶部24から消去されるまでプロジェクタ34は起動されない、あるいはプロジェクタ出力が制限される。
図10は、試験用の画像の一例を示す模式図である。本実施形態においては、プロジェクタ34により所定の画像が投影されているか否かを判定するために用いる試験用の画像情報(試験用画像情報)を予め用意しておき、これを第1の画像情報として用いてプロジェクタ34により所定の画像が投影されているか否かを判定してもよい。図10に示す試験用画像は、プロジェクタ34が試験用画像A_Uを投影した状態である。
試験用画像A_Uは、記憶部24に記憶されており、プロジェクタ34により所定の画像が投影されているか否かを判定する際には、処理部22のプロジェクタ制御部22cは、プロジェクタ34の起動時に、プロジェクタ34が試験用画像A_Uを投影するように処理する。より具体的には、プロジェクタ制御部22cは、プロジェクタ34の起動時に、画像処理部22fに対して、記憶部24に記憶された試験用画像情報A_Tを読み出させ、プロジェクタ34が投影できる形に加工させて、プロジェクタ34へ出力させる。これによって、プロジェクタ34は、試験用画像A_Uを所定の画像として描画し、投影する。カメラ制御部22bは、カメラ36が、試験用画像情報A_Tに基づいて投影された画像を撮像するように処理する。
試験用画像A_Uは、例えば、上述した画像特徴部分が他の部分に対して明確に区別できる形状や文字等を含ませたり、画像の4隅には必ず光点が現れるように構成したりして、第1の画像情報A_Dと第2の画像情報A_Cとを比較に適したように構成することが好ましい。このような試験用画像A_Uを用いれば、よりプロジェクタ34が所定の画像を投影しているか否かを検出しやすくなる。
なお、本実施形態は、プロジェクタ34により正確な画像が投影されていないことの原因として、プロジェクタ34が通常の状態とは異なる状態で動作していることを記載したが、これに限られない。例えば、プロジェクタ34により正確な画像が投影されないことの原因としては、画像が投影される方向に人がいる場合が想定される。このような場合にも、プロジェクタ34が画像を投影する出力を抑制させることができる。特に、プロジェクタ34の光源にレーザー光を用いる場合には、出力を抑制させることによって、レーザー光が集中して人に照射されるような事態を未然に回避できる。
図11は、実施形態1に係る携帯電子機器において、光検出センサの配置例を示す模式図である。図1に示す携帯電子機器10は、例えば、プロジェクタ34の光量を増加させることを目的として筐体11が開かれて光源やその周囲の回路を改造されることが想定される。このような場合、携帯電子機器10の仕様とは異なることになり、当初の仕様からは想定できない事項が起こり得る。
本実施形態では、携帯電子機器10の仕様が当初の仕様とは異なった場合に、不測の事態が発生するおそれを低減するための機能(改造等推定・保護機能)を追加してもよい。次に、この改造等推定・保護機能について、より詳細に説明する。本実施形態では、図11に示すように、携帯電子機器10の筐体11の内部であって、プロジェクタ34の近傍に、筐体11が開かれたことを検出する検出部として光検出センサ38を設ける。光検出センサ38は、受光した場合にその旨の信号を出力する。光検出センサ38は、筐体11の内部に配置されるので、筐体11が開かれない限り受光しない。
このため、筐体11が開かれると、初めて光検出センサ38は受光してその旨の信号を出力するので、光検出センサ38が受光したことにより、筐体11が開かれたことを検出できる。すなわち、光検出センサ38は、筐体11が開かれたことを検出する検出部となる。光検出センサ38を用いることにより、筐体11が開かれたことを比較的簡単に検出できる。処理部22の分解判定部22hは、光検出センサ38が受光した旨の信号を出力した場合、すなわち、光検出センサ38によって筐体11が開かれたことが検出された場合には、プロジェクタ出力を抑制させる。光検出センサ38は、筐体11の内部に配置された通常の状態では受光しないように、例えば、筐体11の内部に設けたリブで囲まれた空間に配置することが好ましい。これによって、筐体11が開かれたときのみに、確実に光検出センサ38に受光させることができる。
携帯電子機器10は、電源である電池8が搭載されており、電池8からプロジェクタ34やカメラ36、処理部22へ電力が供給される。本実施形態では、さらに、電池8とは異なる電源(補助電源)として補助電池9を設け、電池8が取り外された場合には、補助電池9から光検出センサ38及び処理部22へ電力を供給する。このように、補助電池9を用いることにより、電池8が取り外された場合でも、筐体11が開かれたことを検出できるので、プロジェクタ34の改造等をより確実に推定できる。次に、筐体11が開かれたことを検出した場合における処理部22の処理手順を説明する。
図12は、筐体が開かれた場合における処理手順例を示すフローチャートである。筐体11が開かれると、筐体11の内部に光が入って、光検出センサ38が受光する。これによって、光検出センサ38は、筐体11が開かれたことを検出して、受光した旨の信号を出力する。ステップS301において、分解判定部22hが光検出センサ38から受光した旨の信号を取得した場合(ステップS301:Yes)、ステップS302へ進む。光検出センサ38が受光したことから筐体11が開かれたと判定できる。そして、通常筐体11は開かれないことから、筐体11が開かれた場合には、携帯電子機器10に何らかの改造、例えば、プロジェクタ34の改造等があったと推定できる。
したがって、ステップS302において、受光した旨の信号を取得した分解判定部22hは、プロジェクタ34の出力の抑制を設定する。プロジェクタ制御部22cは、分解判定部22hによる前記設定により、現在プロジェクタ34が画像を投影している場合には、プロジェクタ出力を抑制させる。このように、プロジェクタ34の改造が推定される場合には、プロジェクタ34の出力を抑制させる。
プロジェクタ34の出力の抑制が設定されたらステップS303へ進み、情報書き込み部22eは、筐体11が開かれたことについての情報を記憶部24へ記憶させる。これによって、筐体11が閉じられた後、プロジェクタ34を起動する指令があった場合には、プロジェクタ制御部22cが記憶部24に記憶されている前記情報を読み込み、これに基づいてプロジェクタ34を起動させないように、あるいはプロジェクタ出力を制限させることができる。そして、プロジェクタ34の改造等が解消したら、情報書き込み部22eは、記憶部24から前記情報を消去させる。このようにすれば、一度筐体11が開かれてプロジェクタ34の改造等が推定されれば、プロジェクタ34の改造等が解消して前記情報が記憶部24から消去されるまでプロジェクタ34は起動されない、あるいはプロジェクタ出力が制限される。また、筐体11が開かれたことについての情報を記憶部24へ記憶させることで、携帯電子機器10の設計・製造者等が意図しない改造等が行われたことを設計・製造者等が把握できる。
また、光検出センサ38が受光したことが検出され、筐体11が開かれたと判定された場合、筐体11が開かれたことについての情報を記憶部24へ記憶させるとともに、報知制御部22dは、筐体11が開かれたことについての情報を図1、図2に示す携帯電子機器10の報知部に報知させてもよい。例えば、報知部をディスプレイ12とし、報知制御部22dは、ディスプレイ12の背景色を赤色に変更したり、筐体11が開かれたため、プロジェクタ34が使用できない旨のメッセージをディスプレイ12に表示させたりする。また、報知部をスピーカ17とし、報知制御部22dは、スピーカ17から警告音を出力させたりする。このように、筐体11が開かれたことについての情報を報知させることによって、携帯電子機器10のユーザーへの注意を促すことができる。
本実施形態では、検出部として光検出センサ38を用いたが、検出部はこれに限定されるものではない。例えば、プロジェクタ34の筐体11内に配置される部分、あるいはプロジェクタ34を取り外すために必要な部分に、触覚センサを設けて、プロジェクタ34に触れたことを検出するようにしてもよい。プロジェクタ34は、通常は筐体11の内部に配置されるため、プロジェクタ34への接触や取り外しが検出された場合には、プロジェクタ34の改造が推定できる。
本実施形態において、携帯電子機器10は、上述したプロジェクタ34により所定の画像が投影されているか否かを判定する機能を備えず、改造等推定・保護機能のみを実現できるように構成されてもよい。この場合、携帯電子機器10は、少なくとも検出部である光検出センサ38と、処理部22の分解判定部22h及びプロジェクタ制御部22cとを有することが必要であり、さらに好ましくは、処理部22の情報書き込み部22e、報知制御部22d、報知部であるディスプレイ12やスピーカ17を有することが好ましい。改造等推定・保護機能のみを実現できるように携帯電子機器10を構成する場合、本実施形態からは次の発明が把握される。
第1の発明は、携帯電子機器において、画像を投影する画像投影部と、当該画像投影部が投影した画像を撮像する撮像部と、前記携帯電子機器の筐体の内部であって、前記画像投影部の近傍に設けられて、前記筐体が開かれたことを検出する検出部と、前記筐体が開かれたことを前記検出部が検出した場合、前記画像投影部が画像を投影する出力を抑制させる処理部と、を含むことを特徴とする携帯電子機器である。この第1の発明により、筐体が開かれたことにより、画像投影部の改造等を推定して、画像投影部の出力を抑制させる。
第2の発明は、前記第1の発明に係る携帯電子機器において、前記検出部は、前記画像投影部を駆動する電源とは異なる電源で駆動させることが好ましい。
第3の発明は、前記第1又は第2の発明のうちいずれか一つに係る携帯電子機器において、前記検出部は、光検出センサであることが好ましい。
第4の発明は、前記第1から第3の発明のうちいずれか一つに係る携帯電子機器において、前記処理部は、前記筐体が開かれたことを前記検出部が検出した場合、前記携帯電子機器が備える報知部に、前記筐体が開かれたことについての情報を報知させることが好ましい。
第5の発明は、前記第1から第3の発明のうちいずれか一つに係る携帯電子機器において、前記処理部は、前記筐体が開かれたことを前記検出部が検出した場合、前記携帯電子機器が備える記憶部に、前記筐体が開かれたことについての情報を記憶させることが好ましい。
(実施形態2)
実施形態2は、実施形態1と略同様であるが、不可視光で投影される不可視画像を用いて、携帯電子機器に搭載されたプロジェクタが所定の不可視画像を投影しているか否かに基づいて、プロジェクタが所定の可視画像を投影できるか否かを判定する点に特徴がある。他の構成は、実施形態1と同様である。なお、実施形態2に係る携帯電子機器は、実施形態1と同様に、例えば、光検出センサを検出部として用いることにより実現される改造等推定・保護機能を備えていてもよい。
図13は、実施形態2に係る携帯電子機器の機能の概略構成を示すブロック図である。図14は、可視画像、不可視画像、及び撮像領域の関係を示す模式図である。図15は、実施形態2に係る携帯電子機器において、プロジェクタにより所定の不可視画像が投影されているか否かを判定するための制御ブロック図である。図13に示すように、携帯電子機器10aが備える画像投影部であるプロジェクタ34aは、可視光照射装置(可視光照射手段)31と、不可視光照射装置(不可視光照射手段)33と、描画装置37とを含む。また、携帯電子機器10aは、プロジェクタ34aから投影された画像の焦点を調整するための焦点調整装置(焦点調整装置)39を備える。なお、可視光照射装置31、描画装置37、焦点調整装置39は、実施形態1の携帯電子機器10にも設けられていてもよい。
可視光照射装置31は、プロジェクタ34aの光源であって、可視光領域の光(短波長側が360nmから400nm以上、長波長側が760nmから830nm以下の光)を照射できる。本実施形態において、可視光照射装置31は、R(Red)、G(Green)、B(Blue)の3色の光を照射する。不可視光照射装置33は、プロジェクタ34aの光源であって、不可視光領域の光(短波長側が360nmから400nmよりも小さく、長波長側が760nmから830nmよりも大きい光)を照射できる。不可視光照射装置33は、例えば、紫外領域や赤外領域の光を照射するものである。本実施形態において、不可視光照射装置33は、赤外領域の光を照射するが、紫外領域の光を照射してもよい。
本実施形態では、可視光照射装置31及び不可視光照射装置33の光源をレーザー光としているが、これらの光源はこれに限定されるものではなく、ハロゲンライトやLED光源等を用いてもよい。このような構成により、プロジェクタ34aは、可視画像(可視光で投影される画像)及び不可視画像の両方を投影することができる。
描画装置37は、可視光照射装置31から照射される3色の光を合成するとともに、画像投影対象に照射する。また、描画装置37は、不可視光照射装置33から照射される不可視光を画像投影対象に照射する。さらに、描画装置37は、可視光照射装置31から照射される3色の光及び不可視光照射装置33から照射される不可視光を合成して、画像投影対象に照射する。これによって、描画装置37は、可視光のみで構成される可視画像や不可視光のみで構成される不可視画像、あるいは可視画像と不可視画像とが合成された画像を画像投影対象に投影することができる。
描画装置37は、光源である可視光照射装置31や不可視光照射装置33から照射された可視光や不可視光を投影するか否かを、画像データに応じて切り換える光学系で構成されている。描画装置37は、例えば、光源から射出された光を透過させるか否かを切り換える切り換え素子と、当該切り換え素子を通過した光をラスター走査させるミラーとで構成される。前記ミラーとしては、例えば、MEMS(Micro Electro Mechanical System)ミラーが用いられる。MEMSミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置31から照射される可視光や不可視光照射装置33から照射される不可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ34aは、実施形態1のプロジェクタ34と同様に、スキャン方式のプロジェクタである。
焦点調整装置39は、プロジェクタ制御部22cからの指令により、描画装置37から投影される可視画像や不可視画像が画像投影対象上で結像させる機能(焦点調整機能)を有する。焦点調整装置39は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置39は、プロジェクタ34aが投影する画像のデータに対して画像処理部22fによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置39は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。
カメラ36は撮像部であり、実施形態1と同様に、例えば、CCD(Charge Coupled Device)イメージセンサのような撮像素子を用いて構成される。本実施形態では、実施形態1と同様に、カメラ36の撮像画角が、プロジェクタ34aの投影画角よりも大きくなるように構成される。これによって、図14に示すように、プロジェクタ34aによる可視画像の投影領域PA及び不可視画像の投影領域PIよりもカメラ36の撮像領域Cの方が大きくなるので、プロジェクタ34aによって投影された可視画像及び不可視画像は、すべてカメラ36で撮像できる。
本実施形態において、カメラ36は、可視画像と不可視画像との両方を撮像する。このため、カメラ36は、撮像可能な光の帯域幅が、可視光照射装置31から照射される可視光の帯域及び不可視光照射装置33から照射される不可視光の帯域の両方を含む。不可視画像は、可視画像の波長範囲外の波長なので、カメラ36が可視画像のみを撮像する場合には、可視光の帯域のみを通過させるフィルタをカメラ36の撮像素子の前に配置したり、カメラ36が撮像した画像の情報から、画像処理部22fによる画像処理によって可視光の帯域のみを抽出したりする。
また、カメラ36が可視画像及び不可視画像を撮像する場合には、カメラ36の撮像素子にすべての帯域の光を入光させるとともに、画像処理部22fは、可視光の帯域及び不可視光の帯域が含まれるように、カメラ36が撮像した画像の情報を処理する。また、カメラ36が不可視画像のみを撮像する場合には、不可視光の帯域のみを通過させるフィルタをカメラ36の撮像素子の前に配置したり、カメラ36が撮像した画像の情報から、画像処理部22fの画像処理によって不可視光の帯域のみを抽出したりする。
なお、カメラ36は不可視画像の撮像のみに用いてもよい。この場合、カメラ36は、不可視光照射装置33が照射する不可視光の帯域を撮像できればよい。また、不可視画像のみを撮像する場合、不可視光照射装置33が照射する不可視光を赤外線とし、携帯電子機器10aが備える赤外線通信用の受光部を用いてもよい。このようにすれば、不可視画像を撮像する撮像部を新たに設ける必要はないので、携帯電子機器10aの製造コストを低減できる。また、カメラ36は、携帯電子機器10の使用者が風景等を撮影するカメラとは別個に用意され、プロジェクタ34によって投影される可視画像及び不可視画像を撮像するためにのみ用いられるものであってもよい。
実施形態1では、図2に示す携帯電子機器10に搭載されたプロジェクタ34が投影した所定の画像をカメラ36で撮像することで、プロジェクタ34が所定の画像(可視画像)を投影しているか否かを判定する。一方、本実施形態では、図13に示す、携帯電子機器10aに搭載されたプロジェクタ34aの不可視光照射装置33から照射される不可視光によって投影される不可視画像をカメラ36で撮像することで、プロジェクタ34aが所定の不可視画像を投影しているか否かを判定する。
図15に示すように、画像処理部22fは、プロジェクタ34aに所定の不可視画像を投影させるための第1の画像情報A_Dを生成し、プロジェクタ34aに送る。プロジェクタ34aは、第1の画像情報A_Dに基づき、図15に示すように画像を描画して、所定の不可視画像を投影する。すなわち、第1の画像情報A_Dは、所定の不可視画像の元となる情報である。カメラ36は、第1の画像情報に基づいてプロジェクタ34aによって投影された不可視画像A_PIを撮像する。カメラ36が第1の画像情報に基づいて投影された不可視画像A_PIを撮像することによって得られた画像情報、より具体的には、カメラ36によって撮像された後、画像処理部22fで第1の画像情報A_Dと比較できるように処理された画像情報が、第2の画像情報A_Cである。
処理部22の比較判定部22aは、画像処理部22fが出力した第1の画像情報A_Dと、カメラ36が撮像し、画像処理部22fで処理された第2の画像情報A_Cとを取得して両者を比較し、両者が一致するか否かを判定する。この場合、第1の画像情報A_Dと、第2の画像情報A_Cとが一致すれば、比較判定部22aは、所定の不可視画像をプロジェクタ34が投影しており、プロジェクタ34aは通常の状態で動作していると判定する。一方、比較の結果、第1の画像情報A_Dと、第2の画像情報A_Cとが不一致であれば、比較判定部22aは、所定の不可視画像をプロジェクタ34aが投影していないと判定する。
第1の画像情報A_Dと第2の画像情報A_Cとが一致するか否か、すなわち、第1の画像情報A_Dと第2の画像情報A_Cとが同一であるか否かは、実施形態1と同様に判定される。すなわち、第1の画像情報A_Dに基づきプロジェクタ34aが所定の不可視画像を投影する際の描画時間Tpと、投影された不可視画像を撮像する際におけるカメラ36の露光時間Tsとを同一とする。比較判定部22aは、このような条件でカメラ36が撮像した不可視画像から得られた第2の画像情報A_Cと第1の画像情報A_Dとを比較する。
本実施形態では、不可視光で投影される不可視画像を用いて、プロジェクタ34aが正確な画像を投影しているか否かを判定する。不可視画像は人間の目には認識されないため、不可視画像を見た人間は眩しさを感じない。また、不可視光は人間の目には認識されないので、不可視光照射装置33は、カメラ36が撮像できる最低限の出力で不可視光を照射すればよい。これによって、不可視光照射装置33を低出力とすることができる。
プロジェクタ34aが所定の不可視画像を投影しているか否かを判定するにあたっては、図13に示す可視光照射装置31が投影する可視画像と同一の画像を不可視光照射装置33によって投影させてもよい。また、実施形態1と同様に、プロジェクタ34aが所定の不可視画像を投影しているか否かを判定するために用いる専用の試験用の画像を用いてもよい。
図16は、実施形態2に係る試験用の画像の一例を示す模式図である。試験用の画像(試験用画像)A_Uaは、不可視光によって投影される画像である。試験用画像A_Uaは、互いに平行の関係にある一対の片(第1辺)L1、L1と、それぞれの第1辺L1、L1と直交するとともに、互いに平行の関係にある一対の辺(第2辺)L2、L2とで構成される長方形の画像である。なお、試験用画像A_Uaは正方形でもよい。試験用画像A_Uaは、プロジェクタ34aが描画可能な全描画領域を包含できるサイズである。
試験用画像A_Uaを長方形又は正方形とした場合、試験用画像A_Uaの形状、すなわち、第1辺L1と第2辺L2との比率が試験用画像A_Uaと同じ比率で、プロジェクタ34aの全描画領域に満遍なく不可視光が照射されていれば、プロジェクタ34aが所定の不可視画像を投影していると判定する。そして、試験用画像A_Uaとは異なる形状、例えば、第1辺L1と第2辺L2との比率が試験用画像A_Uaとは異なる比率で、プロジェクタ34aの全描画領域の一部に不可視光が照射されている場合には、プロジェクタ34aが所定の不可視画像を投影していないと判定する。
試験用画像A_Uaを長方形又は正方形とすることで、画像投影対象に投影された試験用画像A_Uaの焦点が多少ずれていても、試験用画像A_Uaと同形状の不可視画像が検出できれば、プロジェクタ34aが所定の不可視画像を投影しているか否かを判定できる。実施形態1、すなわち、可視画像を用いる場合でも、試験用画像の形状を長方形又は正方形とすることで、本実施形態と同様の作用、効果が得られる。なお、試験用画像A_Uaは、長方形又は正方形に限定されず、他の形状であってもよく、文字や図形等や、それらを組み合わせたものであってもよい。
図17は、実施形態2において、プロジェクタによって所定の不可視画像が投影されたか否かを判定する方法の手順を示すフローチャートである。この方法は、図13に示すプロジェクタ34aの起動中、すなわち、プロジェクタ34aが可視画像を投影している最中に、所定の不可視画像が投影されたか否かを判定するものである。ステップS401において、図13に示す処理部22の条件判定部22gは、プロジェクタ34aが起動中であるか否か、すなわち、プロジェクタ34aが可視画像を投影しているか否かを判定する。
ステップS401でNoと判定された場合、すなわち、処理部22がプロジェクタ34aは起動していないと判定した場合、STARTに戻り、処理部22は、プロジェクタ34aの動作状態の監視を継続する。ステップS401でYesと判定された場合、すなわち、条件判定部22gがプロジェクタ34aは起動中であると判定した場合、ステップS402へ進む。プロジェクタ34aが起動中である場合、プロジェクタ34aは、可視画像を画像投影対象に投影している。
ステップS402において、処理部22のプロジェクタ制御部22cは、第1の画像情報A_Dに基づいて画像処理部22fが生成した所定の不可視画像を、プロジェクタ34aに投影させる。次に、ステップS403へ進み、カメラ制御部22bは、カメラ36を起動させるとともに、プロジェクタ34aによって第1の画像情報A_Dに基づき投影された不可視画像をカメラ36に撮像させる。ここで、カメラ36を起動させてから第1の画像情報A_Dに基づく所定の不可視画像をプロジェクタ34aに投影させてもよい。
次に、ステップS404へ進み、比較判定部22aは、画像処理部22fから第1の画像情報A_Dを取得するとともに、カメラ36が撮像した不可視画像から得られた第2の画像情報A_Cを取得する。なお、第2の画像情報A_Cは、カメラ36によって撮像された不可視画像に対して、画像処理部22fがAD変換等の所定の処理を施して生成される。そして、比較判定部22aは、第1の画像情報A_Dと第2の画像情報A_Cとを比較する。
ステップS404でYesと判定された場合、すなわち、比較判定部22aが、第1の画像情報A_Dと第2の画像情報A_Cとは一致すると判定した場合、プロジェクタ34aは、第1の画像情報A_Dに基づく所定の不可視画像を投影していると判定できる。この場合、ステップS405へ進み、プロジェクタ制御部22cは、第1の画像情報A_Dと第2の画像情報A_Cとは一致するという判定結果を比較判定部22aから取得し、プロジェクタ34aのプロジェクタ出力を変更せず、プロジェクタ34による可視画像の投影を継続する。
ステップS404でNoと判定された場合、すなわち、比較判定部22aが、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないと判定した場合、プロジェクタ34aは、第1の画像情報A_Dに基づく所定の不可視画像A_Pを投影していないと判定できる。この場合、ステップS406へ進み、プロジェクタ制御部22cは、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないという判定結果を比較判定部22aから取得し、プロジェクタ34aのプロジェクタ出力を抑制させる。これによって、プロジェクタ34aが所定の不可視画像A_Pを投影していない場合には、プロジェクタ34aが消費する電力が低減されるので、無駄な電力消費を抑制できる。また、例えば、プロジェクタ34aの光源にレーザー光を用いる場合には、プロジェクタ34aによって投影されるレーザー光が集中して照射されるような事態を未然に回避できる。
所定の不可視画像が投影されているか否かの判定は、プロジェクタ34aの起動中に常時実行してもよいし、所定のタイミング毎に実行してもよい。後者のようにすれば、処理部22の負荷を低減できる。ここで、実施形態1と同様に、プロジェクタ34aが第1の画像情報A_Dに基づく所定の不可視画像を投影していないと判定された場合、所定の不可視画像が投影されていないことを示す情報を図13に示す携帯電子機器10aの報知部(例えば、表示部32)に報知させてもよい。また、プロジェクタ34aが第1の画像情報A_Dに基づく所定の不可視画像を投影していないと判定された場合、実施形態1と同様に、所定の不可視画像が投影されていないことを示す情報を、図13に示す携帯電子機器10aの記憶部24に記憶させてもよい。
図18は、実施形態2において、プロジェクタによって所定の不可視画像が投影されたか否かを判定する他の方法の手順を示すフローチャートである。この方法は、図13に示すプロジェクタ34aが可視画像を投影する前に、所定の不可視画像が投影されたか否かを判定するものである。ステップS501において、図13に示す処理部22の条件判定部22gは、プロジェクタ34aが可視画像の投影を開始するか否かを判定する。例えば、携帯電子機器10aの使用者によって入力されるプロジェクタ34aの起動命令を条件判定部22gが取得して、プロジェクタ34aがこれから可視画像の投影を開始すると判定する。
ステップS501でNoと判定された場合、すなわち、プロジェクタ34aは可視画像の投影を開始しないと判定した場合、STARTに戻り、処理部22は、プロジェクタ34aの動作状態の監視を継続する。ステップS501でYesと判定された場合、すなわち、条件判定部22gがプロジェクタ34aはこれから可視画像の投影を開始すると判定した場合、ステップS502へ進む。
ステップS502において、処理部22のプロジェクタ制御部22cは、第1の画像情報A_Dに基づいて画像処理部22fが生成した所定の不可視画像を、プロジェクタ34aに投影させるとともに、カメラ制御部22bは、カメラ36を起動させる。なお、カメラ36を起動させてからプロジェクタ34aが不可視画像を投影するようにしてもよい。
次に、ステップS503へ進み、カメラ制御部22bは、プロジェクタ34aによって第1の画像情報A_Dに基づき投影された不可視画像をカメラ36に撮像させる。ここで、プロジェクタ34aが不可視画像の投影を開始してから所定時間が経過した後にカメラ36を起動させてもよい。このようにすれば、このようにすると、プロジェクタ34aのプロジェクタ出力が安定してからカメラ36でプロジェクタ34aが投影した不可視画像を撮像できる。
次に、ステップS504へ進み、比較判定部22aは、画像処理部22fから第1の画像情報A_Dを取得するとともに、カメラ36が撮像した不可視画像から得られた第2の画像情報A_Cを取得する。なお、第2の画像情報A_Cは、カメラ36によって撮像された不可視画像に対して、画像処理部22fがAD変換等の所定の処理を施して生成される。そして、比較判定部22aは、第1の画像情報A_Dと第2の画像情報A_Cとを比較する。
ステップS504でYesと判定された場合、すなわち、比較判定部22aが、第1の画像情報A_Dと第2の画像情報A_Cとは一致すると判定した場合、プロジェクタ34aは、第1の画像情報A_Dに基づく所定の不可視画像を投影していると判定できる。この場合、ステップS505へ進み、プロジェクタ制御部22cは、第1の画像情報A_Dと第2の画像情報A_Cとは一致するという判定結果を比較判定部22aから取得し、プロジェクタ34aに可視画像を投影させる。この場合、プロジェクタ34aのプロジェクタ出力は、初期設定値から低下させない。
ステップS504でNoと判定された場合、すなわち、比較判定部22aが、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないと判定した場合、プロジェクタ34aは、第1の画像情報A_Dに基づく所定の不可視画像A_Pを投影していないと判定できる。この場合、ステップS506へ進み、プロジェクタ制御部22cは、第1の画像情報A_Dと第2の画像情報A_Cとは一致しないという判定結果を比較判定部22aから取得し、プロジェクタ34aが可視画像を投影する出力(プロジェクタ出力)を抑制させる。
これによって、例えば、プロジェクタ34aの光源にレーザー光を用いる場合には、プロジェクタ34aがレーザー光を集中して照射するような事態を未然に回避できる。また、プロジェクタ34aが所定の不可視画像A_Pを投影していない場合には、プロジェクタ34aが消費する電力が低減されるので、無駄な電力消費を抑制できる。なお、ステップS504でNoと判定された場合、ステップS506で、プロジェクタ制御部22cは、プロジェクタ34aによる可視画像の投影を中止、すなわち、プロジェクタ出力を0としてもよい。これによって、無駄な電力消費をより効果的に抑制できる。
ここで説明した、所定の不可視画像が投影されているか否かを判定する方法は、プロジェクタ34aが可視画像を投影する前に、所定の不可視画像が投影されているか否かを判定する。これによって、プロジェクタ34aが所定の不可視画像を投影していない場合、可視画像の投影を中止することができる。その結果、所定の不可視画像を投影しないプロジェクタ34aで可視画像が投影されることを未然に回避できる。
図19は、カメラの代わりに、プロジェクタが投影した不可視画像の反射光を検知する光検知部を用いて所定の不可視画像が投影されているか否かを判定する手法の説明図である。携帯電子機器10bは、プロジェクタ34aと、光検知部であるフォトダイオード36bとを備える。なお、光検知部は、フォトダイオード36bに限定されるものではなく、例えば、光電管、光電子倍増管、PSD(Position Sensitive Detector:光位置センサ)等を用いることもできる。携帯電子機器10bは、図13に示す携帯電子機器10aが備えるカメラ36を、フォトダイオード36bに置き換えた構成であり、他の構成は、携帯電子機器10aと同様であるので、同様の構成については、携帯電子機器10aの構成を用いて説明する。
図19に示すように、プロジェクタ34aによって投影される不可視画像A_PIは、不可視光の光点(不可視光点)S1、S2・・・Snの集まりとなる。この手法では、不可視光点S1等を、それぞれフォトダイオード36bによって検知して、プロジェクタ34aによって所定の不可視画像が投影されているか否かを判定する。なお、フォトダイオード36bによって検知されるのは、不可視光点S1等の反射光である。以下においては、説明の便宜上、不可視光点の反射光をフォトダイオード36bが検知することを、不可視光点をフォトダイオード36bが検知すると表現する。
この手法では、第1の画像情報A_Dに基づいてプロジェクタ34aが描画時間Tp中に投影した不可視画像A_PIの不可視光点S1等を、それぞれフォトダイオード36bが検知する。第1の画像情報A_Dは予め用意されているので、プロジェクタ34aが描画時間Tp中に投影した不可視画像A_PIを構成する不可視光点S1等の輝度分布も予め知ることができる。
図20−1、図20−2は、フォトダイオードによって検知された、描画時間中における不可視画像の不可視光点の輝度分布例を示す図である。例えば、第1の画像情報A_Dが、プロジェクタ34aが描画可能な全描画領域を包含できるサイズの長方形の画像であり、すべての領域が同じ出力の不可視光で描画されるものとする。この場合、プロジェクタ34aが通常の状態で動作していると、図20−1に示すように、不可視光点の輝度Bは、プロジェクタ34aによる描画の開始から終了まで、すなわち描画時間Tp中は一定となる。一方、プロジェクタ34aの状態が通常の状態から変化すると、例えば、図20−2に示すように、不可視光点の輝度Bは、プロジェクタ34aによる描画の開始から終了までの間で変化する。
本手法では、第1の画像情報A_Dに基づいてプロジェクタ34aが投影した不可視画像A_PIの不可視光点S1等を、描画時間Tp(更新周期Tfでもよい)中にフォトダイオード36bによって検知する。そして、処理部22の比較判定部22aは、検知された不可視光点S1等の輝度分布を、プロジェクタ34aが通常の状態で動作している場合における第1の画像情報A_Dに対応する不可視光点S1等の輝度分布と比較することで、プロジェクタ34aが、所定の不可視画像を投影しているか否かを判定する。フォトダイオード36bを用いれば、携帯電子機器10bにカメラを備える必要はない。
上記説明では、所定の不可視画像がプロジェクタ34aによって投影されているか否かを判定するにあたって用いる情報として不可視光点S1等の輝度Bを用いたが、前記情報はこれに限定されるものではなく、例えば、不可視光点S1等の光量を用いてもよい。また、上記説明では、フォトダイオード36bを単数としているが、フォトダイオード36bを複数(例えば、2個)用意し、両方のフォトダイオード36bによって検出された不可視光点S1等の出力の差分を用いて前記判定を実行してもよい。このようにすれば、不可視光点S1等の場所を知ることができるので、フォトダイオード36bと不可視光点S1等との傾きによる輝度変化や光量変化を補正することができる。その結果、前記判定の精度を向上させることができる。
また、上記説明では、不可視画像を例としたが、可視画像に対しても本手法を適用できる。この場合、プロジェクタ34aによって照射される可視光の光点(可視光点)をフォトダイオード36bによって検知して、不可視画像の場合と同様の手法で、プロジェクタ34aが、所定の不可視画像を投影しているか否かを判定する。
本実施形態では、不可視光によって投影される不可視画像を用いて、所定の不可視画像がプロジェクタによって投影されているか否かを判定する。このように、不可視画像を用いることで、プロジェクタが可視画像を投影している最中に所定の不可視画像がプロジェクタによって投影されているか否かを判定する場合には、可視画像と異なる不可視画像を用いることもできる。これによって、前記判定をしやすい不可視画像(例えば、プロジェクタ34aが描画可能な全描画領域を包含できるサイズの長方形の画像)を可視画像とともに投影して、前記判定の精度を向上させることができる。
本実施形態の携帯電子機器10a、10bが備えるプロジェクタ34aは、不可視光を照射できるので、所定の不可視画像がプロジェクタによって投影されているか否かの判定だけでなく、他の用途にも用いることができる。例えば、プロジェクタ34aによって可視画像を投影する前に、不可視光によって所定のパターンを有する不可視画像を投影し、これを用いて図13に示す焦点調整装置39によるオートフォーカスを実行する。そして、前記不可視画像の焦点が合ってからプロジェクタ34aに可視画像を投影させる。このようにすれば、焦点の合っていない可視画像が投影されることを回避できる。この他にも、不可視光で文字を投影し、電子透かしとして代用することもできる。
本実施形態の携帯電子機器10a、10bが備えるプロジェクタ34aは、不可視画像及び可視画像の両方を投影できる。したがって、通常は不可視画像を用いて所定の不可視画像がプロジェクタによって投影されているか否かを判定し、プロジェクタ34aが所定の不可視画像を投影できなくなった場合に、可視画像を用いて前記判定を実行してもよい。
以上のように、本発明に係る携帯電子機器は、プロジェクタのような、画像を投影できる装置を備えるものに有用である。
8 電池
9 補助電池
10、10a、10b 携帯電子機器
11 筐体
12 ディスプレイ
17 スピーカ
22 処理部
22a 比較判定部
22b カメラ制御部
22c プロジェクタ制御部
22d 報知制御部
22e 情報書き込み部
22f 画像処理部
22g 条件判定部
22h 分解判定部
24 記憶部
26 送受信部
28 操作部
30 音声処理部
31 可視光照射装置
32 表示部
33 不可視光照射装置
34、34a プロジェクタ
36 カメラ
36b フォトダイオード
37 描画装置
38 光検出センサ
39 焦点調整装置

Claims (26)

  1. 第1の画像情報に基づいて、所定の画像を投影する画像投影部と、
    当該画像投影部が投影した画像を撮像する撮像部と、
    前記画像投影部に所定の画像を投影させるための第1の画像情報における一部分と、当該第1の画像情報に基づいて前記画像投影部が投影した画像を前記撮像部が撮像することにより得られた第2の画像情報における一部分とを比較することにより前記所定の画像が投影されているか否かを判定するとともに、前記所定の画像が投影されていないと判定した場合には、前記画像投影部が画像を投影する出力を抑制する処理部と、
    を含むことを特徴とする携帯電子機器。
  2. 前記画像投影部が前記所定の画像を描画する時間と、前記第1の画像情報に基づいて前記画像投影部が投影した画像を前記撮像部が撮像する際の露光時間とを同一とする請求項に記載の携帯電子機器。
  3. 前記処理部は、
    前記所定の画像が投影されていないと判定した場合には、前記携帯電子機器が備える報知部に、前記所定の画像が投影されていないことの報知を行わせる請求項1又は2に記載の携帯電子機器。
  4. 前記処理部は、
    前記所定の画像が投影されていないと判定した場合には、前記携帯電子機器が備える記憶部に、前記所定の画像が投影されていないことを示す情報を記憶させる請求項1からのいずれか1項に記載の携帯電子機器。
  5. 前記処理部は、
    前記画像投影部の起動に同期させて前記撮像部を起動させ、前記画像投影部に所定の画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の画像が投影されているか否かを判定する請求項からのいずれか1項に記載の携帯電子機器。
  6. 前記処理部は、
    前記画像投影部の起動後、所定時間が経過してから前記撮像部を起動させるとともに、前記画像投影部に所定の画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した前記所定の画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の画像が投影されているか否かを判定する請求項からのいずれか1項に記載の携帯電子機器。
  7. 前記第1の画像情報は、前記画像投影部により前記所定の画像が投影されているか否かを判定するための試験用の画像情報であり、
    前記処理部は、
    前記画像投影部の起動時に、前記画像投影部が前記試験用の画像情報を投影するように処理するとともに、前記撮像部が前記試験用の画像情報に基づいて投影された画像を撮像するように処理する請求項1からのいずれか1項に記載の携帯電子機器。
  8. 前記試験用の画像情報は、長方形又は正方形の画像を表示させるための情報である請求項に記載の携帯電子機器。
  9. 前記撮像部の代わりに、前記画像投影部が投影した画像の反射光を検知する光検知部を有し、
    前記処理部は、
    前記光検知部によって検知された、前記第1の画像情報に基づいて前記画像投影部が投影した画像の反射光に基づいて、前記所定の画像が投影されているか否かを判定する請求項からのいずれか1項に記載の携帯電子機器。
  10. 可視画像及び不可視画像を投影する画像投影部と、
    当該画像投影部が投影した不可視画像を撮像する撮像部と、
    前記画像投影部に所定の不可視画像を投影させるための第1の画像情報における一部分と、当該第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像することにより得られた第2の画像情報における一部分とを比較することにより前記所定の不可視画像が投影されていないと判定した場合には、前記画像投影部が可視画像を投影する出力を抑制する処理部と、
    を含むことを特徴とする携帯電子機器。
  11. 前記画像投影部が前記所定の不可視画像を描画する時間と、前記第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像する際の露光時間とを同一とする請求項10に記載の携帯電子機器。
  12. 前記処理部は、
    前記所定の不可視画像が投影されていないと判定した場合には、前記携帯電子機器が備える報知部に、前記所定の不可視画像が投影されていないことの報知を行わせる請求項10又は11に記載の携帯電子機器。
  13. 前記処理部は、
    前記所定の画像が投影されていないと判定した場合には、前記携帯電子機器が備える記憶部に、前記所定の不可視画像が投影されていないことを示す情報を記憶させる請求項10から12のいずれか1項に記載の携帯電子機器。
  14. 前記画像投影部が投影する可視画像と不可視画像とは重ねて投影される請求項10から13のいずれか1項に記載の携帯電子機器。
  15. 前記処理部は、
    前記画像投影部の起動に同期させて前記撮像部を起動させ、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の不可視画像が投影されているか否かを判定する請求項10から14のいずれか1項に記載の携帯電子機器。
  16. 前記処理部は、
    前記画像投影部が前記可視画像を投影する前に、前記画像投影部に前記不可視画像を投影させるとともに前記撮像部を起動させ、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した不可視画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の不可視画像が投影されているか否かを判定する請求項10から14のいずれか1項に記載の携帯電子機器。
  17. 前記処理部は、
    前記所定の不可視画像が投影されていると判定した場合、前記画像投影部に可視画像を投影させる請求項16に記載の携帯電子機器。
  18. 前記処理部は、
    前記画像投影部の起動後、所定時間が経過してから前記撮像部を起動させるとともに、前記画像投影部に所定の不可視画像を投影させるための第1の画像情報、及び当該第1の画像情報に基づいて前記画像投影部が投影した前記所定の不可視画像を前記撮像部が撮像することにより得られた第2の画像情報から、前記所定の不可視画像が投影されているか否かを判定する請求項10から14のいずれか1項に記載の携帯電子機器。
  19. 前記第1の画像情報は、前記画像投影部により前記所定の不可視画像が投影されているか否かを判定するための試験用の画像情報であり、
    前記処理部は、
    前記画像投影部の起動時に、前記画像投影部が前記試験用の画像情報に基づいた不可視画像を投影するように処理するとともに、前記試験用の画像情報に基づいて投影された画像を前記撮像部が撮像するように処理する請求項10から14のいずれか1項に記載の携帯電子機器。
  20. 前記試験用の画像情報は、長方形又は正方形の不可視画像を表示させるための情報である請求項19に記載の携帯電子機器。
  21. 前記撮像部の代わりに、前記画像投影部が投影した不可視画像の反射光を検知する光検知部を有し、
    前記処理部は、
    前記光検知部によって検知された、前記第1の画像情報に基づいて前記画像投影部が投影した不可視画像の反射光に基づいて、前記所定の不可視画像が投影されているか否かを判定する請求項10から20のいずれか1項に記載の携帯電子機器。
  22. 前記携帯電子機器の筐体の内部であって、前記画像投影部の近傍には、前記筐体が開かれたことを検出する検出部が設けられ、
    前記処理部は、前記筐体が開かれたことを前記検出部が検出した場合、前記画像投影部が画像を投影する出力を抑制する請求項1から21のいずれか1項に記載の携帯電子機器。
  23. 前記検出部は、前記画像投影部を駆動する電源とは異なる電源で駆動させる請求項22に記載の携帯電子機器。
  24. 前記検出部は、光検出センサである請求項22又は23に記載の携帯電子機器。
  25. 前記処理部は、
    前記筐体が開かれたことを前記検出部が検出した場合、前記携帯電子機器が備える報知部に、前記筐体が開かれたことについての情報を報知させる請求項22から24のいずれか1項に記載の携帯電子機器。
  26. 前記処理部は、
    前記筐体が開かれたことを前記検出部が検出した場合、前記携帯電子機器が備える記憶部に、前記筐体が開かれたことについての情報を記憶させる請求項22から25のいずれか1項に記載の携帯電子機器。
JP2009106548A 2009-02-25 2009-04-24 携帯電子機器 Active JP5520517B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009106548A JP5520517B2 (ja) 2009-02-25 2009-04-24 携帯電子機器
US13/203,082 US8890992B2 (en) 2009-02-25 2010-02-25 Mobile electronic device
KR1020117019741A KR101392310B1 (ko) 2009-02-25 2010-02-25 휴대전자기기
PCT/JP2010/053005 WO2010098406A1 (ja) 2009-02-25 2010-02-25 携帯電子機器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009043197 2009-02-25
JP2009043197 2009-02-25
JP2009106548A JP5520517B2 (ja) 2009-02-25 2009-04-24 携帯電子機器

Publications (2)

Publication Number Publication Date
JP2010224509A JP2010224509A (ja) 2010-10-07
JP5520517B2 true JP5520517B2 (ja) 2014-06-11

Family

ID=42665610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009106548A Active JP5520517B2 (ja) 2009-02-25 2009-04-24 携帯電子機器

Country Status (4)

Country Link
US (1) US8890992B2 (ja)
JP (1) JP5520517B2 (ja)
KR (1) KR101392310B1 (ja)
WO (1) WO2010098406A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120140096A1 (en) * 2010-12-01 2012-06-07 Sony Ericsson Mobile Communications Ab Timing Solution for Projector Camera Devices and Systems
JP5074616B1 (ja) * 2011-10-19 2012-11-14 哲也 秋葉 コンテンツ表示システム及び方法
US9093007B2 (en) * 2012-09-21 2015-07-28 Blackberry Limited Method and device for generating a presentation
JP6022898B2 (ja) * 2012-10-31 2016-11-09 京セラ株式会社 電子機器
JP2015056687A (ja) * 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN104516699A (zh) * 2013-09-27 2015-04-15 联想(北京)有限公司 一种图像显示方法及电子设备
JP6200791B2 (ja) * 2013-12-04 2017-09-20 株式会社日立エルジーデータストレージ 光学ユニット、投射型表示装置、および撮像装置
JP6070599B2 (ja) * 2014-02-18 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、および撮像装置
JP6429470B2 (ja) * 2014-03-14 2018-11-28 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム
US20170094238A1 (en) * 2015-09-30 2017-03-30 Hand Held Products, Inc. Self-calibrating projection apparatus and process
DE102015219538A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zur Aufnahme eines Bildes mit einem Mobilgerät
JP2020064255A (ja) * 2018-10-19 2020-04-23 セイコーエプソン株式会社 表示装置、表示装置の制御方法、画像出力装置、及び表示システム
KR102146838B1 (ko) * 2018-11-28 2020-08-21 주식회사 옵트론텍 이미지 영사 부품을 테스트하기 위한 장치 및 방법
JP7322844B2 (ja) * 2020-09-24 2023-08-08 カシオ計算機株式会社 投影装置、点灯制御方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879102A (ja) * 1994-08-30 1996-03-22 Toshiba Corp 電子機器
JPH11225346A (ja) * 1998-02-05 1999-08-17 Hitachi Ltd ディスプレイモニタ画像検査方法とその装置
JP2002007027A (ja) * 2000-06-27 2002-01-11 Masanori Idesawa 画像情報表示装置
CN1671938A (zh) * 2002-07-31 2005-09-21 索尼株式会社 通信装置
JP2005091665A (ja) * 2003-09-17 2005-04-07 Nec Viewtechnology Ltd プロジェクタ及び障害物検出方法
JP4590985B2 (ja) * 2004-08-31 2010-12-01 セイコーエプソン株式会社 画像表示装置
JP2006146046A (ja) * 2004-11-24 2006-06-08 Canon Inc 投射型表示装置
JP4437777B2 (ja) 2005-09-27 2010-03-24 シャープ株式会社 プロジェクタ機能付携帯端末
US8898128B2 (en) * 2007-05-07 2014-11-25 Nokia Corporation Content storing device query
JP2008293276A (ja) * 2007-05-24 2008-12-04 Sony Corp デジタルシネマ再生装置、上映中断対応方法及びプログラム
JP5217268B2 (ja) * 2007-06-22 2013-06-19 株式会社リコー 携帯型電子機器

Also Published As

Publication number Publication date
US20120057061A1 (en) 2012-03-08
KR101392310B1 (ko) 2014-05-07
JP2010224509A (ja) 2010-10-07
US8890992B2 (en) 2014-11-18
WO2010098406A1 (ja) 2010-09-02
KR20110117198A (ko) 2011-10-26

Similar Documents

Publication Publication Date Title
JP5520517B2 (ja) 携帯電子機器
JP5259010B2 (ja) 携帯電子機器および投影システム
JP5420365B2 (ja) 投影装置
US9170472B2 (en) Portable photographing device
KR20160005305A (ko) 이미지 절환 방법, 장치, 프로그램 및 기록매체
JP2011128366A (ja) 投写型表示装置、携帯端末装置および携帯型カメラ
JP2011205345A (ja) 撮像装置及びプログラム
JP2009271689A (ja) 表示装置、および、表示装置における表示方法
JP5523752B2 (ja) 表示制御装置
JP5615651B2 (ja) 電子機器および投影システム
JP4113565B2 (ja) 携帯電話機
JP2008098828A (ja) 携帯端末装置
JP5750590B2 (ja) 撮像装置及びインターホン装置、インターホンシステム
JP5280185B2 (ja) 携帯端末および電子カメラ
JP2014187663A (ja) 携帯電子機器及びその制御方法
JP5665570B2 (ja) 電子機器
JP5324281B2 (ja) 携帯電子機器
JP2010258753A (ja) 携帯端末および投影プログラム
JP2006060535A (ja) 携帯電話装置
JP2005102232A (ja) 携帯電話機
JP2013110561A (ja) 撮影装置およびその制御方法
JP2005122724A (ja) 携帯電話機
JP2015188136A (ja) 撮影機能を有する機器、撮影制御方法およびプログラム
JP2011254185A (ja) 電子機器
JP2016010130A (ja) 撮影機能を有する機器、撮影制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5520517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150