JP6108925B2 - 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム - Google Patents

撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム Download PDF

Info

Publication number
JP6108925B2
JP6108925B2 JP2013082925A JP2013082925A JP6108925B2 JP 6108925 B2 JP6108925 B2 JP 6108925B2 JP 2013082925 A JP2013082925 A JP 2013082925A JP 2013082925 A JP2013082925 A JP 2013082925A JP 6108925 B2 JP6108925 B2 JP 6108925B2
Authority
JP
Japan
Prior art keywords
information
captured image
subject
unit
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013082925A
Other languages
English (en)
Other versions
JP2014206583A (ja
Inventor
顕彦 坂本
顕彦 坂本
康宏 長谷川
康宏 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013082925A priority Critical patent/JP6108925B2/ja
Priority to US14/229,214 priority patent/US20140307150A1/en
Publication of JP2014206583A publication Critical patent/JP2014206583A/ja
Application granted granted Critical
Publication of JP6108925B2 publication Critical patent/JP6108925B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Description

本発明は、撮像を行う際にフォーカスを合わせる被写体の指定を容易にする技術に関する。
リアルタイム映像を目視しながら、画面上の任意の位置にある、フォーカスを合わせたい被写体を指定する技術として、特許文献1に示される技術が開示されている。なお、リアルタイム映像とは、撮像部により撮像され、順次表示部に表示される映像であり、撮像画像(フレーム画像)を取得する期間であるフレーム期間毎に取得された撮像画像で構成される映像のことをいう。
特許文献1で開示されている技術では、液晶表示パネルに重畳するように、液晶表示パネルと同一形状の感圧パネルが設置されている。この構成において、ユーザがリアルタイム映像を見ながら、フォーカスを合わせたい位置に押圧を与えると、感圧パネルが、押下操作と、押下された感圧パネル上の位置情報とを検知し、押下操作をトリガとして、感圧パネル上の位置情報に基づく箇所に対してフォーカスを合わせるように撮像装置が制御される。
特開平11−142719号公報
従来技術は、撮像部によるリアルタイム映像の取得と、液晶表示パネルによるリアルタイム映像の表示とのタイムラグが小さいシステムにおいて有効な技術である。しかし、このタイムラグが大きいシステムにおいては、画面上でユーザが押圧を与えた位置から被写体が移動してしまい、所望の被写体にフォーカスを合わせることができない可能性が生じる。
本発明は、上述した課題に鑑みてなされたものであって、撮像装置の外部で指定された被写体に対してより高精度にフォーカスを合わせることができる技術を提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、撮像を繰り返し、撮像画像を順次出力する撮像部と、前記撮像画像を順次無線送信するとともに、順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を無線受信する無線通信部と、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、を有し、前記無線通信部は、前記第2の情報が示す特定の位置又は領域に存在する被写体の移動ベクトルを無線受信し、前記被写体検出部は、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルにより推定し、推定した位置又は領域に存在する被写体を検出する撮像装置である。
また、本発明は、撮像を繰り返し、撮像画像を順次出力する撮像部と、前記撮像画像を順次無線送信するとともに、順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を無線受信する無線通信部と、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、を有し、前記被写体検出部は、前記第1の情報及び前記第2の情報を受信した時点で既に前記撮像部によって撮像済みの前記撮像画像のうち、最後に撮像された前記撮像画像である第1の撮像画像を除く前記撮像画像のいずれかを前記第1の情報により第2の撮像画像として特定し、特定した前記第2の撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を検出した後、前記第2の撮像画像と前記第1の撮像画像との間に撮像された前記撮像画像である第3の撮像画像において、前記第2の撮像画像から検出した被写体を検出し、前記第1の撮像画像において、前記第3の撮像画像から検出した被写体を検出し、前記フォーカス調整部は、前記被写体検出部によって前記第1の撮像画像から検出された被写体にフォーカスを合わせるようにフォーカスを調整し、前記被写体検出部は、前記第2の撮像画像と前記第1の撮像画像との間に撮像された全ての前記第3の撮像画像のうち一部を間引き、間引いた前記第3の撮像画像を除く前記第3の撮像画像において被写体を順次検出し、前記被写体検出部は、前記第3の撮像画像において被写体を順次検出する際、被写体を検出した前記撮像画像間の被写体の移動量を算出し、当該移動量に基づいて、既に被写体を検出した前記撮像画像と、次に被写体を検出する前記撮像画像との間で間引く前記撮像画像の数を決定する撮像装置である。
また、本発明は、撮像を繰り返し、撮像画像を順次出力する撮像部と、前記撮像画像を順次無線送信する第1の無線通信部と、前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、を有し、前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、をさらに有し、前記第2の無線通信部は、前記第1の情報としてフレーム番号を送信するフォーカス調整システムである。
また、本発明は、撮像を繰り返し、撮像画像を順次出力する撮像部と、前記撮像画像を順次無線送信する第1の無線通信部と、前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、を有し、前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、をさらに有し、前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、前記第2の無線通信部は、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するフォーカス調整システムである。
また、本発明は、撮像を繰り返し、撮像画像を順次出力する撮像部と、前記撮像画像を順次無線送信する第1の無線通信部と、前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、を有し、前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、をさらに有するフォーカス調整システムで使用されるフォーカス指示装置であって、前記第2の無線通信部と、前記特定部と、を有し、前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、前記第2の無線通信部は、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するフォーカス指示装置である。
また、本発明は、撮像部が撮像を繰り返し、撮像画像を順次出力するステップと、第1の無線通信部が前記撮像画像を順次無線送信するステップと、前記第1の無線通信部から順次無線送信された前記撮像画像を第2の無線通信部が順次無線受信するステップと、特定部が、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定するステップと、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを前記第2の無線通信部が無線送信するステップと、前記第1の無線通信部が前記第1の情報及び前記第2の情報を無線受信するステップと、被写体検出部が、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出するステップと、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカス調整部がフォーカスを調整するステップと、を有し、前記第2の無線通信部は、前記第1の情報としてフレーム番号を送信するフォーカス調整方法である。
また、本発明は、撮像部が撮像を繰り返し、撮像画像を順次出力するステップと、第1の無線通信部が前記撮像画像を順次無線送信するステップと、前記第1の無線通信部から順次無線送信された前記撮像画像を第2の無線通信部が順次無線受信するステップと、特定部が、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定するステップと、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを前記第2の無線通信部が無線送信するステップと、前記第1の無線通信部が前記第1の情報及び前記第2の情報を無線受信するステップと、被写体検出部が、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出するステップと、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカス調整部がフォーカスを調整するステップと、を有し、前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、前記第2の無線通信部は、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するフォーカス調整方法である。
また、本発明は、撮像部により撮像を繰り返し、撮像画像を順次出力する第1のステップと、無線通信部により前記撮像画像を順次無線送信する第2のステップと、順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を前記無線通信部により無線受信する第3のステップと、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する第4のステップと、検出された被写体にフォーカスを合わせるようにフォーカスを調整する第5のステップと、をコンピュータに実行させるためのプログラムであって、前記第3のステップにおいて、前記第2の情報が示す特定の位置又は領域に存在する被写体の移動ベクトルを無線受信し、前記第4のステップにおいて、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルにより推定し、推定した位置又は領域に存在する被写体を検出するプログラムである。
また、本発明は、撮像部により撮像を繰り返し、撮像画像を順次出力する第1のステップと、無線通信部により前記撮像画像を順次無線送信する第2のステップと、順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を前記無線通信部により無線受信する第3のステップと、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する第4のステップと、検出された被写体にフォーカスを合わせるようにフォーカスを調整する第5のステップと、をコンピュータに実行させるためのプログラムであって、前記第4のステップにおいて、前記第1の情報及び前記第2の情報を受信した時点で既に前記撮像部によって撮像済みの前記撮像画像のうち、最後に撮像された前記撮像画像である第1の撮像画像を除く前記撮像画像のいずれかを前記第1の情報により第2の撮像画像として特定し、特定した前記第2の撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を検出した後、前記第2の撮像画像と前記第1の撮像画像との間に撮像された前記撮像画像である第3の撮像画像において、前記第2の撮像画像から検出した被写体を検出し、前記第1の撮像画像において、前記第3の撮像画像から検出した被写体を検出し、前記第5のステップにおいて、前記第1の撮像画像から検出された被写体にフォーカスを合わせるようにフォーカスを調整し、前記第4のステップにおいて、前記第2の撮像画像と前記第1の撮像画像との間に撮像された全ての前記第3の撮像画像のうち一部を間引き、間引いた前記第3の撮像画像を除く前記第3の撮像画像において被写体を順次検出し、前記第4のステップにおいて、前記第3の撮像画像において被写体を順次検出する際、被写体を検出した前記撮像画像間の被写体の移動量を算出し、当該移動量に基づいて、既に被写体を検出した前記撮像画像と、次に被写体を検出する前記撮像画像との間で間引く前記撮像画像の数を決定するプログラムである。
また、本発明は、撮像を繰り返し、撮像画像を順次出力する撮像部と、前記撮像画像を順次無線送信する第1の無線通信部と、前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、を有し、前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、をさらに有するフォーカス調整システムで使用されるフォーカス指示装置のコンピュータに、前記第1の無線通信部から順次無線送信された前記撮像画像を前記第2の無線通信部により順次無線受信する第1のステップと、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する第2のステップと、特定された前記撮像画像を示す第1の情報と、特定された位置又は領域を示す第2の情報とを前記第2の無線通信部により無線送信する第3のステップと、を実行させるためのプログラムであって、前記第3のステップにおいて、前記第2の情報として、特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、前記第3のステップにおいて、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するプログラムである。
また、本発明は、撮像装置が撮像を繰り返し、順次無線送信した撮像画像を無線通信部により順次無線受信する第1のステップと、前記無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する第2のステップと、特定された前記撮像画像を示す第1の情報と、特定された位置又は領域を示す第2の情報とを前記無線通信部により前記撮像装置に無線送信する第3のステップと、をコンピュータに実行させるためのプログラムであって、前記第3のステップにおいて、前記第2の情報として、特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、前記第3のステップにおいて、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するプログラムである。
本発明によれば、第1の情報により特定される撮像画像において第2の情報が示す位置又は領域に存在する被写体を、撮像部によって新たに撮像された撮像画像から検出し、検出された被写体にフォーカスを合わせるようにフォーカスを調整することによって、撮像装置の外部で指定された被写体に対してより高精度にフォーカスを合わせることができる。
本発明の第1の実施形態に係るフォーカス調整システムの全体の動作の流れを示す参考図である。 本発明の第1の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第1の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第1の実施形態に係るリアルタイム映像と撮像画像特定情報の記憶方法を示す参考図である。 本発明の第1の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第1の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第2の実施形態に係るフォーカス指示装置の構成を示すブロック図である。 本発明の第2の実施形態に係るフォーカス指示装置の動作を示すフローチャートである。 本発明の第2の実施形態に係るフォーカス指示装置の動作を示すフローチャートである。 本発明の各実施形態の変形例に係る撮像装置の動作を示すフローチャートである。 本発明の各実施形態の変形例に係る撮像装置の動作を示すフローチャートである。 本発明の各実施形態の変形例に係る撮像装置の動作を示すフローチャートである。 本発明の第2の実施形態の変形例に係るフォーカス指示装置の構成を示すブロック図である。 本発明の第2の実施形態の変形例に係るフォーカス調整システムの全体の動作の流れを示す参考図である。 本発明の第2の実施形態の変形例に係るフォーカス指示装置の構成を示すブロック図である。 本発明の第2の実施形態の変形例に係るフォーカス指示装置の動作を示すフローチャートである。 本発明の第2の実施形態の変形例に係るフォーカス指示装置の動作を示すフローチャートである。 本発明の第2の実施形態の変形例に係るフォーカス指示装置の動作を示すフローチャートである。
以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。本実施形態に係るフォーカス調整システムは、撮像装置によるリアルタイム映像の撮像と、フォーカス指示装置によるリアルタイム映像の表示とのタイムラグが大きいシステムの一例である。また、本実施形態に係るフォーカス調整システムは、撮像装置がフォーカス指示装置から受信する撮像画像特定情報(第1の情報),及び領域特定情報(第2の情報)と、リアルタイム映像の送信時に撮像装置に記憶されるリアルタイム映像,及び撮像画像特定情報とに基づき、フォーカス指示装置が指定した被写体に、撮像装置がフォーカスを合わせるシステムの一例である。
本実施形態における撮像画像特定情報とは、撮像装置から無線送信されたリアルタイム映像を構成する撮像画像のうちいずれかを特定する情報であり、具体的には、撮像装置がリアルタイム映像を取得した際に順次リアルタイム映像に付加される一意の識別子である。例えば、撮像画像特定情報はリアルタイム映像のフレーム番号である。撮像画像特定情報は、リアルタイム映像に付加されない情報、例えばリアルタイム映像そのものでも良く、撮像画像が特定可能な一意な情報であればフレーム番号に限定されない。
また、本実施形態における領域特定情報とは、フォーカス指示装置が被写体を選択した際に撮像装置に送信される、選択した被写体を撮像装置に通知する情報であり、具体的には、撮像画像特定情報により特定される撮像画像中の特定の被写体の位置又は領域を示す情報である。例えば、領域特定情報は、ユーザが選択したリアルタイム映像における座標,被写体の顔画像,及び被写体のリアルタイム映像における移動ベクトルの少なくとも1つを含む情報である。領域特定情報は、フォーカス指示装置が選択した被写体を撮像装置に通知可能な情報であれば、これらの情報に限定されない。
図1は、本実施形態に係るフォーカス調整システムの構成を示している。図1に示す例では、撮像装置101と、表示部103を具備するフォーカス指示装置102とが無線で接続されている。撮像装置101は、リアルタイム映像104を取得し、撮像装置101の内部にある記憶装置にリアルタイム映像104を記憶すると共に、フォーカス指示装置102に無線でリアルタイム映像104,及び撮像画像特定情報をフォーカス指示装置102に送信する。フォーカス指示装置102はリアルタイム映像104,及び撮像画像特定情報を受信し、順次、受信したリアルタイム映像104をリアルタイム映像105として表示部103に表示する。
この状態において、ユーザにより、フォーカス指示装置102が具備するユーザインタフェース部106でフォーカス指示が行われた際に、フォーカス指示装置102で表示されているリアルタイム映像105に関連付けられた撮像画像特定情報,及び領域特定情報が撮像装置101に送信される。撮像装置101は、受信した撮像画像特定情報,及び領域特定情報と、撮像装置101に記憶されているリアルタイム映像104,及び撮像画像特定情報とに基づき、ユーザが選択した被写体107を認識してフォーカスを合わせる。
図1(A)に示す例は、撮像装置101がリアルタイム映像104を取得し、順次、撮像画像特定情報とリアルタイム映像104とを関連付けて記憶すると共にそれらをフォーカス指示装置102に送信し、フォーカス指示装置102がリアルタイム映像104と撮像画像特定情報とを受信し、順次、リアルタイム映像104をリアルタイム映像105として表示部103に表示している様子を示している。
図1(B)に示す例は、ユーザがユーザインタフェース部106を利用して、リアルタイム映像105に存在する被写体107をカーソル108で選択することによりフォーカス指示を行い、フォーカス指示が入力されたことをトリガとして、フォーカス指示装置102が撮像装置101に対して、撮像画像特定情報と領域特定情報とを送信している様子を示している。
図1(C)に示す例は、撮像装置101が、フォーカス指示装置102から受信した撮像画像特定情報,及び領域特定情報と、撮像装置101に記憶されているリアルタイム映像104,及び撮像画像特定情報とに基づき、ユーザが選択した被写体107を特定してフォーカスを合わせている様子を示している。
図2は、本実施形態に係る撮像装置101の構成を示している。本図を用いて撮像装置101の構成を説明する。撮像装置101は、撮像部201と、制御部202と、記憶部203と、被写体検出部204と、フォーカス調整部205と、無線通信部206と、アンテナ207とを備える。
撮像部201は、撮像を繰り返し行い、撮像画像を順次出力する。制御部202は、撮像装置101の動作を制御する。記憶部203は、撮像部201から出力されるリアルタイム映像,及びリアルタイム映像を構成する撮像画像に順次付加される撮像画像特定情報と、フォーカス指示装置102から受信する撮像画像特定情報,及び領域特定情報とを少なくとも記憶する。
被写体検出部204は、フォーカス指示装置102から受信した撮像画像特定情報,及び領域特定情報と、記憶部203に記憶されているリアルタイム映像104,及び撮像画像特定情報とに基づき、撮像部201によって新たに撮像された撮像画像から、ユーザが選択した被写体を検出する。フォーカス調整部205は、被写体検出部204で検出された被写体にフォーカスを合わせるようフォーカスの調整を行う。無線通信部206,及びアンテナ207は、フォーカス指示装置102と無線通信を行い、リアルタイム映像104,及び撮像画像特定情報をフォーカス指示装置102に順次無線送信するとともに、撮像画像特定情報,及び領域特定情報をフォーカス指示装置102から無線受信する。
また、記憶部203は、撮像装置101の動作を制御するためのプログラムを記憶する。撮像装置101の機能は、例えば撮像装置101の動作を制御するためのプログラムを、撮像装置101のCPU(図示せず)が読み込んで実行することにより、実現される。また、撮像装置101の動作を制御するためのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により撮像装置101に伝送されることで撮像装置101に入力されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
図3は、撮像装置101の動作を示している。図3を用いて撮像装置101の動作を説明する。
制御部202は、撮像装置101に対し撮像装置フォーカス処理を開始させる命令である撮像装置フォーカス処理開始命令を受け付けると、撮像装置フォーカス処理を開始し、撮像部201を制御してリアルタイム映像の取得を開始する(ステップS301)。
本実施形態における撮像装置フォーカス処理開始命令は、撮像装置101がフォーカス指示装置102との無線接続を確立したことをトリガとして発行される命令であるが、例えば撮像装置101に対する電源の投入や、撮像装置101に追加されたユーザインタフェース部を利用したユーザによる入力をトリガとして発行される命令であっても良く、トリガはフォーカス指示装置102との無線接続の確立に限定されない。
制御部202は、撮像部201からリアルタイム映像が出力されると、撮像画像特定情報を生成し(ステップS302)、リアルタイム映像と撮像画像特定情報を関連付けて記憶部203に記憶する(ステップS303)。本実施形態におけるリアルタイム映像と撮像画像特定情報の記憶方法に関しては後述する。
制御部202は、リアルタイム映像と撮像画像特定情報を記憶部203に記憶すると、無線通信部206,及びアンテナ207を経由して、フォーカス指示装置102に、リアルタイム映像と撮像画像特定情報とを送信する(ステップS304)。
制御部202は、フォーカス指示装置102にリアルタイム映像と撮像画像特定情報とを送信した後、無線通信部206,及びアンテナ207を制御して、フォーカス指示装置102から送信される撮像画像特定情報,及び領域特定情報の受信を待機する状態となる。所定の期間内に撮像画像特定情報と領域特定情報とを受信した場合、制御部202は、受信した撮像画像特定情報と領域特定情報とを記憶部203に記憶した後、ステップS306で示される被写体特定処理に移行する。所定の期間内に撮像画像特定情報と領域特定情報とを受信しなかった場合、制御部202は、ステップS309で示される、撮像装置フォーカス処理終了命令が発行されているかどうかの判定処理に移行する(ステップS305)。
本実施形態における撮像装置フォーカス処理終了命令は、撮像装置101がフォーカス指示装置102との無線接続を切断したことをトリガとして発行される命令であるが、例えば撮像装置101の電源の遮断や、撮像装置101に追加されたユーザインタフェース部を利用したユーザによる入力をトリガとして発行される命令であっても良く、トリガはフォーカス指示装置102との無線接続の切断に限定されない。
制御部202は、ステップS305でフォーカス指示装置102から撮像画像特定情報,及び領域特定情報を受信すると、被写体検出部204に被写体特定処理開始命令を発行し、撮像装置101が取得したリアルタイム映像において、フォーカス指示装置102でユーザが指定した被写体が存在する位置を検出する被写体特定処理を開始させる。被写体検出部204は、被写体特定処理開始命令を受け付けると被写体特定処理を行い、制御部202に被写体特定処理完了通知を発行する(ステップS306)。
本実施形態における被写体特定処理完了通知とは、被写体特定処理が完了したことを示す通知であり、被写体検出に成功したかどうかを示す被写体検出情報と、被写体が存在するリアルタイム映像中の位置を示す被写体位置情報との少なくともいずれかを含む通知である。また、本実施形態における被写体特定処理に関しては後述する。
制御部202は、被写体特定処理完了通知を受け付けると、被写体特定処理完了通知に含まれる被写体検出情報に基づき被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、制御部202は、ステップS308で示されるフォーカス調整処理に移行し、被写体の検出に失敗した場合、制御部202は、ステップS309で示される、撮像装置フォーカス処理終了命令が発行されているかどうかの判定処理に移行する(ステップS307)。
制御部202は、ステップS307で被写体の検出に成功したと判定された場合、フォーカス調整部205を制御して、被写体特定処理完了通知に含まれる被写体位置情報で示される位置に対しフォーカスを調整する(ステップS308)。これによって、フォーカス指示装置102から指定された被写体にフォーカスを合わせることができる。
ステップS305でフォーカス指示装置102から撮像画像特定情報,及び領域特定情報を所定の期間内で受信しなかった場合,ステップS307で被写体の検出に失敗したと判定された場合,及びステップS308のフォーカス調整処理が完了した場合、制御部202は、撮像装置フォーカス処理終了命令が発行されているかどうかを判定する。撮像装置フォーカス処理終了命令が発行されていた場合、制御部202は撮像装置フォーカス処理を終了し、撮像装置フォーカス処理終了命令が発行されていない場合、制御部202は、ステップS301に示されるリアルタイム映像の取得処理を再度行う(ステップS309)。
次に、図4を用いて、ステップS303で示されるリアルタイム映像と撮像画像特定情報を記憶部203に記憶する際の記憶方法を説明する。図4は、リアルタイム映像と撮像画像特定情報の記憶方法の一例を示している。リアルタイム映像と撮像画像特定情報は、撮像画像特定情報により特定される撮像画像が記憶されているアドレスを取得可能なように、撮像画像特定リストによって互いに関連付けられて記憶される。撮像画像特定リストは記憶部203に記憶され、適宜読み出されて参照される。
図4における撮像画像特定リストは、撮像部201から順次出力されるリアルタイム映像の各フレーム期間の撮像画像が記憶部203に記憶されているアドレスと、ステップS302で生成された撮像画像特定情報に該当する情報であるフレーム番号と、次のフレーム期間のフレーム番号とを関連付けて記憶してあるリストである。ステップS303で撮像画像が記憶部203に記憶された際、撮像画像が記憶されたアドレスと、ステップS302で生成された撮像画像特定情報に該当するフレーム番号とが撮像画像特定リストに記憶される。また、そのフレーム番号が、1つ前のフレーム期間で記憶部203に記憶された撮像画像と関連付けられ、次のフレーム期間のフレーム番号として撮像画像特定リストに記憶される。
撮像画像特定リストに記憶されているフレーム番号に基づき、そのフレーム番号に対応する撮像画像が記憶されているアドレスが取得可能となる。また、次のフレーム期間のフレーム番号を参照し、撮像部201が撮像画像を撮像した順にフレーム番号の検索を行うことも可能となる。
次に、図5と図6を用いて、ステップS306で示される被写体特定処理の詳細を説明する。被写体特定処理は、移動ベクトルを被写体特定処理のパラメータとして利用するかどうかで処理方法が異なる。図5と図6は、それぞれの方法に対応する被写体検出部204の動作を示している。
図5は、ステップS306で示される被写体特定処理が、移動ベクトルを被写体特定処理のパラメータとして利用しない処理方法で行われる場合の被写体検出部204の動作を示している。被写体検出部204は、被写体特定処理開始命令を受け付けると、被写体特定処理を開始する。被写体検出部204は、被写体特定処理を開始すると、記憶部203に記憶されている、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報に該当するフレーム番号を取得し、そのフレーム番号の撮像画像(第2の撮像画像)を記憶部203から取得する(ステップS501)。
被写体検出部204は、ステップS501において撮像画像を取得した後、記憶部203に記憶されている、ステップS305でフォーカス指示装置102から受信した領域特定情報で指定される、撮像画像内での位置を特定し、特定した位置に存在する被写体の検出を行う(ステップS502)。
領域特定情報で指定される撮像画像内での位置は、領域特定情報に含まれる情報が座標であれば、その座標である。この場合、ステップS502で被写体検出部204は、撮像画像において、その座標で指定される位置から所定の被写体(例えば、顔)の検出を行う。また、領域特定情報で指定される撮像画像内での位置は、領域特定情報に含まれる情報が被写体の顔画像であれば、被写体の顔画像と一致する被写体が存在する位置である。この場合、ステップS502で被写体検出部204は、撮像画像において、領域特定情報で指定される顔画像の検出を行い、被写体の位置を特定する。
被写体検出部204は、ステップS502で被写体の検出を行った後、被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、被写体検出部204は、ステップS504で示される撮像画像の判定処理へ移行し、被写体の検出に失敗した場合、被写体検出部204は、被写体の特定に失敗したことを示す被写体検出情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する(ステップS503)。
被写体検出部204は、ステップS503で被写体の検出に成功したと判定された場合、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像(第1の撮像画像)であるかどうかを判定する。撮像部201から最後に出力された撮像画像は、その時点で撮像部201によって最後に撮像された画像(最新の画像)である。被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像ではなかった場合、被写体検出部204は、ステップS505で示される次の撮像画像の特定処理へ移行し、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像であった場合、被写体検出部204は、ステップS508で示される被写体特定位置情報の記憶処理へ移行する(ステップS504)。
本実施形態における、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像かどうかの判定は、例えば、図4で示される撮像画像特定リストにおいて、被写体の検出を行った撮像画像に対応するフレーム期間の次のフレーム期間のフレーム番号が存在するかどうかを判定することにより行われる。この判定では、次のフレーム期間のフレーム番号が存在しなかった場合に、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像であると判定される。これに限らず、撮像部201から最後に出力された撮像画像のフレーム番号を記憶部203に別途記憶しておき、記憶部203に記憶したフレーム番号と、被写体の検出を行った撮像画像のフレーム番号とを照合することにより判定を行っても良く、判定方法は、次のフレーム期間のフレーム番号が存在するかどうかに限定されない。
被写体検出部204は、ステップS504で、被写体を検出した撮像画像が、撮像部201から最後に出力された撮像画像ではないと判定された場合、図4で示される撮像画像特定リストに含まれる次のフレーム期間のフレーム番号に基づき、記憶部203から該当する撮像画像(第3の撮像画像)を取得する(ステップS505)。ステップS505では、被写体を検出した撮像画像が撮像されたフレーム期間の次のフレーム期間で撮像された撮像画像が取得される。
被写体検出部204は、ステップS505で撮像画像の取得を行った後、ステップS505で取得した撮像画像に対して、ステップS502,S503で検出した被写体と同じ被写体の検出を行う(ステップS506)。例えば、被写体が顔である場合、被写体検出部204は、ステップS505で取得した撮像画像から、ステップS502,S503で検出した顔と同じ顔をパターンマッチングにより検出する。
被写体検出部204は、ステップS506で被写体の検出を行った後、被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、被写体検出部204は、ステップS504で示される、撮像画像の判定処理を再度行い、被写体の検出に失敗した場合、被写体検出部204は、被写体の特定に失敗したことを示す被写体検出情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する(ステップS507)。
被写体検出部204は、ステップS504で、被写体を検出した撮像画像が、撮像部201から最後に出力された撮像画像であると判定された場合、その撮像画像において、検出した被写体が存在する位置情報を記憶部203に記憶する。また、被写体検出部204は、被写体の検出に成功したことを示す被写体検出情報,及び撮像部201から最後に出力された撮像画像における被写体の位置情報を示す被写体位置情報の2つの情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する(ステップS507)。
図6は、ステップS306で示される被写体特定処理が、移動ベクトルを被写体特定処理のパラメータとして利用する処理方法で行われる場合の被写体検出部204の動作を示している。移動ベクトルは被写体の移動量の情報を含む。被写体検出部204は、被写体特定処理開始命令を受け付けると、被写体特定処理を開始する。被写体検出部204は、被写体特定処理を開始すると、撮像部201から最後に出力された撮像画像に対応するフレーム期間と、記憶部203に記憶されている、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報で特定される撮像画像に対応するフレーム期間との差分量であるフレーム差分量を算出し、算出結果を記憶部203に記憶する(ステップS601)。
本実施形態におけるフレーム差分量は、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報で特定される撮像画像に対応するフレーム期間から、撮像部201から最後に出力された撮像画像に対応するフレーム期間までに存在するフレーム期間の数である。言い換えると、フレーム差分量は、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報で特定される撮像画像が撮像されたタイミングから、撮像部201から最後に出力された撮像画像が撮像されたタイミングまでのタイミングで撮像された撮像画像の数である。
また、フレーム差分量の算出は、図4で示される撮像画像特定リストにおける、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報で特定されるフレーム番号に対応する撮像画像から、撮像部201から最後に出力された撮像画像まで撮像画像をフレーム番号の順に辿ると共に、その数をカウントすることで算出される。フレーム差分量の算出方法は他の方法でも良い。例えば、撮像部201から最後に出力された撮像画像のフレーム番号を記憶部203に別途記憶しておき、撮像部201から最後に出力された撮像画像のフレーム番号と、被写体の検出を行った撮像画像のフレーム番号との差分を算出することでフレーム差分量を算出しても良く、フレーム差分量の算出は、撮像画像を順に辿ることで行う算出に限定されない。
被写体検出部204は、ステップS601においてフレーム差分量を算出した後、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報で特定される撮像画像に対して、ステップS305でフォーカス指示装置102から受信した領域特定情報で指定される位置に対応する、撮像画像内での位置を特定する。また、被写体検出部204は、特定した位置を、被写体の移動ベクトルと、フレーム差分量とに基づき補正することで、撮像部201から最後に出力された撮像画像において、被写体が存在する位置を推定する(ステップS602)。
領域特定情報で指定される撮像画像内での位置は、領域特定情報に含まれる情報が座標であれば、その座標である。また、領域特定情報で指定される撮像画像内での位置は、領域特定情報に含まれる情報が被写体の顔画像であれば、被写体の顔画像と一致する被写体が存在する位置である。この場合、被写体検出部204は、ステップS305でフォーカス指示装置102から受信した撮像画像特定情報で特定される撮像画像を記憶部203から取得し、取得した撮像画像において、領域特定情報で指定される顔画像の検出を行い、被写体の位置を特定する。
また、撮像部201から最後に出力された撮像画像において、被写体が存在する位置の推定は、(1)式を用いて行われる。(1)式におけるP,P’,V,Nはそれぞれ、被写体が存在する位置の推定結果,領域指定情報で指定される位置,1フレーム期間の移動ベクトル,ステップS601で算出したフレーム差分量である。
P(X,Y)=P’(X,Y)+V(Vx,Vy)×N ・・・(1)
被写体検出部204は、ステップS602で被写体位置の推定を行った後、撮像部201から最後に出力された撮像画像において、ステップS602で推定した位置に存在する被写体の検出を行う(ステップS603)。例えば、ステップS603で被写体検出部204は、撮像部201から最後に出力された撮像画像において、ステップS602で推定した位置から所定の被写体(例えば、顔)の検出を行う。領域特定情報に含まれる情報が被写体の顔画像である場合には、ステップS603で被写体検出部204は、撮像部201から最後に出力された撮像画像から被写体を検出した後、検出した被写体が、領域情報に含まれる被写体の顔画像と一致するかどうかを確認する。
被写体検出部204は、ステップS603で被写体の検出を行った後、被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、被写体検出部204は、ステップS605で示される被写体特定位置情報の記憶処理へ移行し、被写体の検出に失敗した場合、被写体検出部204は、被写体の検出に失敗したことを示す被写体検出情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する(ステップS604)。
被写体検出部204は、ステップS604で被写体の検出に成功したと判定された場合、ステップS602で推定した被写体の位置情報を記憶部203に記憶し、被写体の検出に成功したことを示す被写体検出情報と、撮像部201から最後に出力された撮像画像における被写体の位置情報を示す被写体位置情報との2つの情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する(ステップS605)。
第1の実施形態における撮像装置101は、最上位概念の本発明における撮像装置に対応する。例えば、撮像部201を本発明の撮像装置における撮像部とし、無線通信部206を本発明の撮像装置における無線通信部とし、被写体検出部204を本発明の撮像装置における被写体検出部とし、フォーカス調整部205を本発明の撮像装置におけるフォーカス調整部とすることで本発明の撮像装置を構成可能である。上記の構成以外の構成は、本発明の撮像装置の構成としては必須ではない。
上述したように、本実施形態によれば、フォーカス指示装置102から受信した撮像画像特定情報により特定される撮像画像において、フォーカス指示装置102から受信した領域特定情報が示す位置又は領域に存在する被写体を、撮像部201から最後に出力された撮像画像から検出し、検出された被写体にフォーカスを合わせるようにフォーカスを調整することによって、フォーカス指示装置102で指定された被写体に対してより高精度にフォーカスを合わせることができる。特に、撮像部によるリアルタイム映像の取得と、表示部によるリアルタイム映像の表示とのタイムラグが大きいシステムにおいても、指定された被写体に対してより高精度にフォーカスを合わせることができる。
また、図5のステップS501,S502で示されるように、撮像画像特定情報により特定される撮像画像に対して被写体の検出を行った後、図5のステップS505,S506で示されるように、最新の撮像画像に対して被写体の検出を行うまで被写体検出対象の撮像画像を変更しながら被写体の検出を行うことによって、より高精度に被写体を追跡することができ、その結果、フォーカス指示装置102で指定された被写体に対してより高精度にフォーカスを合わせることができる。
また、図6のステップS602で示されるように、フォーカス指示装置102から受信した被写体の移動ベクトルにより被写体の位置を推定した後、図6のステップS603で示されるように、最新の撮像画像において、推定した位置に存在する被写体の検出を行うことによって、一定の動きを有する被写体に対して、より高精度に被写体を追跡することができ、その結果、フォーカス指示装置102で指定された被写体に対してより高精度にフォーカスを合わせることができる。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。本実施形態は、フォーカス指示装置102の動作,及び被写体の指定方法に特徴がある。本実施形態に係る撮像装置101の動作は、第1の実施形態で説明した動作と同様である。
図7は、本実施形態に係るフォーカス指示装置102の構成を示している。本図を用いてフォーカス指示装置102の構成を説明する。フォーカス指示装置102は、表示部701(図1の表示部103に対応)と、制御部702と、記憶部703と、ユーザインタフェース部704(図1のユーザインタフェース部106に対応)と、領域特定部705と、無線通信部706と、アンテナ707とを備える。
表示部701は、無線通信部706,及びアンテナ707を経由して撮像装置101から受信したリアルタイム映像を表示する。制御部702は、フォーカス指示装置102の動作を制御する。記憶部703は、無線通信部706,及びアンテナ707を経由して撮像装置101から受信したリアルタイム映像,及び撮像画像特定情報と、撮像装置101に送信する領域特定情報とを記憶する。ユーザインタフェース部704は、ユーザによる入力を受け付ける。領域特定部705は、領域特定情報を生成する。無線通信部706,及びアンテナ707は、撮像装置101と無線通信を行い、リアルタイム映像104,及び撮像画像特定情報を撮像装置101から順次無線受信するとともに、撮像画像特定情報,及び領域特定情報を撮像装置101に無線送信する。
また、記憶部703は、フォーカス指示装置102の動作を制御するためのプログラムを記憶する。フォーカス指示装置102の機能は、例えばフォーカス指示装置102の動作を制御するためのプログラムを、フォーカス指示装置102のCPU(図示せず)が読み込んで実行することにより、実現される。また、フォーカス指示装置102の動作を制御するためのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波によりフォーカス指示装置102に伝送されることでフォーカス指示装置102に入力されてもよい。
図8は、フォーカス指示装置102の動作を示している。図8を用いてフォーカス指示装置102の動作を説明する。制御部702は、フォーカス指示装置102に対してフォーカス位置指定処理を開始させる命令であるフォーカス位置指定処理開始命令を受け付けると、フォーカス位置指定処理を開始する。制御部702は、フォーカス位置指定処理を開始すると、無線通信部706,及びアンテナ707を制御して、撮像画像特定情報,及びリアルタイム映像の受信を待機する状態となる。所定の期間内に撮像画像特定情報とリアルタイム映像とを受信した場合、制御部702は、ステップS802で示されるリアルタイム映像の表示処理へ移行し、所定の期間内に撮像画像特定情報とリアルタイム映像とを受信しなかった場合、制御部702は、ステップS808で示される、フォーカス位置指定処理終了命令が発行されているかどうかの判定処理へ移行する(ステップS801)。
本実施形態におけるフォーカス位置指定処理開始命令は、フォーカス指示装置102が撮像装置101との無線接続を確立したことをトリガとして発行される命令であるが、例えばフォーカス指示装置102に対する電源の投入や、ユーザインタフェース部704からの入力をトリガとして発行される命令であっても良く、トリガは撮像装置101との無線接続の確立に限定されない。
また、本実施形態におけるフォーカス位置指定処理終了命令は、フォーカス指示装置102が撮像装置101との無線接続を切断したことをトリガとして発行される命令であるが、例えばフォーカス指示装置102の電源の遮断や、ユーザインタフェース部704からの入力をトリガとして発行される命令であっても良く、トリガは撮像装置101との無線接続の切断に限定されない。
制御部702は、ステップS801で無線通信部706,及びアンテナ707を経由して、撮像画像特定情報,及びリアルタイム映像を受信した場合、受信した撮像画像特定情報,及びリアルタイム映像を記憶部703に記憶した後、表示部701を制御して、受信したリアルタイム映像を表示する(ステップS802)。
制御部702は、ステップS802でリアルタイム映像を表示部701に表示した後、ユーザがユーザインタフェース部704を利用してフォーカス位置指定操作を行ったかどうかを判定する。フォーカス位置指定操作が行われていた場合、制御部702は、ステップS804で示される撮像画像特定情報の取得処理へ移行し、フォーカス位置指定操作が行われていなかった場合、制御部702は、ステップS808で示される、フォーカス位置指定処理終了命令が発行されているかどうかの判定処理へ移行する(ステップS803)。
本実施形態におけるフォーカス位置指定操作は、ユーザがユーザインタフェース部704に該当するマウスを操作して、所望の被写体を選択することで行われるが、ユーザが所望の被写体を選択可能であれば良く、フォーカス位置指定操作は、マウスの操作による入力に限定されない。
制御部702は、ステップS803でフォーカス位置指定操作が行われていたと判定された場合、フォーカス位置指定操作が行われたときに表示部701に表示中の撮像画像と同時に受信した撮像画像特定情報を、撮像装置101に送信する撮像画像特定情報として取得した後、記憶部703に記憶する(ステップS804)。これによって、フォーカス位置指定操作が行われたときの撮像画像が特定され、その撮像画像の撮像画像特定情報が記憶部703に記憶される。
制御部702は、ステップS804における撮像画像特定情報の取得,及び記憶処理を行った後、領域特定部705に領域特定情報生成処理開始命令を発行し、領域特定情報生成処理を開始させる。領域特定部705は、領域特定情報生成処理開始命令を受け付けると、領域特定情報生成処理を開始し、制御部702に領域特定情報生成処理完了通知を発行する(ステップS805)。
本実施形態における領域特定情報生成処理完了通知とは、領域特定情報生成処理が完了したことを示す通知であり、フォーカス位置指定操作が行われた領域の特定に成功したかどうかを示す領域特定結果情報と、フォーカス位置指定操作が行われた座標情報との少なくともいずれかを含む情報である。また、本実施形態における領域特定情報生成処理に関しては後述する。
制御部702は、領域特定情報生成処理完了通知を受け付けると、領域特定情報生成処理完了通知に含まれる領域特定結果情報に基づき領域の特定に成功したかどうかを判定する。領域の特定に成功した場合、制御部702は、ステップS807で示される撮像画像特定情報,及び領域特定情報の送信処理へ移行し、領域の特定に失敗した場合、制御部702は、ステップS808で示される、フォーカス位置指定処理終了命令が発行されているかどうかの判定処理へ移行する(ステップS806)。
制御部702は、ステップS806で領域の特定に成功したと判定された場合、ステップS804で取得,及び記憶した撮像画像特定情報を撮像装置101に送信し、ステップS805で取得した座標情報を領域特定情報として撮像装置101に送信する(ステップS807)。
制御部702は、ステップS801で所定の期間内に撮像画像特定情報,及びリアルタイム映像を受信しなかった場合,ステップS803でフォーカス位置指定操作が行われていなかった場合,ステップS806で領域の特定に失敗した場合,及びステップS807で撮像画像特定情報と領域特定情報とを撮像装置101に送信した後、フォーカス位置指定処理終了命令が発行されているかどうかを判定する。フォーカス位置指定処理終了命令が発行されていた場合、制御部702はフォーカス位置指定処理を終了し、フォーカス位置指定処理終了命令が発行されていなかった場合、制御部702は、ステップS801で示される撮像画像特定情報,及びリアルタイム映像の受信待機を再度行う。
次に、図9を用いて、ステップS805で示される領域特定情報生成処理の詳細を説明する。領域特定部705は、領域特定情報生成処理開始命令を受け付けると、領域特定情報生成処理を開始する。領域特定部705は、領域特定情報生成処理を開始すると、ユーザが指定したリアルタイム映像内の座標情報の取得を行う(ステップS901)。
領域特定部705は、ステップS901で座標情報の取得を行った後、座標情報の取得に成功したかどうかを判定する。座標情報の取得に成功した場合、領域特定部705は、ステップS903で示される座標情報の記憶処理へ移行し、座標情報の取得に失敗した場合、領域特定部705は、領域の特定に失敗したことを示す領域特定結果情報を含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する(ステップS902)。
本実施形態における座標情報は、図1(B)で示されるカーソル108の位置が撮像画像内に存在する場合にカーソル108の位置の座標として取得される。カーソル108の位置が撮像画像内に存在しなかった場合、領域の特定に失敗する。
領域特定部705は、ステップS902で座標情報の取得に成功したと判定されると、取得した座標情報を記憶部703に記憶する。また、領域特定部705は、領域の特定に成功したことを示す領域特定結果情報と、ステップS901で取得した座標情報とを含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する(ステップS903)。
第2の実施形態におけるフォーカス指示装置102は、最上位概念の本発明におけるフォーカス指示装置に対応する。例えば、無線通信部206を本発明のフォーカス指示装置における無線通信部とし、制御部702,及び領域特定部705を本発明のフォーカス指示装置における特定部とすることで本発明のフォーカス指示装置を構成可能である。上記の構成以外の構成は、本発明のフォーカス指示装置の構成としては必須ではない。
上述したように、本実施形態によれば、被写体の指定が行われた撮像画像に関する撮像画像特定情報と領域特定情報とをフォーカス指示装置102が撮像装置101に送信することによって、フォーカス指示装置102が被写体の指定に用いた撮像画像の情報と、被写体が存在する位置又は領域とを撮像装置101に通知することができる。
第1の実施形態で説明したように、撮像装置101は、フォーカス指示装置102から受信した撮像画像特定情報により特定される撮像画像において、フォーカス指示装置102から受信した領域特定情報が示す位置又は領域に存在する被写体を、撮像部201から最後に出力された撮像画像から検出し、検出された被写体にフォーカスを合わせるようにフォーカスを調整する。これによって、フォーカス指示装置102で指定された被写体に対してより高精度にフォーカスを合わせることができる。特に、撮像部によるリアルタイム映像の取得と、表示部によるリアルタイム映像の表示とのタイムラグが大きいシステムにおいても、指定された被写体に対してより高精度にフォーカスを合わせることができる。
本実施形態では、ユーザがユーザインタフェース部704を利用して被写体を指定しているが、被写体の指定を自動的に行っても良い。例えば、フォーカスを合わせたい被写体の顔画像を記憶部703に格納しておき、ユーザインタフェース部704の操作によりフォーカスの指示が行われた場合に、領域特定部705がその顔画像と同じ被写体を撮像画像から検出してもよい。
(変形例)
次に、上述した各実施形態の変形例を説明する。
(変形例1)
本発明の第1,第2の実施形態において、図5に示される被写体特定処理では、撮像画像特定情報で特定される撮像画像から、最後に撮像装置101が撮像した撮像画像までの全フレーム期間の撮像画像に対して、順次、ステップS502で検出した被写体と同じ被写体の検出が行われる。これにより、撮像装置101が最後に撮像した撮像画像において被写体が存在する位置が特定される。この他に、例えば、所定数のフレーム期間毎に、撮像画像に対して、ステップS502で検出した被写体と同じ被写体の検出を行っても良い。
図10は、変形例1における被写体特定処理を示している。撮像装置101が最後に撮像した撮像画像において被写体の検出を所定数のフレーム期間毎に行う場合、図5におけるステップS505で示される次の撮像画像の特定処理が、図10のステップS1001で示される、所定数のフレーム期間後の撮像画像の特定処理になる。ステップS1001では、被写体検出部204は、図4で示される撮像画像特定リストに含まれるフレーム番号に基づき、特定した撮像画像のフレーム番号を所定の数だけ増加させたフレーム番号に対応する撮像画像を記憶部203から取得する。
変形例1で示される被写体特定処理では、フォーカス指示装置102から受信された撮像画像特定情報で特定される撮像画像と、撮像装置101が最後に撮像した撮像画像との間に撮像された全ての撮像画像のうち一部が間引かれ、間引かれた撮像画像を除く撮像画像において被写体が順次検出される。これによって、被写体の特定を行う繰り返し処理の試行回数が低減され、より高速に被写体特定処理を行うことができる。
(変形例2)
例えば、変形例1における所定の数を、被写体の移動ベクトルに基づき決定しても良い。図11は、変形例2における被写体特定処理を示している。図11を用いて、変形例2における被写体特定処理を説明する。
図11では、図5に示される被写体特定処理と同様に、ステップS502において、フォーカス指示装置102から受信した撮像画像特定情報で特定される撮像画像における被写体が検出される。被写体検出部204は、ステップS503で被写体の検出に成功したと判定された場合、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像かどうかを判定する。被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像であった場合、被写体検出部204は、ステップS508で示される被写体特定位置情報の記憶処理へ移行し、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像ではなかった場合、被写体検出部204は、ステップS1102で示される被写体の位置情報の記憶処理へ移行する(ステップS1101)。
被写体検出部204は、ステップS1101で、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像ではなかったと判定された場合、撮像画像特定情報で特定される撮像画像において検出した被写体の位置情報を記憶部203に記憶する(ステップS1102)。被写体検出部204は、ステップS505で次の撮像画像の特定を行った後、ステップS505で特定した撮像画像に対して、ステップS502,S503で検出した被写体と同じ被写体の検出を行う(ステップS506)。
被写体検出部204は、ステップS506で被写体の検出を行った後、被写体の検出に成功したかどうかを判定する(ステップS1103)。被写体の検出に成功した場合、被写体検出部204は、検出した被写体の位置情報と、ステップS1102で記憶部203に記憶した位置情報との差分を算出することで、被写体の移動ベクトルを算出する(ステップS1104)。被写体の検出に失敗した場合、被写体検出部204は、図5で示される被写体特定処理と同様に、被写体の特定に失敗したことを示す被写体検出情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する。
ステップS1104における被写体の移動ベクトルの算出は、(2)式を用いて行われる。(2)式において、Vは被写体の移動ベクトル、Pn,Pn−1はそれぞれ、ステップS1103で特定した被写体の位置情報,ステップS1102で記憶部203に記憶した被写体の位置情報を示している。
V(Vx,Vy)=Pn(Xn,Yn)−Pn−1(Xn−1,Yn−1) ・・・(2)
被写体検出部204は、ステップS1104で被写体の移動ベクトルの算出を行った後、移動ベクトルの大きさに応じて、撮像画像の間引き量を決定する(ステップS1105)。撮像画像の間引き量は、特定した撮像画像から最新の撮像画像に向かって次の撮像画像を特定する際に間引く撮像画像の数である。例えば、移動ベクトルが大きいほど、撮像画像の間引き量は小さくなり、移動ベクトルが小さいほど、撮像画像の間引き量は大きくなる。
被写体検出部204は、ステップS1105で撮像画像の間引き量を決定した後、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像かどうかを判定する(ステップS1106)。被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像ではなかった場合、被写体検出部204は、ステップS1105で決定した撮像画像の間引き量に応じて、ステップS1001で示される、所定数のフレーム期間後の撮像画像の特定処理を行い、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像であった場合、被写体検出部204は、ステップS508で示される被写体特定位置情報の記憶処理へ移行する。
被写体検出部204は、ステップS1106で、被写体の検出を行った撮像画像が、撮像部201から最後に出力された撮像画像ではなかったと判定された場合、ステップS1001で撮像画像の特定を行った後、ステップS1001で取得した撮像画像に対して、最後に検出した被写体と同じ被写体の検出を行う(ステップS1107)。例えば、被写体が顔である場合、被写体検出部204は、ステップS1001で取得した撮像画像から、最後に検出した顔と同じ顔をパターンマッチングにより検出する。
被写体検出部204は、ステップS1107で被写体の検出を行った後、被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、被写体検出部204は、ステップS1106で示される、特定した撮像画像が、撮像部201から最後に出力された撮像画像かどうかの判定処理を再度行い、被写体の検出に失敗した場合、被写体検出部204は、図5で示される被写体特定処理と同様に、被写体の特定に失敗したことを示す被写体検出情報を含む被写体特定処理完了通知を制御部202に発行し、被写体特定処理を終了する。
変形例2で示される被写体特定処理では、被写体を検出した撮像画像間の被写体の移動ベクトルを算出し、移動ベクトルに基づいて、既に被写体を検出した撮像画像と、次に被写体を検出する撮像画像との間で間引かれる撮像画像の数が決定される。これによって、被写体を追跡する精度と、被写体特定処理の負荷の低減とのバランスを、移動ベクトルの大きさに応じて、最適にすることができる。
(変形例3)
例えば、変形例2における所定の数を、フォーカス指示装置102から受信した被写体の移動ベクトルに基づき決定しても良い。図12は、変形例3における被写体特定処理を示している。図12を用いて、変形例2における被写体特定処理を説明する。
変形例3では、変形例2のステップS1101からステップS1104までの処理は行われない。ステップS503で被写体の検出に成功したと判定された場合、被写体検出部204は、フォーカス指示装置102から受信した領域特定情報に含まれる被写体の移動ベクトルに基づいて、撮像画像の間引き量を算出する(ステップS1105)。
変形例3で示される被写体特定処理では、移動ベクトルの算出処理を行わないので、被写体特定処理の負荷を低減することができる。
(変形例4)
例えば、本発明の第2の実施形態において、図13に示すように、フォーカス指示装置1301の表示部1302がユーザインタフェース部704を具備しても良い。
図14は、フォーカス指示装置1301の表示部1302がユーザインタフェース部704を具備する場合のフォーカス調整システムの全体の動作の流れを示している。図14(A)は図1(A)と同じであり、図14(C)は図1(C)と同じである。変形例4では、図14(B)で示されるように、ユーザが、表示部1302に表示されるリアルタイム映像を目視しながら画面にタッチすることで被写体の指定が行えるようになるため、ユーザビリティの向上が望める。
(変形例5)
例えば、本発明の第2の実施形態において、フォーカス指示装置1501が被写体検出処理を行い、被写体の顔画像を領域特定情報として生成しても良い。
図15は、変形例5で示されるフォーカス指示装置1501の構成を示している。フォーカス指示装置1501では、図7で示されるフォーカス指示装置102の構成に、画像の所定の座標における被写体を検出する被写体検出部1502が追加されている。
図16は、変形例5における領域特定情報生成処理を示している。図16を用いて、変形例5における領域特定情報生成処理を説明する。
領域特定部705は、図9で示される領域特定情報生成処理と同様に、ステップS901,S902でユーザが指定したリアルタイム映像内の座標を取得し、座標の取得に成功した場合、被写体検出部1502を制御して、取得した座標に存在する被写体を検出する(ステップS1601)。ステップS1601で被写体検出部1502は、表示部701に表示中の撮像画像において、取得した座標で指定される位置から所定の被写体(例えば、顔)の検出を行う。
領域特定部705は、ステップS1601で被写体の検出を行った後、被写体検出部1502を制御して、被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、領域特定部705は、ステップS1603で示される被写体画像のトリミング処理へ移行し、被写体の検出に失敗した場合、領域特定部705は、領域の特定に失敗したことを示す領域特定結果情報を含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する(ステップS1602)。
領域特定部705は、ステップS1602で被写体の検出に成功したと判定された場合、検出した被写体の顔画像を撮像画像から切り出し、記憶部703に記憶して、領域の特定に成功したことを示す領域特定結果情報と、撮像画像から切り出した被写体の顔画像とを含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する(ステップS1603)。
変形例5で示される被写体の顔画像は、切り出した後に圧縮や縮小等の加工を施しても良く、加工後の被写体の顔画像(圧縮画像や縮小画像等)が領域特定情報として利用可能であれば良い。
(変形例6)
例えば、変形例5において、被写体検出部1502を利用して、被写体の移動ベクトルを算出し、被写体の顔画像の代わりに座標情報と移動ベクトルとを領域特定情報として生成しても良い。
図17は、変形例6における領域特定情報生成処理を示している。図17を用いて、変形例6における領域特定情報生成処理を説明する。領域特定部705は、図9で示される領域特定情報生成処理と同様に、ステップS903で座標情報を記憶した後、変形例5における領域特定情報生成処理のステップS1601,S1602と同様に、被写体検出部1502を制御して、座標に存在する被写体の検出を行った後、被写体の検出に成功したかどうかを判定する。
被写体の検出に成功した場合、領域特定部705は、ステップS1701で示される、撮像画像特定情報,及びリアルタイム映像の受信を待機する状態となる。また、被写体の検出に失敗した場合、領域特定部705は、領域の特定に失敗したことを示す領域特定結果情報を含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する。
領域特定部705は、図17におけるステップS1602で被写体の検出に成功したと判定された場合、撮像装置101から送信される次の撮像画像特定情報,及びリアルタイム映像の受信を待機する状態となる。所定の期間内に撮像画像特定情報,及びリアルタイム映像を受信した場合、領域特定部705は、ステップS1702で示される、被写体の検出処理を行い、所定の期間内に撮像画像特定情報,及びリアルタイム映像を受信しなかった場合、領域特定部705は、領域の特定に失敗したことを示す領域特定結果情報を含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する(ステップS1701)。
領域特定部705は、ステップS1701で撮像装置101から撮像画像特定情報,及びリアルタイム映像を受信した場合、被写体検出部1502を制御して、受信したリアルタイム映像に対して、ステップS1601,S1602で検出した被写体と同じ被写体の検出を行う(ステップS1702)。例えば、被写体が顔である場合、被写体検出部1502は、ステップS1701で受信した撮像画像から、ステップS1601,S1602で検出した顔と同じ顔をパターンマッチングにより検出する。
ステップS1702で被写体の検出を行った後、領域特定部705は、被写体の検出に成功したかどうかを判定する。被写体の検出に成功した場合、領域特定部705は、ステップS1704で示される被写体の移動ベクトルの算出処理を行い、被写体の検出に失敗した場合、領域特定部705は、領域の特定に失敗したことを示す領域特定結果情報を含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する(ステップS1703)。
領域特定部705は、ステップS1703で被写体の検出に成功したと判定された場合、ステップS903で記憶した、前フレーム期間の撮像画像で被写体が存在していた位置と、ステップS1702で検出した、現フレーム期間の撮像画像で同じ被写体が存在している位置との差分を算出することで、被写体の移動ベクトルを算出し、記憶部703に記憶する(ステップS1704)。領域特定部705は、ステップS1704で被写体の移動ベクトルの算出を行った後、領域の特定に成功したことを示す領域特定結果情報と、ステップS903で記憶した被写体の座標情報,及びステップS1704で算出した被写体の移動ベクトルとを含む領域特定情報生成処理完了通知を制御部702に発行し、領域特定情報生成処理を終了する。
(変形例7)
例えば、上述した変形例5と変形例6とを組み合わせても良い。
図18は、変形例7における領域特定情報生成処理を示している。図18を用いて、変形例7における領域特定情報生成処理を説明する。図18では、ステップS1703で被写体の検出に成功したと判定された場合、被写体の顔画像と、被写体の移動ベクトルとが領域特定情報生成処理完了通知として、制御部702に発行される。このように、本発明の実施形態,及び変形例で開示される複数の技術を併用して使用しても良い。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
101 撮像装置、102,1301,1501 フォーカス指示装置、103,701,1302 表示部、106,704 ユーザインタフェース部、201 撮像部、202,702 制御部、203,703 記憶部、204,1502 被写体検出部、205 フォーカス調整部、206,706 無線通信部、207,707 アンテナ、705 領域特定部

Claims (22)

  1. 撮像を繰り返し、撮像画像を順次出力する撮像部と、
    前記撮像画像を順次無線送信するとともに、順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を無線受信する無線通信部と、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、
    を有し、
    前記無線通信部は、前記第2の情報が示す特定の位置又は領域に存在する被写体の移動ベクトルを無線受信し、
    前記被写体検出部は、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルにより推定し、推定した位置又は領域に存在する被写体を検出する撮像装置。
  2. 前記被写体検出部は、前記第1の情報により特定される前記撮像画像と、前記撮像部によって新たに撮像された前記撮像画像とのフレーム期間の差分量を演算し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルおよび前記フレーム期間の差分量により推定し、推定した位置又は領域に存在する被写体を検出する請求項1に記載の撮像装置。
  3. 撮像を繰り返し、撮像画像を順次出力する撮像部と、
    前記撮像画像を順次無線送信するとともに、順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を無線受信する無線通信部と、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、
    を有し、
    前記被写体検出部は、前記第1の情報及び前記第2の情報を受信した時点で既に前記撮像部によって撮像済みの前記撮像画像のうち、最後に撮像された前記撮像画像である第1の撮像画像を除く前記撮像画像のいずれかを前記第1の情報により第2の撮像画像として特定し、特定した前記第2の撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を検出した後、前記第2の撮像画像と前記第1の撮像画像との間に撮像された前記撮像画像である第3の撮像画像において、前記第2の撮像画像から検出した被写体を検出し、前記第1の撮像画像において、前記第3の撮像画像から検出した被写体を検出し、
    前記フォーカス調整部は、前記被写体検出部によって前記第1の撮像画像から検出された被写体にフォーカスを合わせるようにフォーカスを調整し、
    前記被写体検出部は、前記第2の撮像画像と前記第1の撮像画像との間に撮像された全ての前記第3の撮像画像のうち一部を間引き、間引いた前記第3の撮像画像を除く前記第3の撮像画像において被写体を順次検出し、
    前記被写体検出部は、前記第3の撮像画像において被写体を順次検出する際、被写体を検出した前記撮像画像間の被写体の移動量を算出し、当該移動量に基づいて、既に被写体を検出した前記撮像画像と、次に被写体を検出する前記撮像画像との間で間引く前記撮像画像の数を決定する撮像装置。
  4. 前記無線通信部は、前記第2の情報として、前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す座標情報を無線受信する請求項1〜請求項3のいずれか一項に記載の撮像装置。
  5. 前記無線通信部は、前記第2の情報として、前記第1の情報により特定される前記撮像画像中の特定の位置又は領域の画像情報を無線受信する請求項1〜請求項3のいずれか一項に記載の撮像装置。
  6. 前記画像情報が、前記第1の情報により特定される前記撮像画像中の特定の位置又は領域の縮小画像である請求項5に記載の撮像装置。
  7. 撮像を繰り返し、撮像画像を順次出力する撮像部と、
    前記撮像画像を順次無線送信する第1の無線通信部と、
    前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、
    前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、
    を有し、
    前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、
    前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、
    をさらに有し、
    前記第2の無線通信部は、前記第1の情報としてフレーム番号を送信するフォーカス調整システム。
  8. 前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信する請求項7に記載のフォーカス調整システム。
  9. 撮像を繰り返し、撮像画像を順次出力する撮像部と、
    前記撮像画像を順次無線送信する第1の無線通信部と、
    前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、
    前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、
    を有し、
    前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、
    前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、
    をさらに有し、
    前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、
    前記第2の無線通信部は、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するフォーカス調整システム。
  10. 前記第2の無線通信部は、前記第2の情報が示す特定の位置又は領域に存在する被写体の移動ベクトルを無線受信し、
    前記被写体検出部は、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルにより推定し、推定した位置又は領域に存在する被写体を検出する請求項に記載のフォーカス調整システム。
  11. 前記被写体検出部は、前記第1の情報により特定される前記撮像画像と、前記撮像部によって新たに撮像された前記撮像画像とのフレーム期間の差分量を演算し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルおよび前記フレーム期間の差分量により推定し、推定した位置又は領域に存在する被写体を検出する請求項10に記載のフォーカス調整システム。
  12. 撮像を繰り返し、撮像画像を順次出力する撮像部と、
    前記撮像画像を順次無線送信する第1の無線通信部と、
    前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、
    前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、
    を有し、
    前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、
    前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、
    をさらに有するフォーカス調整システムで使用されるフォーカス指示装置であって、
    前記第2の無線通信部と、
    前記特定部と、
    を有し、
    前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、
    前記第2の無線通信部は、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するフォーカス指示装置。
  13. 撮像部が撮像を繰り返し、撮像画像を順次出力するステップと、
    第1の無線通信部が前記撮像画像を順次無線送信するステップと、
    前記第1の無線通信部から順次無線送信された前記撮像画像を第2の無線通信部が順次無線受信するステップと、
    特定部が、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定するステップと、
    前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを前記第2の無線通信部が無線送信するステップと、
    前記第1の無線通信部が前記第1の情報及び前記第2の情報を無線受信するステップと、
    被写体検出部が、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出するステップと、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカス調整部がフォーカスを調整するステップと、
    を有し、
    前記第2の無線通信部は、前記第1の情報としてフレーム番号を送信するフォーカス調整方法。
  14. 前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信する請求項13に記載のフォーカス調整方法。
  15. 撮像部が撮像を繰り返し、撮像画像を順次出力するステップと、
    第1の無線通信部が前記撮像画像を順次無線送信するステップと、
    前記第1の無線通信部から順次無線送信された前記撮像画像を第2の無線通信部が順次無線受信するステップと、
    特定部が、前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定するステップと、
    前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを前記第2の無線通信部が無線送信するステップと、
    前記第1の無線通信部が前記第1の情報及び前記第2の情報を無線受信するステップと、
    被写体検出部が、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出するステップと、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカス調整部がフォーカスを調整するステップと、
    を有し、
    前記第2の無線通信部は、前記第2の情報として、前記特定部が特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、
    前記第2の無線通信部は、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するフォーカス調整方法。
  16. 前記第2の無線通信部は、前記第2の情報が示す特定の位置又は領域に存在する被写体の移動ベクトルを無線受信し、
    前記被写体検出部は、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルにより推定し、推定した位置又は領域に存在する被写体を検出する請求項15に記載のフォーカス調整方法。
  17. 前記被写体検出部は、前記第1の情報により特定される前記撮像画像と、前記撮像部によって新たに撮像された前記撮像画像とのフレーム期間の差分量を演算し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルおよび前記フレーム期間の差分量により推定し、推定した位置又は領域に存在する被写体を検出する請求項16に記載のフォーカス調整方法。
  18. 撮像部により撮像を繰り返し、撮像画像を順次出力する第1のステップと、
    無線通信部により前記撮像画像を順次無線送信する第2のステップと、
    順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を前記無線通信部により無線受信する第3のステップと、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する第4のステップと、
    検出された被写体にフォーカスを合わせるようにフォーカスを調整する第5のステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記第3のステップにおいて、前記第2の情報が示す特定の位置又は領域に存在する被写体の移動ベクトルを無線受信し、
    前記第4のステップにおいて、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルにより推定し、推定した位置又は領域に存在する被写体を検出するプログラム。
  19. 前記第4のステップにおいて、前記第1の情報により特定される前記撮像画像と、前記撮像部によって新たに撮像された前記撮像画像とのフレーム期間の差分量を演算し、前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域が、前記撮像部によって新たに撮像された前記撮像画像のどの位置又は領域に相当するかを前記移動ベクトルおよび前記フレーム期間の差分量により推定し、推定した位置又は領域に存在する被写体を検出する請求項18に記載のプログラム。
  20. 撮像部により撮像を繰り返し、撮像画像を順次出力する第1のステップと、
    無線通信部により前記撮像画像を順次無線送信する第2のステップと、
    順次無線送信された前記撮像画像のうちいずれかを特定する第1の情報、及び前記第1の情報により特定される前記撮像画像中の特定の位置又は領域を示す第2の情報を前記無線通信部により無線受信する第3のステップと、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する第4のステップと、
    検出された被写体にフォーカスを合わせるようにフォーカスを調整する第5のステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記第4のステップにおいて、前記第1の情報及び前記第2の情報を受信した時点で既に前記撮像部によって撮像済みの前記撮像画像のうち、最後に撮像された前記撮像画像である第1の撮像画像を除く前記撮像画像のいずれかを前記第1の情報により第2の撮像画像として特定し、特定した前記第2の撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を検出した後、前記第2の撮像画像と前記第1の撮像画像との間に撮像された前記撮像画像である第3の撮像画像において、前記第2の撮像画像から検出した被写体を検出し、前記第1の撮像画像において、前記第3の撮像画像から検出した被写体を検出し、
    前記第5のステップにおいて、前記第1の撮像画像から検出された被写体にフォーカスを合わせるようにフォーカスを調整し、
    前記第4のステップにおいて、前記第2の撮像画像と前記第1の撮像画像との間に撮像された全ての前記第3の撮像画像のうち一部を間引き、間引いた前記第3の撮像画像を除く前記第3の撮像画像において被写体を順次検出し、
    前記第4のステップにおいて、前記第3の撮像画像において被写体を順次検出する際、被写体を検出した前記撮像画像間の被写体の移動量を算出し、当該移動量に基づいて、既に被写体を検出した前記撮像画像と、次に被写体を検出する前記撮像画像との間で間引く前記撮像画像の数を決定するプログラム。
  21. 撮像を繰り返し、撮像画像を順次出力する撮像部と、
    前記撮像画像を順次無線送信する第1の無線通信部と、
    前記第1の無線通信部から順次無線送信された前記撮像画像を順次無線受信する第2の無線通信部と、
    前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する特定部と、
    を有し、
    前記第2の無線通信部は、前記特定部が特定した前記撮像画像を示す第1の情報と、前記特定部が特定した位置又は領域を示す第2の情報とを無線送信し、
    前記第1の無線通信部は、前記第1の情報及び前記第2の情報を無線受信し、
    前記第1の情報により特定される前記撮像画像において前記第2の情報が示す位置又は領域に存在する被写体を、前記撮像部によって新たに撮像された前記撮像画像から検出する被写体検出部と、
    前記被写体検出部によって検出された被写体にフォーカスを合わせるようにフォーカスを調整するフォーカス調整部と、
    をさらに有するフォーカス調整システムで使用されるフォーカス指示装置のコンピュータに、
    前記第1の無線通信部から順次無線送信された前記撮像画像を前記第2の無線通信部により順次無線受信する第1のステップと、
    前記第2の無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する第2のステップと、
    特定された前記撮像画像を示す第1の情報と、特定された位置又は領域を示す第2の情報とを前記第2の無線通信部により無線送信する第3のステップと、
    を実行させるためのプログラムであって、
    前記第3のステップにおいて、前記第2の情報として、特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、
    前記第3のステップにおいて、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するプログラム。
  22. 撮像装置が撮像を繰り返し、順次無線送信した撮像画像を無線通信部により順次無線受信する第1のステップと、
    前記無線通信部で順次無線受信された前記撮像画像のうちいずれかを特定するとともに、特定した前記撮像画像中の特定の位置又は領域を特定する第2のステップと、
    特定された前記撮像画像を示す第1の情報と、特定された位置又は領域を示す第2の情報とを前記無線通信部により前記撮像装置に無線送信する第3のステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記第3のステップにおいて、前記第2の情報として、特定した位置又は領域を示す座標情報若しくは前記位置又は前記領域の画像情報を送信し、
    前記第3のステップにおいて、前記第2の情報として、前記座標情報若しくは前記画像情報に加えて、前記位置又は前記領域に存在する被写体の移動ベクトルを送信するプログラム。
JP2013082925A 2013-04-11 2013-04-11 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム Expired - Fee Related JP6108925B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013082925A JP6108925B2 (ja) 2013-04-11 2013-04-11 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム
US14/229,214 US20140307150A1 (en) 2013-04-11 2014-03-28 Imaging device, focus adjustment system, focus instruction device, and focus adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013082925A JP6108925B2 (ja) 2013-04-11 2013-04-11 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014206583A JP2014206583A (ja) 2014-10-30
JP6108925B2 true JP6108925B2 (ja) 2017-04-05

Family

ID=51686557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013082925A Expired - Fee Related JP6108925B2 (ja) 2013-04-11 2013-04-11 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム

Country Status (2)

Country Link
US (1) US20140307150A1 (ja)
JP (1) JP6108925B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522768B2 (ja) 2015-09-30 2019-05-29 富士フイルム株式会社 撮像装置および撮像方法
KR20180052002A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP7187221B2 (ja) 2018-09-04 2022-12-12 アズビル株式会社 焦点調整支援装置および焦点調整支援方法
WO2021161959A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム
US11599253B2 (en) 2020-10-30 2023-03-07 ROVl GUIDES, INC. System and method for selection of displayed objects by path tracing
US20220137700A1 (en) * 2020-10-30 2022-05-05 Rovi Guides, Inc. System and method for selection of displayed objects by path tracing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4540214B2 (ja) * 2000-10-31 2010-09-08 進 角田 遠隔制御監視装置及び遠隔制御監視方法
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
US6859547B2 (en) * 2003-01-25 2005-02-22 The Mostert Group Methods and computer-readable medium for tracking motion
PL1913557T3 (pl) * 2005-06-23 2016-12-30 System i metoda śledzenia poruszających się obiektów
JP5045540B2 (ja) * 2007-05-09 2012-10-10 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、音声記録装置および音声記録方法
JP2009273033A (ja) * 2008-05-09 2009-11-19 Olympus Imaging Corp カメラシステム及びコントローラの制御方法,コントローラのプログラム
US8134597B2 (en) * 2008-12-05 2012-03-13 Sony Ericsson Mobile Communications Ab Camera system with touch focus and method
JP6207162B2 (ja) * 2013-01-25 2017-10-04 キヤノン株式会社 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム

Also Published As

Publication number Publication date
US20140307150A1 (en) 2014-10-16
JP2014206583A (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6108925B2 (ja) 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム
US10324534B2 (en) Information processing apparatus, information processing system, and information processing method for haptic output based on distance-related delay
JP6226539B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US9837121B2 (en) Information processing device, information processing method, and program
JP6226538B2 (ja) 表示制御装置、表示制御方法、およびプログラム
EP2757771B1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
JP6403115B2 (ja) 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法
JP6582626B2 (ja) 送信制御方法、表示端末および送信制御プログラム
WO2015142971A1 (en) Receiver-controlled panoramic view video share
JP7441926B2 (ja) 映像コーディングを行うコンピュータプログラム
JP5868128B2 (ja) 情報処理装置およびその制御方法
JP2015135641A (ja) 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム
JP6290020B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019176378A (ja) 制御装置、監視システム、及び監視カメラ制御方法
JP2018507439A (ja) 表示機器のカムフラージュ/回復システム及び制御方法
EP3576419A1 (en) Image processing apparatus, information processing apparatus, information processing method, and program
EP3428779A1 (en) User-machine interaction method and system based on feedback signals
US20140056470A1 (en) Target object angle determination using multiple cameras
US9549113B2 (en) Imaging control terminal, imaging system, imaging method, and program device
JP2011186547A (ja) 表示制御装置、およびその制御方法、プログラム、記憶媒体
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
JP2009100193A (ja) 選択支援装置および選択支援システム
JP2014102572A (ja) テストシステム及びテストプログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170307

R151 Written notification of patent or utility model registration

Ref document number: 6108925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees