JP5804138B1 - 検出装置、検出方法及びプログラム - Google Patents

検出装置、検出方法及びプログラム Download PDF

Info

Publication number
JP5804138B1
JP5804138B1 JP2014105383A JP2014105383A JP5804138B1 JP 5804138 B1 JP5804138 B1 JP 5804138B1 JP 2014105383 A JP2014105383 A JP 2014105383A JP 2014105383 A JP2014105383 A JP 2014105383A JP 5804138 B1 JP5804138 B1 JP 5804138B1
Authority
JP
Japan
Prior art keywords
luminance
detection
threshold
color
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014105383A
Other languages
English (en)
Other versions
JP2015220725A (ja
Inventor
正規 石原
正規 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014105383A priority Critical patent/JP5804138B1/ja
Priority to CN201510119306.3A priority patent/CN105100586B/zh
Priority to US14/663,407 priority patent/US9280707B2/en
Priority to US14/886,807 priority patent/US20160042231A1/en
Application granted granted Critical
Publication of JP5804138B1 publication Critical patent/JP5804138B1/ja
Publication of JP2015220725A publication Critical patent/JP2015220725A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Abstract

【課題】撮像画像において、より適切に移動物体を検出すること。【解決手段】検出装置1は、平均値算出部52と、検出方法判別部55と、モーション検出部56とを備える。平均値算出部52は、撮像部16が、フレーム単位で連続して撮像する撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する。検出方法判別部55は、取得した輝度情報及び色情報に基づき、所定の移動物体を検出するために、輝度情報及び色情報の内のいずれを使用するかを判別する。モーション検出部56は、判別した結果に基づき、輝度情報及び色情報の内のいずれかを使用して、所定の移動物体を検出する。【選択図】図2

Description

本発明は、検出装置、検出方法及びプログラムに関する。
従来より、撮像画像から移動物体を検出するために、撮像画像の輝度情報を使用する技術が広く使用されている。しかしながら、撮像画像の輝度情報を使用するだけでは誤認識する場合があり、誤認識を防止し精度を高めるために、特許文献1に記載された技術のように、輝度の変化と色相の変化の両方に基づいて検出する技術が開示されている。
特開平9−186988号公報
しかしながら、常に輝度の変化と色相の変化の両方を計算することは処理負荷が高いため、撮像画像における移動物体の検出に時間がかかるという問題があった。また、屋内から屋外へ移動した場合のように、撮影条件が大きく変わり、同じ検出条件では適切に移動物体の検出ができないという別の問題もあった。
本発明は、このような状況に鑑みてなされたものであり、撮像画像において、より適切に移動物体を検出することを目的とする。
上記目的を達成するため、本発明の一態様の検出装置は、
撮像画像から所定の物体の移動を検出する検出装置であって、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得手段と、
取得した前記輝度情報及び前記色情報に基づき、前記所定の物体の移動を検出するために、前記輝度情報及び前記色情報の内の一方または両方のいずれを使用するかを判別する判別手段と、
判別した結果に基づき、前記輝度情報及び前記色情報の内の一方または両方のいずれかを使用して、前記所定の物体の移動を検出する検出手段と、
連続する複数フレーム間における前記輝度情報の差分との比較に使用する判別輝度閾値及び、連続する複数フレーム間における前記色情報の差分との比較に使用する判別色閾値を設定する判別閾値設定手段と、
を備え
前記判別手段は、設定された前記判別輝度閾値及び前記判別色閾値と、取得される前記輝度情報の差分及び前記色情報の差分に基づいて、前記所定の物体の移動を検出するために前記輝度情報及び前記色情報の内のいずれを使用するかを判別することを特徴とする。
本発明によれば、撮像画像において、より適切に移動物体を検出することが可能となる。
本発明の一実施形態に係る検出装置のハードウェアの構成を示すブロック図である。 図1の検出装置の機能的構成のうち、モーションシャッター撮影処理を実行するための機能的構成を示す機能ブロック図である。 撮像画像に検出領域が設定された状態を示す模式図であり、図3(A)は検出領域の輝度成分に差分が表れ難い状態を示す図、図3(B)は検出領域の色差成分に差分が表れ難い状態を示す図である。 図2の機能的構成を有する図1の検出装置が実行するモーションシャッター撮影処理の流れを示すフローチャートである。 モーションシャッター撮影処理のサブフローとして実行される閾値設定処理の流れを示すフローチャートである。 モーションシャッター撮影処理のサブフローとして実行される検出方法判別処理の流れを示すフローチャートである。 モーションシャッター撮影処理のサブフローとして実行される検出処理の流れを示すフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の一実施形態に係る検出装置のハードウェアの構成を示すブロック図である。
検出装置1は、例えばデジタルカメラとして構成される。
検出装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、センサ部17と、入力部18と、出力部19と、記憶部20と、通信部21と、ドライブ22と、を備えている。
CPU11は、ROM12に記録されているプログラム、または、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、センサ部17、入力部18、出力部19、記憶部20、通信部21及びドライブ22が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像は、後述するモーション検出のための画像、ライブビュー画像あるいは記録用の画像等として取得され、CPU11等に適宜供給される。
センサ部17は、検出装置1の相対的な位置や角度を計測する。本実施形態において、センサ部17は、GPS受信装置からなる位置センサや、3軸加速度センサ等の各種センサを含む。
入力部18は、マイクや各種釦等で構成され、ユーザの操作に応じて音声や情報等を入力する。
出力部19は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部20は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部21は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ22によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部20にインストールされる。また、リムーバブルメディア31は、記憶部20に記憶されている画像のデータ等の各種データも、記憶部20と同様に記憶することができる。
以上のように構成される検出装置1は、移動物体(例えば、手などの被写体の一部)が撮像画像の特定の領域(検出領域)に進入したことの検出(モーション検出)を行い、自動的にシャッターを押下する機能(以下、「モーションシャッター機能」、「モーションシャッター機能」を使用して撮影を行なう処理を「モーションシャッター撮影処理」と呼ぶ。)を有する。
そして、検出装置1は、撮像画像の輝度成分及び色差成分それぞれについて、モーション検出を行うための検出閾値を設定し、これらの一方または両方を用いて、モーション検出を行う。さらに、検出装置1は、撮像画像の輝度成分及び色差成分の一方または両方の検出閾値のいずれを用いてモーション検出を行うか(モーション検出のモード)を判別するために、撮像画像の輝度成分及び色差成分それぞれについて、判別閾値を設定する。検出装置1は、撮像画像の輝度成分及び色差成分について、連続する撮像画像における検出領域の差分と判別閾値との比較を行い、その比較結果に応じて、撮像画像の輝度成分及び色差成分の一方または両方の検出閾値のいずれを用いてモーション検出を行うか(即ち、モーション検出のモード)を判別する。また、検出装置1は、撮像画像における検出領域の輝度成分及び色差成分それぞれについて再設定閾値を設定する。検出装置1は、撮像画像全体の輝度成分及び色差成分それぞれの平均値と再設定閾値との比較を行う。そして、検出装置1は、その比較結果に応じて、撮影環境が大きく変わったことを検出し、検出閾値を再設定する。
このような構成を有する検出装置1によれば、撮像画像において、より適切に移動物体を検出することが可能となる。
なお、本実施形態においては、撮像画像の輝度に関する輝度情報及び色に関する色情報として、YUV色空間における輝度成分及び色差成分を用いて各種処理を行う場合を例に挙げて説明する。ただし、撮像画像の輝度に関する輝度情報及び色に関する色情報として、各種色空間において表される輝度情報及び色情報(例えば、HSV色空間における明度と色相等)を用いることも可能である。
図2は、このような検出装置1の機能的構成のうち、モーションシャッター撮影処理を実行するための機能的構成を示す機能ブロック図である。
また、図3は、撮像画像に検出領域が設定された状態を示す模式図であり、図3(A)は検出領域の輝度成分に差分が表れ難い状態を示す図、図3(B)は検出領域の色差成分に差分が表れ難い状態を示す図である。
モーションシャッター撮影処理とは、連続する撮像画像における検出領域の差分と判別用閾値との比較結果に応じて、撮像画像の輝度成分及び色差成分の一方または両方の検出閾値のいずれかを用いてモーション検出を行い、撮影を行う一連の処理をいう。
また、モーションシャッター撮影処理では、連続する撮像画像における検出領域の差分から輝度成分及び色差成分の判別用閾値及び検出用閾値を設定する閾値設定処理と、撮像画像の輝度成分及び色差成分の一方または両方の検出閾値のいずれを用いてモーション検出を行うかを判別する検出方法判別処理と、モーション検出を行う検出処理との各種処理を含む。
以下、図3の模式図を適宜参照しながら、検出装置1の機能的構成について説明する。
モーションシャッター撮影処理が実行される場合には、図2に示すように、CPU11において、撮影制御部51と、平均値算出部52と、閾値再設定判別部53と、閾値設定部54と、検出方法判別部55と、モーション検出部56と、が機能する。
また、記憶部20の一領域には、閾値記憶部71と、画像記憶部72と、が形成される。
閾値記憶部71には、後述する輝度成分及び色差成分の判別閾値、検出閾値及び再設定閾値が記憶される。
また、画像記憶部72には、予め設定された数の最新の撮像画像や、記録用の撮像画像等の画像データが記憶される。
撮影制御部51は、検出装置1における撮影の制御を行う。具体的には、撮影制御部51は、モーションシャッター機能あるいはシャッターボタンの操作によって自動あるいは手動でシャッターの押下が行われた場合に、撮像部16に記録用の撮像画像を取得させる制御等を行う。撮影制御部51の制御によって取得された撮像画像のデータは、画像記憶部72に記憶される。
また、撮影制御部51は、撮像部16から連続して出力される撮像画像をフレーム単位で取得し、ライブビュー画像として出力部19のディスプレイに順次表示させる。
平均値算出部52は、撮像画像全体及び検出領域(図3参照)内の画素について、輝度成分及び色差成分の平均値を算出する。検出領域内の画素の輝度成分及び色差成分の平均値は、検出閾値及び判別閾値の設定や、検出領域内におけるモーション検出及びモーション検出のモードの判別に用いられる。一方、撮像画像全体の輝度成分及び色差成分の平均値は、撮影環境が大きく変化したことを検出するために用いられる。なお、本実施形態においては、撮像画像全体あるいは検出領域内の画素の平均値を用いることとするが、画像の内容を表す指標となるものであれば、例えば撮像画像全体あるいは検出領域内の画素の合計値を用いることとしてもよい。
閾値再設定判別部53は、平均値算出部52によって算出された撮像画像全体の画素の輝度成分及び色差成分の平均値と、輝度成分及び色差成分それぞれについて設定されている再設定閾値とを比較する。そして、撮像画像全体の輝度成分及び色差成分のいずれかの平均値が、輝度成分及び色差成分それぞれの再設定閾値より大きい場合、閾値再設定判別部53は、撮影環境が大きく変化したことを検出し、閾値設定部54に対して、検出閾値を再設定するための指示(以下、「閾値再設定指示」と呼ぶ。)を出力する。
閾値設定部54は、連続する2つの撮像画像における検出領域の差分から、モーション検出のモードを判別するための判別閾値を設定する。具体的には、閾値設定部54は、連続する撮像画像の検出領域それぞれについて、平均値算出部52によって算出された輝度成分及び色差成分それぞれの平均値の差分を取得する。そして、閾値設定部54は、輝度成分及び色差成分それぞれについて、取得した平均値の差分よりも大きい所定割合の値(例えば取得した平均値の差分の120%)に判別閾値を設定する。
また、閾値設定部54は、判別閾値の設定に用いた連続する2つの撮像画像における検出領域の差分から、モーション検出を行うための検出閾値を設定する。具体的には、閾値設定部54は、輝度成分及び色差成分それぞれについて、判別閾値の設定に用いた連続する撮像画像の検出領域それぞれについて、取得した平均値の差分よりも大きく、判別閾値よりも大きい所定割合の値(例えば取得した平均値の差分の150%)に検出閾値を設定する。ただし、判別閾値及び検出閾値として、輝度成分及び色差成分それぞれの絶対値を設定することとしてもよい。例えば、判別閾値の設定に用いた撮像画像の検出領域の平均値の差分が255段階で表されている場合、その差分が100であれば、判別閾値を「差分(100)+20」、検出閾値を「差分(100)+50」として設定することができる。なお、これら検出閾値及び判別閾値としての絶対値あるいは所定割合は、実験あるいはシミュレーション等の結果に応じて、任意に設定することができる。
さらに、閾値設定部54は、判別閾値の設定に用いた撮像画像全体の平均値を基に、検出閾値の再設定が必要であるか否かを判別するための再設定閾値を設定する。具体的には、閾値設定部54は、輝度成分及び色差成分それぞれについて、判別閾値の設定に用いた撮像画像全体の平均値を基に、輝度成分及び色差成分それぞれの再設定閾値を設定する。このとき、判別閾値の設定に用いた連続する2つの撮像画像全体またはその一方の撮像画像全体の輝度成分及び色差成分それぞれの平均値に対して、所定割合(例えば30%)を表す数値が再設定閾値として設定される。所定割合の数値を再設定閾値として設定する場合、判別閾値の設定に用いた撮像画像全体の平均値(輝度成分及び色差成分の平均値)が記憶される。そして、検出閾値の再設定が必要であるか否かを判別する際には、記憶された平均値に対して、比較対象とする撮像画像全体の平均値(輝度成分及び色差成分の平均値)の変化が、再設定閾値より大きいか否かが判定される。ただし、再設定閾値として、輝度成分及び色差成分それぞれの絶対値を設定することとしてもよい。この場合、例えば、判別閾値の設定に用いた撮像画像全体の平均値が255段階のうち100であれば、上側の閾値として130(100+30)及び下側の閾値をして70(100−30)が再設定閾値として設定される。なお、これら再設定閾値としての絶対値あるいは所定割合は、実験あるいはシミュレーション等の結果に応じて、任意に設定することができる。
また、閾値設定部54は、閾値再設定判別部53から閾値再設定指示が入力された場合、連続する2つの撮像画像における検出領域の差分から、新たに検出閾値を設定する。これにより、撮影環境が大きく変化した場合に、検出閾値をより適切な値に更新することができる。なお、検出閾値の再設定に合わせて、判別閾値を再設定することとしてもよい。
検出方法判別部55は、閾値設定部54によって設定された判別閾値と、連続する撮像画像の輝度成分及び色差成分の差分とを比較し、比較結果に応じたモーション検出のモードを設定する。具体的には、検出方法判別部55は、連続する撮像画像の輝度成分の差分が判別閾値をより大きいと判別した場合、輝度成分の検出閾値を用いて撮像画像のモーション検出を行うモード(第1の検出モード)に設定する。これにより、図3(B)に示すように、背景が肌色に近い壁であり、検出領域に進入した人の手を検出する場合等、色差成分の差分が表れ難い撮像画像においてモーション検出を行う場合であっても、検出領域に移動物体が進入したことをより適切に検出することが可能となる。
また、検出方法判別部55は、連続する撮像画像の輝度成分の差分が判別閾値以下、かつ、色差成分の差分が判別閾値より大きいと判別した場合、色差成分の検出閾値を用いて撮像画像のモーション検出を行うモード(第2の検出モード)に設定する。これにより、図3(A)に示すように、背景がテクスチャのない壁であり、検出領域に進入したコピー用紙を検出する場合等、輝度成分の差分が表れ難い撮像画像においてモーション検出を行う場合であっても、検出領域に移動物体が進入したことをより適切に検出することが可能となる。
さらに、検出方法判別部55は、連続する撮像画像の輝度成分及び色差成分の差分がいずれも判別閾値以下であると判別した場合、輝度成分及び色差成分両方の検出閾値を用いて撮像画像のモーション検出を行うモード(第3の検出モード)に設定する。これにより、輝度成分及び色差成分のいずれかに明確に差分が表れにくい撮像画像においてモーション検出を行う場合であっても、検出領域に移動物体が進入したことをより適切に検出することが可能となる。
モーション検出部56は、連続する撮像画像における検出領域の差分と検出閾値とを比較し、比較結果に基づいて、移動物体が検出領域に進入したことを検出する。モーション検出部56は、撮像画像に含まれる移動物体が検出領域に進入したことを検出すると、モーションシャッター機能として、撮影制御部51に対してシャッターの押下(即ち、撮影の実行)を指示する。
具体的には、モーション検出部56は、モーション検出のモードが第1の検出モードに設定されている場合、連続する撮像画像における検出領域の輝度成分の差分が、輝度成分について設定されている検出閾値より大きいか否かを判別する。そして、モーション検出部56は、連続する撮像画像における検出領域の輝度成分の差分が、輝度成分について設定されている検出閾値より大きい場合、移動物体が検出領域に進入したと判別する。一方、モーション検出部56は、連続する撮像画像における検出領域の輝度成分の差分が、輝度成分について設定されている検出閾値以下である場合、移動物体が検出領域に進入していないと判別する。
また、モーション検出部56は、モーション検出のモードが第2の検出モードに設定されている場合、連続する撮像画像における検出領域の色差成分の差分が、色差成分について設定されている検出閾値より大きいか否かを判別する。そして、モーション検出部56は、連続する撮像画像における検出領域の色差成分の差分が、色差成分について設定されている検出閾値より大きい場合、移動物体が検出領域に進入したと判別する。一方、モーション検出部56は、連続する撮像画像における検出領域の色差成分の差分が、色差成分について設定されている検出閾値以下である場合、移動物体が検出領域に進入していないと判別する。
さらに、モーション検出部56は、モーション検出のモードが第3の検出モードに設定されている場合、連続する撮像画像における検出領域の輝度成分及び色差成分それぞれの差分が、輝度成分及び色差成分それぞれについて設定されている検出閾値より大きいか否かを判別する。そして、モーション検出部56は、連続する撮像画像における検出領域の輝度成分及び色差成分の差分のいずれかが、輝度成分及び色差成分それぞれについて設定されている検出閾値より大きい場合、移動物体が検出領域に進入したと判別する。一方、モーション検出部56は、連続する撮像画像における検出領域の輝度成分及び色差成分の差分のいずれも、輝度成分及び色差成分それぞれについて設定されている検出閾値以下である場合、移動物体が検出領域に進入していないと判別する。
次に、動作を説明する。
図4は、図2の機能的構成を有する図1の検出装置1が実行するモーションシャッター撮影処理の流れを示すフローチャートである。
モーションシャッター撮影処理は、入力部18を介して、モーションシャッター撮影処理の開始を指示する操作が行われることに対応して開始される。
ステップS1において、撮影制御部51は、撮影の待機状態(シャッターボタンの自動的な押下により撮影を実行可能な状態)に移行する。撮影の待機状態においては、撮像画像が連続して取得される。
ステップS2において、平均値算出部52は、撮像画像全体及び検出領域内の画素について、輝度成分及び色差成分の平均値を算出する。
ステップS3において、閾値再設定判別部53は、平均値算出部52によって算出された撮像画像全体の画素の輝度成分及び色差成分のいずれかの平均値が、輝度成分及び色差成分それぞれの再設定閾値より大きく変化したか否かの判別を行う。
ステップS3において、撮像画像全体の画素の輝度成分及び色差成分のいずれかの平均値が、輝度成分及び色差成分それぞれの再設定閾値より大きく変化した(YES)と判別された場合、処理はステップS4に移行する。
一方、ステップS3において、撮像画像全体の画素の輝度成分及び色差成分のいずれの平均値も、輝度成分及び色差成分それぞれの再設定閾値より大きく変化していない(NO)と判別された場合、処理はステップS5に移行する。
ステップS4において、閾値設定部54は、後述する閾値設定処理を実行することにより、連続する2つの撮像画像における検出領域の差分から、モーション検出を行うための検出閾値を設定する。
ステップS5において、検出方法判別部55は、後述する検出方法判別処理を実行することにより、閾値設定部54によって設定された判別閾値と、連続する撮像画像の輝度成分及び色差成分の差分とを比較し、比較結果に応じたモーション検出のモードを設定する。
ステップS6において、モーション検出部56は、連続する撮像画像における検出領域の差分と検出閾値とを比較する検出状態へ移行する。
ステップS7において、モーション検出部56は、後述する検出処理を実行することにより、被写体のモーション検出を行う。
ステップS8において、撮影制御部51は、モーション検出の結果に対応して自動でシャッターボタンを押下することにより撮影を実行する。
ステップS9において、撮影制御部51は、入力部18を介して、モーションシャッター撮影処理の終了を指示する操作が行われたか否かの判別を行う。
ステップS9において、入力部18を介して、モーションシャッター撮影処理の終了を指示する操作が行われた(YES)と判別された場合、処理は終了となる。
一方、ステップS9において、入力部18を介して、モーションシャッター撮影処理の終了を指示する操作が行われていない(NO)と判別された場合、処理はステップS1に移行して、モーションシャッター撮影処理を継続する。
次に、モーションシャッター撮影処理のステップS4において実行される閾値設定処理について説明する。
図5は、モーションシャッター撮影処理のサブフローとして実行される閾値設定処理の流れを示すフローチャートである。
ステップS21において、閾値設定部54は、連続する2つの撮像画像を取得する。
ステップS22において、閾値設定部54は、取得された連続する2つの撮像画像における検出領域の差分から、モーション検出のモードを判別するための判別閾値を設定する。
ステップS23において、閾値設定部54は、取得された連続する2つの撮像画像における検出領域の差分から、モーション検出を行うための検出閾値を設定する。なお、ステップS23における検出閾値の設定は、検出方法判別処理の中のステップ(例えば、後述するステップS32に続くステップ)として行うこととしてもよい。
ステップS24において、閾値設定部54は、取得された連続する2つの撮像画像全体の平均値(輝度成分及び色差成分の平均値)を基に、検出閾値の再設定が必要であるか否かを判別するための再設定閾値を設定する。なお、ステップS24においては、再設定閾値の設定に用いた撮像画像全体の輝度成分及び色差成分の平均値が閾値記憶部71に記憶される。
ステップS24の後、処理は図4のモーションシャッター撮影処理に戻る。
なお、閾値設定処理において、判別閾値及び検出閾値を設定する際に用いる連続する撮像画像の数を2つとしたが、連続する3つ以上の撮像画像における検出領域の差分から、判別閾値及び検出閾値を設定することとしてもよい。この場合、判別閾値及び検出閾値として、それぞれ上側の閾値と下側の閾値とを設定し、モーション検出のモード判別及びモーション検出の判別の際に、輝度成分及び色差成分の差分の変化方向に対するヒステリシスを設けて判別を行うことができる。
次に、モーションシャッター撮影処理のステップS5において実行される検出方法判別処理について説明する。
図6は、モーションシャッター撮影処理のサブフローとして実行される検出方法判別処理の流れを示すフローチャートである。
ステップS31において、検出方法判別部55は、連続する2つの撮像画像を取得する。
ステップS32において、検出方法判別部55は、取得された連続する2つの撮像画像の検出領域の輝度成分及び色差成分の差分を算出する。
ステップS33において、検出方法判別部55は、算出された検出領域の輝度成分の差分が、輝度成分について設定された判別閾値より大きいか否かの判別を行う。
ステップS33において、算出された検出領域の輝度成分の差分が、輝度成分について設定された判別閾値より大きい(YES)と判別された場合、処理はステップS34に移行する。
一方、ステップS33において、算出された検出領域の輝度成分の差分が、輝度成分について設定された判別閾値以下である(NO)と判別された場合、処理はステップS35に移行する。
ステップS34において、検出方法判別部55は、モーション検出のモードを第1の検出モードとし、輝度成分の検出閾値を用いてモーション検出を行う設定とする。
ステップS35において、検出方法判別部55は、算出された検出領域の色差成分の差分が、色差成分について設定された判別閾値より大きいか否かの判別を行う。
ステップS35において、算出された検出領域の色差成分の差分が、色差成分について設定された判別閾値より大きい(YES)と判別された場合、処理はステップS36に移行する。
一方、ステップS35において、算出された検出領域の色差成分の差分が、色差成分について設定された判別閾値以下である(NO)と判別された場合、処理はステップS37に移行する。
ステップS36において、検出方法判別部55は、モーション検出のモードを第2の検出モードとし、色差成分の検出閾値を用いてモーション検出を行う設定とする。
ステップS37において、検出方法判別部55は、モーション検出のモードを第3の検出モードとし、輝度成分及び色差成分の検出閾値を用いてモーション検出を行う設定とする。
ステップS34、ステップS36及びステップS37の後、処理は図4のモーションシャッター撮影処理に戻る。
次に、モーションシャッター撮影処理のステップS7において実行される検出処理について説明する。
図7は、モーションシャッター撮影処理のサブフローとして実行される検出処理の流れを示すフローチャートである。
ステップS41において、モーション検出部56は、モーション検出のモードがいずれのモードであるかの判別を行う。
ステップS41において、モーション検出のモードが第1の検出モードであると判定された場合、処理はステップS42に移行する。
ステップS41において、モーション検出のモードが第2の検出モードであると判定された場合、処理はステップS44に移行する。
ステップS41において、モーション検出のモードが第3の検出モードであると判定された場合、処理はステップS46に移行する。
ステップS42において、モーション検出部56は、連続する撮像画像における検出領域の輝度成分の差分を算出する。
ステップS43において、モーション検出部56は、算出された検出領域における輝度成分の差分が、輝度成分について設定されている検出閾値より大きいか否かの判別を行う。
ステップS43において、算出された検出領域における輝度成分の差分が、輝度成分について設定されている検出閾値より大きい(YES)と判別された場合、処理は図4のモーションシャッター撮影処理に戻る。
一方、ステップS43において、算出された検出領域における輝度成分の差分が、輝度成分について設定されている検出閾値以下である(NO)と判定された場合、処理はステップS42に移行して、検出処理を継続する。
ステップS44において、モーション検出部56は、連続する撮像画像における検出領域の色差成分の差分を算出する。
ステップS45において、モーション検出部56は、算出された検出領域における色差成分の差分が、色差成分について設定されている検出閾値より大きいか否かの判別を行う。
ステップS45において、算出された検出領域における色差成分の差分が、色差成分について設定されている検出閾値より大きい(YES)と判別された場合、処理は図4のモーションシャッター撮影処理に戻る。
一方、ステップS45において、算出された検出領域における色差成分の差分が、色差成分について設定されている検出閾値以下である(NO)と判定された場合、処理はステップS44に移行して、検出処理を継続する。
ステップS46において、モーション検出部56は、連続する撮像画像における検出領域の輝度成分及び色差成分の差分を算出する。
ステップS47において、モーション検出部56は、算出された検出領域における輝度成分及び色差成分の差分のいずれかが、輝度成分及び色差成分それぞれについて設定されている検出閾値より大きいか否かの判別を行う。
ステップS47において、算出された検出領域における輝度成分及び色差成分の差分のいずれかが、輝度成分及び色差成分それぞれについて設定されている検出閾値より大きい(YES)と判別された場合、処理は図4のモーションシャッター撮影処理に戻る。
一方、ステップS47において、算出された検出領域における輝度成分及び色差成分の差分のいずれも、輝度成分及び色差成分それぞれについて設定されている検出閾値以下である(NO)と判定された場合、処理はステップS46に移行して、検出処理を継続する。
以上のように構成される検出装置1は、平均値算出部52と、検出方法判別部55と、モーション検出部56とを備える。
平均値算出部52は、撮像部16が、フレーム単位で連続して撮像する撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する。
検出方法判別部55は、取得した輝度情報及び色情報に基づき、所定の移動物体を検出するために、輝度情報及び色情報の内のいずれを使用するかを判別する。
モーション検出部56は、判別した結果に基づき、輝度情報及び色情報の内のいずれかを使用して、所定の移動物体を検出する。
これにより、検出装置1においては、撮像画像の輝度成分及び色差成分のいずれを使用するかを判別して移動物体を検出することができる。
したがって、撮像画像等の撮像画像において、より適切に移動物体を検出することが可能となる。
また、検出装置1は、閾値設定部54を更に備える。
閾値設定部54は、連続する複数フレーム間における輝度情報の差分との比較に使用する判別閾値及び、連続する複数フレーム間における色情報の差分との比較に使用する判別閾値を設定する。
検出方法判別部55は、設定された輝度情報の判別閾値及び色情報の判別閾値と、取得される輝度情報の差分及び色情報の差分とから、所定の移動物体を検出するために輝度情報及び色情報の内のいずれを使用するかを判別する。
これにより、輝度情報及び色情報毎に適切な判別閾値を設定して、輝度情報及び色情報の内のいずれを使用するかを判別することができる。
また、平均値算出部52は、輝度情報として、撮像画像の画素毎の輝度成分の値を輝度値として取得するとともに、色情報として、画素毎の色差成分の値から算出される値を色相値として取得する。
閾値設定部54は、連続する複数の撮像画像間における画素毎の輝度値の差分より大きい値を輝度情報の判別閾値として設定し、画素毎の色相値の差分より大きい値を色情報の判別閾値として設定する。
これにより、撮像画像の輝度値及び色差成分から、適切な判別閾値を設定することができる。
また、検出方法判別部55は、閾値設定部54による設定後の連続する複数の撮像画像間における画素毎の輝度値の差分が設定した輝度情報の判別閾値以下の場合は、所定物体の検出に色情報(色相値)を使用する、と判別する。
これにより、例えば、背景がテクスチャのない壁であり、移動物体としてコピー用紙を検出する場合等、輝度情報の差分が表れ難い撮像画像において移動物体の検出を行う場合であっても、移動物体をより適切に検出することが可能となる。
また、検出方法判別部55は、閾値設定部54による設定後の連続する複数の撮像画像間における画素毎の色情報(色相値)の差分が設定した色情報の判別閾値以下の場合は、所定物体の検出に輝度情報(輝度値)を使用する、と判別する。
これにより、背景が肌色に近い壁であり、移動物体として人の手を検出する場合等、色情報の差分が表れ難い撮像画像において移動物体の検出を行う場合であっても、移動物体をより適切に検出することが可能となる。
また、検出方法判別部55は、閾値設定部54による設定後の連続する複数の撮像画像間における画素毎の輝度値の差分が設定した輝度情報の判別閾値以下、かつ閾値設定部54による設定後の連続する複数の撮像画像間における画素毎の色情報(色相値)の差分が設定した色情報の判別閾値以下の場合は、輝度情報及び色情報の両方を使用すると、更に判別する。
モーション検出部56は、判別結果として両方を使用すると判別された場合は、輝度情報及び色情報の内の両方を使用して、所定の移動物体を検出する。
これにより、例えば、輝度情報及び色情報のいずれかに明確に差分が表れにくい撮像画像において移動物体の検出を行う場合であっても、移動物体をより適切に検出することが可能となる。
また、閾値設定部54は、輝度情報の判別閾値より大きい、輝度情報の検出閾値、及び色情報の判別閾値より大きい、輝度情報の検出閾値を設定する。
モーション検出部56は、設定された輝度情報の検出閾値及び色情報の検出閾値のいずれかを使用して所定の移動物体を検出する。
これにより、輝度情報及び色情報それぞれについて、適切な大きさの判別閾値及び検出閾値を設定して、移動物体の検出を行うことができる。
平均値算出部52は、輝度情報として、撮像画像の画素毎の輝度成分の値を輝度値として取得するとともに、色情報として、画素毎の色差成分の値から算出される値を色相値として取得する。
閾値設定部54は、連続する複数の撮像画像間における画素毎の輝度値の差分より大きい値を輝度情報の検出閾値として設定し、画素毎の色相値の差分より大きい値を色情報の検出閾値として設定する。
これにより、撮像画像の輝度値及び色差成分から、適切な検出閾値を設定することができる。
モーション検出部56は、設定された輝度情報の検出閾値と、閾値設定部54による設定後の連続する複数の撮像画像間における取得した画素毎の輝度値の差分との大小関係、及び設定された色情報の検出閾値と、連続する複数の撮像画像間における取得した画素毎の色相値の差分との大小関係のいずれかに基づき、所定の移動物体を検出する。
これにより、輝度情報及び色情報それぞれについて、適切な大きさの検出閾値によって、移動物体の検出を行うことができる。
また、検出装置1は、入力部18を備える。
入力部18は、設定した輝度情報の検出閾値及び色情報の検出閾値を、ユーザ操作により変更する。
これにより、ユーザの要求に応じて、輝度情報の検出閾値及び色情報の検出閾値を変更することが可能となる。
また、平均値算出部52は、撮像画像内の検出領域内で輝度情報及び色情報を取得する。
検出方法判別部55は、撮像画像内の検出領域内で取得された輝度情報及び色情報で判別を行う。
モーション検出部56は、撮像画像内の検出領域内で所定の移動物体の検出を行う。
これにより、撮像画像内に検出領域を設定し、検出領域を対象として、移動物体の検出を行うことが可能となる。
また、検出装置1は、平均値算出部52と、閾値再設定判別部53と、閾値設定部54と、モーション検出部56とを備える。
平均値算出部52は、撮像部16が、フレーム単位で連続して撮像する撮像画像から、輝度に関する輝度情報を取得する。
閾値設定部54は、輝度情報検出閾値を設定する。
モーション検出部56は、設定された輝度情報の検出閾値と、取得される輝度情報を使用して、所定の移動物体を検出する。
閾値再設定判別部53は、所定の条件を満たす場合に、閾値設定部54に輝度情報の検出閾値の再設定を実行させる。
これにより、輝度情報の検出閾値を用いて移動物体の検出を行う場合に、所定の条件に応じて、輝度情報の検出閾値を再設定することができる。
したがって、より適切な輝度情報の検出閾値を用いて、移動物体の検出を行うことが可能となる。
また、平均値算出部52は、フレーム単位で連続して撮像される撮像画像から、撮像条件として色に関する色情報を更に取得する。
閾値設定部54は、色情報の検出閾値を更に設定する。
モーション検出部56は、設定された色情報の検出閾値と、取得される色情報とを使用して、所定の移動物体を更に検出する。
閾値再設定判別部53は、所定の条件を満たす場合に、閾値設定部54に色情報の検出閾値の再設定を更に実行させる。
これにより、色情報の検出閾値を用いて移動物体の検出を行う場合に、所定の条件に応じて、色情報の検出閾値を再設定することができる。
したがって、より適切な色情報の検出閾値を用いて、移動物体の検出を行うことが可能となる。
また、検出装置1は、閾値記憶部71を更に備える。
閾値記憶部71は、閾値設定部54による設定時において取得されている撮像条件を記憶する。
所定の条件は、記憶されている撮像条件と、撮像待機時において取得される撮像条件との差分が所定の範囲を超える場合である。
これにより、撮像条件の変化を検出して、輝度情報の検出閾値の再設定を行うことが可能となる。
また、所定の条件は、撮像待機状態に移行した場合である。
これにより、撮影待機状態となった場合に、輝度情報の検出閾値の再設定を行うことが可能となる。
また、所定の条件は、ユーザ操作による再設定の実行指示が行われた場合である。
これにより、ユーザの要求に応じて、輝度情報の検出閾値の再設定を行うことが可能となる。
また、検出装置1は、撮影制御部51を更に備える。
撮影制御部51は、所定の移動物体が検出された際に、所定の動作を実行する。
これにより、撮像画像において移動物体が検出されることに対応して、検出装置1に所定の動作を実行させることが可能となる。
また、所定の移動物体は、人物の部位である。
所定の動作は、撮像画像を取得して所定の撮影処理を行う撮影動作である。
これにより、撮像画像において、人物の部位が移動物体として検出されることに対応して、検出装置1に所定の撮影処理を行わせることが可能となる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態において、移動物体として想定される物体の輝度情報及び色情報(例えば、人の手を表す肌色の輝度値及び色相値等)を予め設定しておき、この物体の輝度情報及び色情報と撮像画像の検出領域の差分とに基づいて、輝度情報及び色情報の閾値を設定してもよい。例えば、輝度成分及び色差成分それぞれについて、撮像画像と移動物体として想定される物体の輝度値及び色相値との差分よりも大きい所定割合の値に判別閾値(例えば、差分の120%)及び検出閾値(例えば、差分の150%)を設定することができる。
また、上述の実施形態において、色空間変換によって、撮像画像の色差を色相値に変換してもよい。また、変換した色相値を基に、色相値の判別閾値、検出閾値あるいは再設定閾値を設定して、モーション検出を行ってもよい。
また、上述の実施形態において、入力部18を介して、ユーザが輝度情報及び色情報それぞれの判別閾値及び検出閾値を変更することとしてもよい。
また、上述の実施形態において、入力部18を介して、ユーザが輝度情報及び色情報それぞれの検出閾値及び判別閾値を閾値設定部54に再設定させてもよい。
また、上述の実施形態において、撮影待機状態となり、連続する撮像画像の入力が開始される毎に、輝度情報及び色情報それぞれの検出閾値及び判別閾値を閾値設定部54に再設定させてもよい。
また、上述の実施形態では、検出領域を撮像画像内の一部の領域に設定する場合を例に挙げて説明したが、検出領域を撮像画像の全体に設定することとしてもよい。
また、検出領域を撮像画像の一部の領域に設定する場合、検出領域を撮像画像内における複数箇所に設定することとしてもよい。
また、上述の実施形態では、モーションシャッター機能に本発明を適用する場合を例に挙げて説明したが、これに限られない。即ち、モーション検出の結果、撮影画像を再生する状態に遷移するようにしてもよい。また、撮像画像内の乗り物や動物等の移動物体を検出する場合に本発明を適用することができる。さらに、モーション検出の結果、シャッターを押下する場合に限られず、各種の所定の動作(例えば、所定のアプリケーションの起動、照明の点灯や門の開閉等)を行うこととしてもよい。
また、上述の実施形態では、本発明が適用される検出装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、モーションシャッター機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が検出装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部20に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像画像から所定の移動物体を検出する検出装置であって、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得手段と、
取得した前記輝度情報及び前記色情報に基づき、前記所定の移動物体を検出するために、前記輝度情報及び前記色情報の内のいずれを使用するかを判別する判別手段と、
判別した結果に基づき、前記輝度情報及び前記色情報の内のいずれかを使用して、前記所定の移動物体を検出する検出手段と、
を備えることを特徴とする検出装置。
[付記2]
連続する複数フレーム間における前記輝度情報の差分との比較に使用する判別輝度閾値及び、連続する複数フレーム間における前記色情報の差分との比較に使用する判別色閾値を設定する判別閾値設定手段を更に備え、
前記判別手段は、設定された前記判別輝度閾値及び前記判別色閾値と、取得される前記輝度情報の差分及び前記色情報の差分とから、前記所定の移動物体を検出するために前記輝度情報及び前記色情報の内のいずれを使用するかを判別することを特徴とする付記1に記載の検出装置。
[付記3]
前記取得手段は、前記輝度情報として、前記撮像画像の画素毎の輝度成分の値を輝度値として取得するとともに、前記色情報として、前記画素毎の色差成分の値から算出される値を色相値として取得し、
前記判別閾値設定手段は、連続する複数フレーム間における前記画素毎の前記輝度値の差分より大きい値を前記判別輝度閾値として設定し、前記画素毎の前記色相値の差分より大きい値を前記判別色閾値として設定することを特徴とする付記2に記載の検出装置。
[付記4]
前記判別手段は、前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の前記輝度値の差分が設定した前記判別輝度閾値以下の場合は、前記色相値を使用する、と判別することを特徴とする付記3に記載の検出装置。
[付記5]
前記判別手段は、前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の色相値の差分が前記判別色閾値以下の場合は、前記輝度値を使用する、と判別することを特徴とする付記3に記載の検出装置。
[付記6]
前記判別手段は、前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の前記輝度値の差分が設定した前記判別輝度閾値以下、かつ前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の色相値の差分が前記判別色閾値以下の場合は、前記輝度情報及び色情報の両方を使用すると、更に判別し、
前記検出手段は、判別結果として両方を使用すると判別された場合は、前記輝度情報及び前記色情報の内の両方を使用して、前記所定の移動物体を検出することを特徴とする付記4または5に記載の検出装置。
[付記7]
前記輝度情報に係る、前記判別輝度閾値より大きい検出輝度閾値、及び前記色情報に係る前記判別色閾値より大きい検出色閾値を設定する検出閾値設定手段を更に備え、
前記検出手段は、設定された前記検出輝度閾値及び前記検出色閾値のいずれかを使用して前記所定の移動物体を検出する付記2に記載の検出装置。
[付記8]
前記取得手段は、前記輝度情報として、前記撮像画像の画素毎の輝度成分の値を輝度値として取得するとともに、前記色情報として、前記画素毎の色差成分の値から算出される値を色相値として取得し、
前記検出閾値設定手段は、連続する複数フレーム間における前記画素毎の前記輝度値の差分より大きい値を前記検出輝度閾値として設定し、前記画素毎の前記色相値の差分より大きい値を前記検出色閾値として設定することを特徴とする付記7に記載の検出装置。
[付記9]
前記検出手段は、設定された前記検出輝度閾値と、前記検出閾値設定手段による設定後の連続する複数フレーム間における取得した前記画素毎の輝度値の差分との大小関係、及び設定された前記検出色閾値と、連続する複数フレーム間における取得した画素毎の色相値の差分との大小関係のいずれかに基づき、前記所定の移動物体を検出することを特徴とする付記8に記載の検出装置。
[付記10]
設定した前記検出輝度閾値及び前記検出色閾値を、ユーザ操作により変更する変更手段を更に備えることを特徴とする付記7に記載の検出装置。
[付記11]
前記取得手段は、前記撮像画像内の所定の範囲で前記輝度情報及び前記色情報を取得し、
前記判別手段は、前記撮像画像内の所定の範囲で取得された前記輝度情報及び前記色情報で判別し、
前記検出手段は、前記撮像画像内の所定の範囲で前記所定の移動物体の検出を行うことを特徴とする付記1に記載の検出装置。
[付記12]
撮像画像から所定の移動物体を検出する検出装置であって、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、撮像条件として輝度に関する輝度情報を取得する取得手段と、
前記輝度情報に係る検出輝度閾値を設定する検出閾値設定手段と、
設定された前記検出輝度閾値と、取得される前記輝度情報を使用して、前記所定の移動物体を検出する検出手段と、
所定の条件を満たす場合に、前記検出閾値設定手段に前記検出輝度閾値の再設定を実行させる再設定制御手段と、
を備えることを特徴とする検出装置。
[付記13]
前記取得手段は、フレーム単位で連続して撮像される前記撮像画像から、前記撮像条件として色に関する色情報を更に取得し、
前記検出閾値設定手段は、前記色情報に係る検出色閾値を更に設定し、
前記検出手段は、設定された前記検出色閾値と、取得される前記色情報とを使用して、前記所定の移動物体を更に検出し、
前記再設定制御手段は、前記所定の条件を満たす場合に、前記検出閾値設定手段に前記検出色閾値の再設定を更に実行させることを特徴とする付記12に記載の検出装置。
[付記14]
前記検出閾値設定手段による設定時において取得されている前記撮像条件を記憶する記憶手段を更に備え、
前記所定の条件は、記憶されている前記撮像条件と、撮像待機時において取得される前記撮像条件との差分が所定の範囲を超える場合であることを特徴とする付記12に記載の検出装置。
[付記15]
前記所定の条件は、撮像待機状態に移行した場合であることを特徴とする付記12に記載の検出装置。
[付記16]
前記所定の条件は、ユーザ操作による前記再設定の実行指示が行われた場合であることを特徴とする付記12に記載の検出装置。
[付記17]
前記所定の移動物体が検出された際に、所定の動作を実行する動作手段を更に備えることを特徴とする付記1または12に記載の検出装置。
[付記18]
前記所定の移動物体は、人物の部位であり、
前記所定の動作は、前記撮像画像を取得して所定の撮影処理を行う撮影動作であることを特徴とする付記17に記載の検出装置。
[付記19]
撮像画像から所定の移動物体を検出する検出装置で実行される検出方法であって、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得ステップと、
取得した前記輝度情報及び前記色情報に基づき、前記所定の移動物体を検出するために、前記輝度情報及び前記色情報の内のいずれを使用するかを判別する判別ステップと、
判別した結果に基づき、前記輝度情報及び前記色情報の内のいずれかを使用して、前記所定の移動物体を検出する検出ステップと、
を含むことを特徴とする検出方法。
[付記20]
撮像画像から所定の移動物体を検出する検出装置を制御するコンピュータに、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得機能段と、
取得した前記輝度情報及び前記色情報に基づき、前記所定の移動物体を検出するために、前記輝度情報及び前記色情報の内のいずれを使用するかを判別する判別機能と、
判別した結果に基づき、前記輝度情報及び前記色情報の内のいずれかを使用して、前記所定の移動物体を検出する検出機能と、
を実現させることを特徴とするプログラム。
[付記21]
撮像画像から所定の移動物体を検出する検出装置で実行される検出方法であって、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、撮像条件として輝度に関する輝度情報を取得する取得ステップと、
前記輝度情報に係る検出輝度閾値を設定する検出閾値設定ステップと、
設定された前記検出輝度閾値と、取得される前記輝度情報を使用して、前記所定の移動物体を検出する検出ステップと、
所定の条件を満たす場合に、前記検出輝度閾値の再設定を実行する再設定制御ステップと、
を含むことを特徴とする検出方法。
[付記22]
撮像画像から所定の移動物体を検出する検出装置を制御するコンピュータに、
撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、撮像条件として輝度に関する輝度情報を取得する取得機能と、
前記輝度情報に係る検出輝度閾値を設定する検出閾値設定機能と、
設定された前記検出輝度閾値と、取得される前記輝度情報を使用して、前記所定の移動物体を検出する検出機能と、
所定の条件を満たす場合に、前記検出閾値設定機能に前記検出輝度閾値の再設定を実行させる再設定制御機能と、
を実現させることを特徴とするプログラム。
1・・・検出装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・センサ部,18・・・入力部,19・・・出力部,20・・・記憶部,21・・・通信部,22・・・ドライブ,31・・・リムーバブルメディア,51・・・撮影制御部,52・・・平均値算出部,53・・・閾値再設定判別部,54・・・閾値設定部,55・・・検出方法判別部,56・・・モーション検出部,71・・・閾値記憶部,72・・・画像記憶部

Claims (10)

  1. 撮像画像から所定の物体の移動を検出する検出装置であって、
    撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得手段と、
    取得した前記輝度情報及び前記色情報に基づき、前記所定の物体の移動を検出するために、前記輝度情報及び前記色情報の内の一方または両方のいずれを使用するかを判別する判別手段と、
    判別した結果に基づき、前記輝度情報及び前記色情報の内の一方または両方のいずれかを使用して、前記所定の物体の移動を検出する検出手段と、
    連続する複数フレーム間における前記輝度情報の差分との比較に使用する判別輝度閾値及び、連続する複数フレーム間における前記色情報の差分との比較に使用する判別色閾値を設定する判別閾値設定手段と、
    を備え
    前記判別手段は、設定された前記判別輝度閾値及び前記判別色閾値と、取得される前記輝度情報の差分及び前記色情報の差分に基づいて、前記所定の物体の移動を検出するために前記輝度情報及び前記色情報の内のいずれを使用するかを判別することを特徴とする検出装置。
  2. 前記取得手段は、前記輝度情報として、前記撮像画像の画素毎の輝度成分の値である輝度値を取得するとともに、前記色情報として、前記画素毎の色差成分の値から算出される値である色相値を取得し、
    前記判別閾値設定手段は、連続する複数フレーム間における前記画素毎の前記輝度値の差分より大きい値を前記判別輝度閾値として設定し、連続する複数フレーム間における前記画素毎の前記色相値の差分より大きい値を前記判別色閾値として設定し、
    前記判別手段は、前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の前記輝度値の差分が設定された前記判別輝度閾値以下の場合は、前記色相値を使用する、と判別することを特徴とする請求項に記載の検出装置。
  3. 前記取得手段は、前記輝度情報として、前記撮像画像の画素毎の輝度成分の値である輝度値を取得するとともに、前記色情報として、前記画素毎の色差成分の値から算出される値である色相値を取得し、
    前記判別閾値設定手段は、連続する複数フレーム間における前記画素毎の前記輝度値の差分より大きい値を前記判別輝度閾値として設定し、連続する複数フレーム間における前記画素毎の前記色相値の差分より大きい値を前記判別色閾値として設定し、
    前記判別手段は、前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の色相値の差分が設定された前記判別色閾値以下の場合は、前記輝度値を使用する、と判別することを特徴とする請求項に記載の検出装置。
  4. 前記判別手段は、前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の前記輝度値の差分が設定された前記判別輝度閾値以下、かつ前記判別閾値設定手段による設定後の連続する複数フレーム間における前記画素毎の色相値の差分が設定された前記判別色閾値以下の場合は、前記輝度情報及び色情報の両方を使用すると、更に判別し、
    前記検出手段は、判別結果として両方を使用すると判別された場合は、前記輝度情報及び前記色情報の内の両方を使用して、前記所定の物体の移動を検出することを特徴とする請求項またはに記載の検出装置。
  5. 前記取得手段は、前記輝度情報として、前記撮像画像の画素毎の輝度成分の値である輝度値を取得するとともに、前記色情報として、前記画素毎の色差成分の値から算出される値である色相値を取得し、
    連続する複数フレーム間における前記画素毎の前記輝度値の差分より所定割合大きい値であって、前記判別輝度閾値より大きい値を検出輝度閾値として設定し、連続する複数フレーム間における前記画素毎の前記色相値の差分より所定割合大きい値をであって、前記判別色閾値より大きい値を検出色閾値として設定する検出閾値設定手段を更に備え、
    前記検出手段は、設定された前記検出輝度閾値及び前記検出色閾値の内の一方または両方を使用して前記所定の物体の移動を検出する請求項1〜4の何れか一項に記載の検出装置。
  6. 前記検出手段は、設定された前記検出輝度閾値と、前記検出閾値設定手段による設定後の連続する複数フレーム間における取得した前記画素毎の輝度値の差分との大小関係、及び設定された前記検出色閾値と、前記検出閾値設定手段による設定後の連続する複数フレーム間における取得した画素毎の色相値の差分との大小関係のいずれかに基づき、前記所定の物体の移動を検出することを特徴とする請求項に記載の検出装置。
  7. 前記所定の物体の移動が検出された際に、所定の動作を実行する動作手段を更に備えることを特徴とする請求項1〜6の何れか一項に記載の検出装置。
  8. 前記所定の物体の移動は、人物の部位であり、
    前記所定の動作は、前記撮像画像を取得して所定の撮影処理を行う撮影動作であることを特徴とする請求項に記載の検出装置。
  9. 撮像画像から所定の物体の移動を検出する検出装置で実行される検出方法であって、
    撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得処理と、
    取得した前記輝度情報及び前記色情報に基づき、前記所定の物体の移動を検出するために、前記輝度情報及び前記色情報の内の一方または両方のいずれを使用するかを判別する判別処理と、
    判別した結果に基づき、前記輝度情報及び前記色情報の内の一方または両方のいずれかを使用して、前記所定の物体の移動を検出する検出処理と、
    連続する複数フレーム間における前記輝度情報の差分との比較に使用する判別輝度閾値及び、連続する複数フレーム間における前記色情報の差分との比較に使用する判別色閾値を設定する判別閾値設定処理と、
    を含み、
    前記判別処理で、設定された前記判別輝度閾値及び前記判別色閾値と、取得される前記輝度情報の差分及び前記色情報の差分に基づいて、前記所定の物体の移動を検出するために前記輝度情報及び前記色情報の内のいずれを使用するかを判別することを特徴とする検出方法。
  10. 撮像画像から所定の物体の移動を検出する検出装置を制御するコンピュータに、
    撮像手段が、フレーム単位で連続して撮像する前記撮像画像から、輝度に関する輝度情報及び色に関する色情報を取得する取得機能段と、
    取得した前記輝度情報及び前記色情報に基づき、前記所定の物体の移動を検出するために、前記輝度情報及び前記色情報の内の一方または両方のいずれを使用するかを判別する判別機能と、
    判別した結果に基づき、前記輝度情報及び前記色情報の内の一方または両方のいずれかを使用して、前記所定の物体の移動を検出する検出機能と、
    連続する複数フレーム間における前記輝度情報の差分との比較に使用する判別輝度閾値及び、連続する複数フレーム間における前記色情報の差分との比較に使用する判別色閾値を設定する判別閾値設定機能と、
    を実現させ
    前記判別機能で、設定された前記判別輝度閾値及び前記判別色閾値と、取得される前記輝度情報の差分及び前記色情報の差分に基づいて、前記所定の物体の移動を検出するために前記輝度情報及び前記色情報の内のいずれを使用するかを判別することを特徴とするプログラム。
JP2014105383A 2014-05-21 2014-05-21 検出装置、検出方法及びプログラム Active JP5804138B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014105383A JP5804138B1 (ja) 2014-05-21 2014-05-21 検出装置、検出方法及びプログラム
CN201510119306.3A CN105100586B (zh) 2014-05-21 2015-03-18 检测装置、检测方法以及记录介质
US14/663,407 US9280707B2 (en) 2014-05-21 2015-03-19 Detection apparatus for detecting movement of object, detection method and storage medium
US14/886,807 US20160042231A1 (en) 2014-05-21 2015-10-19 Detection apparatus for detecting movement of object, detection method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014105383A JP5804138B1 (ja) 2014-05-21 2014-05-21 検出装置、検出方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015162542A Division JP2015222600A (ja) 2015-08-20 2015-08-20 検出装置、検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP5804138B1 true JP5804138B1 (ja) 2015-11-04
JP2015220725A JP2015220725A (ja) 2015-12-07

Family

ID=54544746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014105383A Active JP5804138B1 (ja) 2014-05-21 2014-05-21 検出装置、検出方法及びプログラム

Country Status (3)

Country Link
US (2) US9280707B2 (ja)
JP (1) JP5804138B1 (ja)
CN (1) CN105100586B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743020B2 (en) 2010-03-23 2017-08-22 California Institute Of Technology Super resolution optofluidic microscopes for 2D and 3D imaging
US9643184B2 (en) 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
US9857453B1 (en) * 2014-06-30 2018-01-02 Lockheed Martin Corporation High-frequency indicator phase system and method
JP6575083B2 (ja) * 2015-03-18 2019-09-18 株式会社リコー 画像形成装置
JP6946352B2 (ja) * 2017-01-20 2021-10-06 株式会社小糸製作所 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法
CN110958398B (zh) * 2018-09-27 2021-08-31 浙江宇视科技有限公司 运动点光源抑制方法及装置
CN109151348B (zh) * 2018-09-28 2021-01-08 维沃移动通信有限公司 一种图像处理方法、电子设备及计算机可读存储介质
WO2020121373A1 (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 画像記録装置
JP7070530B2 (ja) * 2019-11-01 2022-05-18 カシオ計算機株式会社 情報取得装置、情報取得方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0440193A (ja) * 1990-06-06 1992-02-10 Oki Electric Ind Co Ltd Tv方式変換装置の動きベクトル検出方式
JPH057372A (ja) * 1991-06-25 1993-01-14 Canon Inc 動ベクトル検出装置
JPH057371A (ja) * 1991-06-25 1993-01-14 Canon Inc 動ベクトル検出装置
JPH11215519A (ja) * 1998-01-21 1999-08-06 Mitsubishi Electric Corp 動きベクトル検出装置および動きベクトル検出方法
JP2005322991A (ja) * 2004-05-06 2005-11-17 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置及び動きベクトル検出プログラム
JP2007102556A (ja) * 2005-10-05 2007-04-19 Mitsubishi Electric Corp 監視端末装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191829A (ja) 1992-01-10 1993-07-30 Kenwood Corp 動き検出回路
JP3809661B2 (ja) * 1995-12-28 2006-08-16 ソニー株式会社 動き検出装置および動き検出方法
JP4311457B2 (ja) * 2007-02-15 2009-08-12 ソニー株式会社 動き検出装置、動き検出方法、撮像装置および監視システム
CN100531374C (zh) * 2007-07-12 2009-08-19 上海交通大学 结合色度偏差和亮度偏差的视频运动目标检测方法
CN102457724B (zh) * 2010-10-22 2014-03-12 Tcl集团股份有限公司 一种图像运动检测系统及方法
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
TWI419082B (zh) * 2010-12-20 2013-12-11 Ind Tech Res Inst 偵測視訊序列中的移動物體影像的方法以及影像處理系統
CN103440628B (zh) * 2013-08-27 2016-05-11 宁波海视智能系统有限公司 一种去除视频运动目标阴影干扰的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0440193A (ja) * 1990-06-06 1992-02-10 Oki Electric Ind Co Ltd Tv方式変換装置の動きベクトル検出方式
JPH057372A (ja) * 1991-06-25 1993-01-14 Canon Inc 動ベクトル検出装置
JPH057371A (ja) * 1991-06-25 1993-01-14 Canon Inc 動ベクトル検出装置
JPH11215519A (ja) * 1998-01-21 1999-08-06 Mitsubishi Electric Corp 動きベクトル検出装置および動きベクトル検出方法
JP2005322991A (ja) * 2004-05-06 2005-11-17 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置及び動きベクトル検出プログラム
JP2007102556A (ja) * 2005-10-05 2007-04-19 Mitsubishi Electric Corp 監視端末装置

Also Published As

Publication number Publication date
US20160042231A1 (en) 2016-02-11
JP2015220725A (ja) 2015-12-07
US9280707B2 (en) 2016-03-08
US20150339529A1 (en) 2015-11-26
CN105100586A (zh) 2015-11-25
CN105100586B (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
JP5804138B1 (ja) 検出装置、検出方法及びプログラム
JP5631106B2 (ja) 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
JP6267502B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
JP5939705B2 (ja) 被写体判定装置、被写体判定方法及びプログラム
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP6149854B2 (ja) 撮像装置、撮像制御方法及びプログラム
WO2017080348A2 (zh) 一种基于场景的拍照装置、方法、计算机存储介质
KR20120025341A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP5956844B2 (ja) 画像処理装置およびその制御方法
JP2019008408A (ja) 検出装置、画像処理装置、検出方法、及び画像処理方法
JP2014225763A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5615012B2 (ja) 白バランス安定調整装置およびその制御方法,白バランス安定調整のためのプログラム
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2018107741A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015222600A (ja) 検出装置、検出方法及びプログラム
JP5928024B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2013198013A (ja) 撮像装置、撮像制御方法及びプログラム
JP5631181B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP6467827B2 (ja) 撮像装置、画像処理装置、表示制御装置、画像補正方法及びプログラム
JP2013077228A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5804138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150