JP5550305B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5550305B2
JP5550305B2 JP2009243607A JP2009243607A JP5550305B2 JP 5550305 B2 JP5550305 B2 JP 5550305B2 JP 2009243607 A JP2009243607 A JP 2009243607A JP 2009243607 A JP2009243607 A JP 2009243607A JP 5550305 B2 JP5550305 B2 JP 5550305B2
Authority
JP
Japan
Prior art keywords
classification information
image
conditions
information
given
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009243607A
Other languages
English (en)
Other versions
JP2011091635A5 (ja
JP2011091635A (ja
Inventor
美穂 名古屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009243607A priority Critical patent/JP5550305B2/ja
Priority to US12/884,928 priority patent/US8432474B2/en
Publication of JP2011091635A publication Critical patent/JP2011091635A/ja
Publication of JP2011091635A5 publication Critical patent/JP2011091635A5/ja
Application granted granted Critical
Publication of JP5550305B2 publication Critical patent/JP5550305B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、撮影時に画像データに自動的に分類情報を付与して、ユーザーが画像データの後処理をより効率的に行うことができるように画像データの処理を行う撮像装置に関する。
近年、デジタルカメラが急速に普及し、撮影に慣れていない初心者ユーザーも高機能なデジタルカメラを利用するようになっている。さらに、記録媒体の進歩により大量の画像を記録できるようになっており、大量の画像に対する効率的な分類方法が提案されている。
従来技術では、撮影時に撮影設定や画像の解析結果によって、画像を自動的に分類情報に分類し、その分類情報を画像のヘッダに付与して画像の管理をしやすくさせる撮像装置がある。(特許文献1参照)例えば、「自動分類情報」設定をオンにしておくと、顔認識で撮影された画像や、ポートレートやナイトスナップ撮影画像などの時は「人物」という分類情報に、自動分類される。これにより、分類された分類情報ごとに、再生、削除、印刷指定を可能としている。
また、分類情報と共に日付などの画像の基本属性も表示させて、ユーザーに撮影シーンを想定しやすくする技術がある。(特許文献2参照)
特開2008−072497 特開2003−199028
しかしながら、従来の分類情報自動付与のユーザーインタフェースでは、自動付与された分類情報がどの判定に基づいているのか、あるいは、どの条件により分類情報が付与されるのかが、ユーザーにとって認識しづらいため、使い難いものとなっていた。
本発明は、上記問題点に鑑みて、撮影時に自動的に分類情報を画像に付与する撮像装置を提供することを目的とする。具体的には、分類情報とその付与条件を、画像の再生時に、画像とともに明示的に表示することにより、ユーザーに分類情報の自動付与機能を適切に理解させることを目的とする。
上記課題を解決するため、本件発明の撮像装置は、画像を撮像する撮像手段と、撮像手段で画像を撮像した際の撮影設定と該撮像した画像の被写体情報との少なくともいずれかが、複数の分類情報付与条件のいずれかに合致した場合に、合致した分類情報付与条件に応じた分類情報を該撮像した画像に付与し、画像と合致した分類情報付与条件を示す情報である判断情報とを記録媒体に記録するように制御する記録制御手段と、記録媒体に記録された画像と、画像に付与されている分類情報と、分類情報が記録制御手段によって付与される条件となる複数の分類情報付与条件とを表示手段に表示し、表示された前記複数の分類情報付与条件のうち、画像に付与されている分類情報が記録制御手段によって付与される際に合致した分類情報付与条件と、該画像に付与されている分類情報が記録制御手段によって付与される際に合致しなかった分類情報付与条件と、判断情報に基づいて区別可能に表示するように制御する表示制御手段とを有する。
また、本件発明の表示制御装置は、撮像装置で撮像された際に、撮像装置の撮影設定と画像の被写体情報とに基づいて分類情報が付与され、分類情報が撮像装置によって付与された際に合致した分類情報付与条件を示す判断情報とともに記録された画像を表示手段に表示するように制御するための表示制御装置であり、画像と、画像に付与されている分類情報と、分類情報が撮像装置によって付与される条件となる複数の分類情報付与条件と、分類情報が撮像装置によって付与された際に合致した分類情報付与条件を示す判断情報とを読み出す読み出し手段と、読み出し手段で読み出した画像と、画像に付与されている分類情報と、分類情報が前記撮像装置によって付与される条件となる複数の分類情報付与条件とを表示手段に表示し、表示された複数の分類情報付与条件のうち、読み出し手段で読み出した判断情報が示す分類情報付与条件と、該読み出し手段で読み出した判断情報が示さない分類情報付与条件と判断情報に基づいて区別可能に表示するように制御する表示制御手段とを有する。
上記本件発明の撮像装置または表示制御装置によれば、次のような技術的効果を達成することができる。画像と該画像に付与された分類情報を、その分類情報が付与される複数の条件と、その分類情報が付与された理由となった条件とを識別可能に表示することができるので、ユーザーは、自動的な分類情報の付与機能について適切に理解することが可能となる。
本件発明に係わる撮像装置の構成を示すブロック図。 本件発明に係わる撮像装置において、撮影時に行われる分類情報の付与のための処理のフローチャートを示す図。 本件発明の分類情報の付与のための処理で行われる分類情報の自動付与処理のフローチャートを示す図。 本件発明により分類情報が付与された画像を再生表示するための処理のフローチャートを示す図。 本件発明の分類情報が付与された画像の再生表示処理における画像表示画面の例を示す図。 本件発明の画像表示画面において、分類情報が選択されたときの表示画面の例を示す図。 本件発明の画像表示画面において、分類情報が選択されたときの表示画面の他の例を示す図。 本件発明における分類情報付与の条件を編集するための処理のフローチャートを示す図。 本件発明の分類情報付与条件の編集処理を選択するためのユーザーインターフェイスの例を示す図。 本件発明の分類情報付与条件の編集をするためのユーザーインターフェイスの例を示す図。 本件発明の分類情報付与条件の編集をするためのユーザーインターフェイスの例を示す図。 本件発明の分類情報付与条件の編集処理を選択するためのユーザーインターフェイスの他の例を示す図。
[実施例1]
図1は、本実施の形態における撮像装置100(例えばデジタルカメラ)の主要な構成を示す図である。
図1において、撮像部110はイメージセンサーを用いて被写体を撮像し、画像データを生成するユニットである。撮像制御部111は、システム制御部120からの指示によって撮像部110の動作を制御するユニットである。撮像制御部111は、撮像部110で生成された画像データの情報をメモリ140に渡す。
画像処理部112はメモリ140が保持する画像データを用いて所定の演算処理を行い、撮像部110から提供される撮影情報により画像を調整し、調整後の画像データを所定の画像圧縮方式に従って圧縮するユニットである。
システム制御部120は撮像装置100の全体を制御するユニットであり、メモリ121はシステム制御部120の動作用の定数、変数、プログラム等を記憶するメモリである。また、システム制御部は画像処理部112が行った演算の結果と、メモリ140が保持する撮像装置の撮影設定より画像を分類し、分類情報とその分類判断条件を画像のヘッダに書き込む分類処理も行う。
130、131、132、及び133は、システム制御部120の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。130はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定することが出来る。131はシャッタースイッチで、スイッチステップSW1とSW2とを有する。スイッチステップSW1は、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始を指示するスイッチステップである。スイッチステップSW2は、撮像部110が生成した画像データをメモリ140に書き込む露光処理、画像処理部112での演算を用いた現像処理、メモリ140から画像データを読み出し、リムーバブルメモリ161に画像データを書き込むという一連の処理の動作開始を指示するスイッチステップである。132は画像表示ON/OFFスイッチで、表示部150のON/OFFを設定することが出来る。操作部133は各種ボタンやタッチパネル等からなるユニットである。操作部133に含まれるボタンには、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンが含まれる。また、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタンも含まれる。さらには、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、署名埋め込み設定ボタン、改ざん検知設定ボタンも含まれる。
メモリ140は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ140はシステム制御部120の作業領域としても使用することが可能である。
150はTFT LCD等から成り、メモリ140に書き込まれた表示用の画像データを表示するユニットである。さらに、表示部150を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。
表示部150は撮像装置の各種設定の表示を行い、操作部133により各種設定を変更することが可能である。また、表示部150は、システム制御部120の指示により任意に表示をON/OFFすることが可能である。
160はシステム制御部120が指定した画像ファイルをリムーバブルメモリ161に書き込む、あるいはシステム制御部120が指定した画像ファイルをリムーバブルメモリ161から読み出すユニットである。リムーバブルメモリ161はメモリカードやハードディスク等の記録媒体である。
上述した撮像装置100では中央1点AFや顔AFを用いた撮影が可能である。中央1点AFとは、撮影画面内の中央位置1点に対してAFを行うことである。顔AFとは、顔検出機能によって検出された撮影画面内の顔に対してAFを行うことである。
顔検出機能について説明する。システム制御部120は顔検出対象の画像データを画像処理部112に送る。システム制御部120の制御の下で画像処理部112は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部120の制御の下で画像処理部112は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部120は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部120は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部120は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部120は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ140に記憶する。
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔FEとは検出された顔を中心にフラッシュの調光をすることである。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化することである。
図2(a)および(b)は本実施の形態における、撮影時に分類情報を画像のヘッダに付与する処理のフローチャートである。このフローチャートは、システム制御部120がメモリ121に記録されたプログラムをメモリ140に展開して実行することで実現される。撮影を開始する(ステップS201)と、システム制御部120は、ステップS202において、分類情報の自動付与の設定値「ON/OFF」をメモリ140から取得し、撮影画像に分類情報を自動付与するか否かを判定する。分類情報の自動付与の設定が「OFF」で、自動付与を行わない場合は、ステップS204に進む。
ステップS202の判定において、分類情報の自動付与の設定が「ON」となっていて、分類情報の自動付与を行うと判定された場合は、分類情報自動付与処理(ステップS203)に進む。図2(b)に示す分類情報自動付与処理において、システム制御部120は、ステップS211の顔検出処理でメモリ140に保持されている顔情報を読み出し、今回の撮影画像に関して顔が検出されたかを判断する。顔が検出されたと判断された場合は、ステップS212に進み、「人物」という分類情報を生成する。ステップS213で「人物」の分類情報を撮影された画像の画像ファイルのヘッダに書き込む。さらに、この分類情報を付与する判断に使われた顔検出という分類情報付与条件も分類情報の判断情報として、同様にヘッダに書き込む(ステップS214)。ここで、判断情報とは、画像に付与された分類情報が、どの分類情報付与条件(撮影時に分類情報が付与される条件)に該当したために付与されたのかを示す情報であり、言い換えれば、分類情報がどのような判断に基づいて付与されたのかを示す情報である。
次に、ステップS215において、システム制御部120は、現在の撮影モードが「ポートレートモード」あるいは「キッズ&ペットモード」のいずれかであるか否かを判定する。この判定は、撮像装置に設定されている撮影モードを参照(メモリ140に記憶されている現在の撮影モードを参照)して行う。なお、撮影モードにはオートモード(自動設定モード)、マニュアモード、シーンモードが含まれるものとする。オートモードは、撮像に係る各種パラメータを、計測された露出値に基づいて撮像装置100に組み込まれたプログラムにより、システム制御部120が自動的に決定するモードである。マニュアルモードは、カメラの各種パラメータをユーザーが自由に変更可能なモードである。シーンモードは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定されるモードである。シーンモードには以下のようなモードが含まれる。すなわち、ポートレートモード、夜景モード、風景モード、ナイト&スナップモード、キッズ&ペットモード、新緑&紅葉モード、パーティーモード、スノーモード、ビーチモード、花火モード、水族館モード、水中モード等である。ステップS215で「ポートレートモード」あるいは「キッズ&ペットモード」の場合は、ステップS217に進み、「人物」という分類情報を生成する。ステップS218で「人物」を分類情報としてファイルのヘッダに書き込む。さらに、この分類情報を付与するための判定に使われた判断情報も、同様にヘッダに書き込む(ステップS219)。ここでヘッダに記録される判断情報は、「人物」という分類情報が付与された理由が、「ポートレートモード」で撮影されたため、あるいは「キッズ&ペットモード」で撮影されたためのどちらであったのかを特定する情報である。
ステップS215において、撮影モードが「ポートレートモード」と「キッズ&ペットモード」のいずれでもない場合は、ステップS216に進む。同様に、ステップS216では撮影モードを参照して、「パーティーモード」、「水中モード」、「花火モード」のいずれかが設定されている場合は、ステップS220に進む。ステップS220では、「イベント」という分類情報をタグ情報として生成し、ステップS221とS222において分類と判断情報をヘッダに書き込む。ここでヘッダに記録される判断情報は、「イベント」という分類情報が付与された理由が、「パーティーモード」、「水中モード」、「花火モード」のいずれのシーンモードで撮影されたためなのかを特定する情報である。ヘッダに分類と判断情報の書き込みが完了したら、画像を画像ファイルに書き込み、撮影処理を終了する。
なお、上記では分類情報が自動付与される撮影時のカメラの撮影設定としていくつかのシーンモードを例にあげたが、撮影時のカメラの撮影設定であればこれに限定されるものではない。また被写体情報も顔検知を例としてあげたがこれに限定されるものではない。さらに、自動付与する分類情報も例示した「人物」「イベント」に限られるものではなく、ユーザーが撮影後に便利に利用できる他の情報にしてもよい。
上述したように、本件発明の撮像装置は、撮像手段で画像を撮像した際の撮影設定と撮像した画像の被写体情報との少なくともいずれかが、複数の分類情報付与条件のいずれかに合致するかを判定している。そして、合致した分類情報付与条件に応じた分類情報を撮像した画像に付与して記録媒体に記録している。本件発明の撮像装置は、この判定および記録の制御を行う記録制御手段を有すよう構成されている。そのため、撮影画像をユーザーにとってより有益な情報とともに自動的に記録することができ、後の画像処理の機能をより有益なものにすることが可能となる。
図3は撮影されてリムーバルメモリ161に記録されている画像を表示部150に再生表示する場合の処理を表すフローチャートである。このフローチャートは、システム制御部120がメモリ121に記録されたプログラムをメモリ140に展開して実行することで実現される。撮像装置100において、画像の再生表示が開始されると、システム制御部120はステップS301にて、再生する画像ファイルのヘッダ情報を読み出す。S302では、読み出したヘッダ情報に分類情報が書かれているかを判定する。分類情報が記述されていなければ、画像のみを表示部150に表示する(ステップS310)。分類情報がある場合は、ステップS303にて、分類情報が「人物」かどうか判定し、分類情報が「人物」であった場合は、「人物」の分類情報付与条件の全てを撮像装置100のメモリ121より読み出す(ステップS304)。さらにステップS305にて、分類情報が「イベント」かどうか判定し、分類情報が「イベント」であった場合は、「イベント」の分類情報付与条件の全てを撮像装置100のメモリ121より読み出す(ステップS306)。
次に、図4(a)に示すように、画像を、読み出された分類情報をあらわす表示アイテムとともに表示部150に表示する(ステップS307)。図4(a)は「人物」と「イベント」の分類情報が付与されている画像401を表示した例であり、画像401と同時に「人物」の分類情報を表す表示アイテム402と「イベント」の分類情報を表す表示アイテム403が表示されている。
次いで操作部133からの表示された分類情報の選択入力を待ち、選択入力があれば選択を受け付ける(ステップS308)。選択入力は、画像401に付与された分類情報を表す表示アイテム402と403のいずれかを選択する操作部133の操作により行われる。選択入力があれば、ステップS304、S306で読み出していた分類情報付与条件のうち、選択された分類情報が付与される条件である分類情報付与条件の全を分類情報付与条件リストとして表示する(ステップS309)。このとき、再生画像とともに記録された判断情報に該当する分類情報付与条件を強調して表示する。
本件発明の分類情報付与条件リストの表示例を図4(b)および4(c)に示す。図4(b)は、「人物」の分類情報を表す表示アイテム402が操作部133によって選択された場合を示している。この場合、「人物」の分類情報の分類情報付与条件リスト404が表示され、そのうち画像401とともに記憶された判断情報が示す「顔検知」に該当する項目405を他の項目より強調して表示している。この表示を見ることで、ユーザーは、画像401に付与されている分類情報のうち、「人物」の分類情報は、画像401を撮像した際に撮像装置100が顔を検知していたために撮影時に自動的に付与されたということがわかる。図4(c)は操作部133によって「イベント」の分類情報を表す表示アイテム403が選択された場合を示している。この場合も、「イベント」の分類情報の分類情報付与条件リスト406を表示し、そのうち画像とともに記憶された判断情報が示す「スポーツ」のシーンモードに該当する項目407を他の項目より強調して表示する。この表示を見ることで、ユーザーは、画像401に付与されている分類情報のうち、「イベント」の分類情報は、画像401を撮像した際に撮像装置100がシーンモードに含まれるスポーツモードに設定されていたために自動的に付与されたということがわかる。
このように、画像に分類情報が付与された理由である判断情報を、画像と対応づけて識別可能に表示することにより、どの分類情報付与条件によって、表示された分類情報が付与されたかを容易に認識することが可能となる。
上述のように、本件発明の撮像装置は本件発明構成を達成する表示制御手段を有する。すなわち、本件発明の表示制御手段は、記録媒体に記録された画像と、画像に付与されている分類情報と、分類情報が本件発明の記録制御手段によって付与される条件となる複数の分類情報付与条件とを表示手段に表示する。さらに、表示された複数の分類情報付与条件のうち、画像に付与されている分類情報が記録制御手段によって付与される際に合致した分類情報付与条件と、該画像に付与されている分類情報が記録制御手段によって付与される際に合致しなかった分類情報付与条件と、区別可能に表示する。この構成を有する表示制御手段により上記技術的効果の達成が可能となる。
[実施例2]
実施例2では、実施例1に記述した実施の形態において、撮像装置に登録されている分類情報付与条件の変更を設定する方法、及び、ユーザーインタフェースを説明する。
図5はその設定手順を示すフローチャート、図6〜図8はユーザーインタフェースの例を示す。
撮像装置100の操作部133によって、図6に示す表示部150に表示される「分類情報付与条件編集」機能601が選択されると、図7に示す分類情報付与条件の編集画面に遷移し、図5の分類情報付与条件編集処理を開始する。このフローチャートは、システム制御部120がメモリ121に記録されたプログラムをメモリ140に展開して実行することで実現される。
ステップS501では、編集したい分類情報の選択を受け付ける。ユーザーは分類情報の選択を以下のように行う。図7の分類情報付与条件の編集画面において、選択された分類情報を示す項目701を、操作部133に含まれる方向ボタンの上下ボタンを用いて選択する。その状態で、方向ボタンに含まれる左右ボタンを押下すると、項目701に表示される分類情報が、既存の分類情報と、「新規の分類情報」の中のひとつに切り替わる。左右ボタンを複数回押下すれば、項目701には、既存の分類情報と、「新規の分類情報」の中から順次1つの分類情報が切り替わって表示される。すなわち、システム制御部120は、項目701が選択された状態で左右ボタンが押されることによって編集する分類情報の選択を受け付ける。項目701に所望の分類情報が表示されたら、ユーザーはその後の編集操作を行う。システム制御部120は、ユーザーからの編集操作に応じて以下の処理を行う。
ステップS502では、選択された分類情報が「新規の分類情報」かどうかを判定する。これはすなわち、分類情報を新規に作成するか否かの判定である。選択された分類情報が「新規の分類情報」である場合は、表示部150に分類情報付与条件となり得る全ての候補をリスト表示する(ステップS503)。そしてステップS504で、「新規の分類情報」の名前の入力を受け付け、名前の入力があれば「新規の分類情報」の分類情報名を設定する。続くS507で、リスト表示された分類情報付与条件となり得る全ての候補の中からユーザー任意の候補を、ユーザーの操作に応じて選択する。選択が終了するとステップS507へ進む。
このとき表示されるユーザーインターフェースの例を図8に示す。図8では「新規の分類情報」が選択されているため、項目701には「新規の分類情報」が表示されている。この例は、デフォルトの分類情報名が変更されていない場合の例である。リスト表示部801には、分類情報付与条件となり得る全ての候補がリスト表示されている。一度に全ての候補を表示する表示スペースがないため、スクロールバー802が示すとおり、スクロールして全ての候補を閲覧できるようになっている。ポートレートのチェックボックス803にはチェックマークが表示されており、新規の分類情報の分類情報付与条件の一つとして、「ポートレートモード」で撮影されることが選択されていることを示している。ステップS504、S507での操作方法はどのような方法でもよいが、例えば以下のように行われる。項目701を選択して左右ボタンを押すことにより「新規の分類情報」を選択した状態で、操作ボタン133に含まれるセットボタンを押下することにより、分類情報名の変更が可能な状態(分類情報名の入力受付状態)となる。この状態で操作部133を操作することにより、項目701に表示される文字列を「新規の分類情報」から他の文字列に変更する。文字列の変更の操作方法は公知の方法で行える。例えば、文字列の先頭を選択状態にし、上下ボタンを押下することで、選択状態の箇所の文字を順次変更する。これにより所望の文字となったら右ボタンを押下することで文字列のうち選択状態となっている文字を一つ右の文字へと切り替える。同様に上下ボタンによって文字を変更する。これを繰り返すことにより任意の文字列を入力し、最後にセットボタンを押下することによって文字列が確定し、分類情報名の変更が可能な状態を抜けて、項目701が選択された状態に戻る。このとき、項目701には変更した文字列が表示される。ここまでがステップS504の処理である。項目701が選択された状態から、操作部133に含まれる方向ボタンのうち、上下ボタンの操作で、項目701、リスト表示部801、決定アイコン804のうちからリスト表示部801を選択する。リスト表示部801を選択した状態で操作部133に含まれるセットボタンを押下することで、リスト表示部801に表示されている分類情報付与条件となり得る全ての候補のうちから一つが選択状態となる。この状態で上下ボタンを操作することにより、分類情報付与条件となり得る全ての候補のうち選択している候補を切り替えることができるので、ユーザーは上下ボタンを操作して任意の候補を選択する。任意の候補を選択した状態でセットボタンを押下すると、選択している候補のチェックボックスにチェックマークが表示されていなければチェックマークが表示され、チェックマークがすでに表示されていた場合にはチェックマークの表示が消去される。チェックマークは一つの候補につけても良いし、任意の複数の候補につけてもよい。分類情報付与条件に設定したい候補にチェックマークをつけ終えたら、ユーザーは操作部133に含まれる戻りボタンを押下す。これにより、リスト表示部801が選択された状態に戻り、上下ボタンの操作で項目701、リスト表示部801、決定アイコン804のうち任意のものを選択できる状態となる。ここまでがステップS507の処理である。ここで決定アイコンを選択してセットボタンが押下されると、現在チェックマークが表示されている候補が「新規の分類情報」の分類情報付与条件となることが決定し、ステップS508へ進む。
一方、ステップS502で選択された分類情報が「新規の分類情報」以外である場合は、表示部150に分類情報付与条件となり得る全ての候補を表示する。(ステップS505)。この際、すでに分類情報付与条件となっている候補にはデフォルトでチェックマークが表示される。続くステップS507では、前述したように分類情報付与条件となり得る全ての候補の中からユーザーによる任意の候補の選択を受け付ける。候補の選択が終了した後、決定アイコン804が押下されると、S508において、現在チェックマークが表示されている候補が、項目701に表示されている分類情報の分類情報付与条件としてメモリ121に記録されることにより、撮像装置100に設定される。
ステップS509では、ステップS508で設定された分類情報付与条件を用いて、分類情報を付与しなおすどうかを問うダイアログボックス(不図示)を表示する。これにより、ユーザーから付与しなおすこと(再付与)が選択されたか、付与しないことが選択されたか否かを判定する。再付与が選択されるとステップS510に進み、再付与の対象画像があるかどうかを判定し(ステップS510)、ある場合は、分類情報の再付与を行い(ステップS511)、処理を終了する。分類情報の再付与ではまず、S508で分類情報付与条件が変更された分類情報がすでに付与されている画像について、新たな分類情報付与条件ではその分類情報が付与されないことになるかどうかを判定する。判定の結果、その分類情報が付与されないことになる画像があった場合には、その画像のヘッダからその分類情報を削除する。また、S508で分類情報付与条件が変更された分類情報が付与されていない画像について、新たな分類情報付与条件ではその分類情報が付与されることになるかどうかを判定する。その結果、その分類情報が付与されることになる画像があった場合には、その画像のヘッダにその分類情報を記録する。ステップS510で再付与の対象画像がないと判定された場合は、分類情報の再付与を行わずに、処理を終了する。
なお、図6に示すユーザーインタフェースにおいて、「分類情報再付与」機能が選択されるとステップS511と同様の処理を全ての分類情報について行う。
以上説明した本件発明の第2の実地例によれば、本件発明の撮像装置において、ユーザーの操作に基づいて、特定の分類情報の分類情報付与条件を変更する変更手段を提供できる。これにより、撮影設定などを考慮して、ユーザーが理解し易い分類情報の自動付与を達成することが容易となる。
また、上記変更手段による分類情報付与条件の変更を行うための編集画面へ遷移するための表示アイテムを、画像の再生表示画面において、画像に付された分類情報およびその分類情報付与条件とともに表示することができる。そのため、ユーザーインターフェースの使い勝手を向上することができ、ユーザーが望む分類情報付与条件を容易に達成することを可能とする。
なお、分類情報付与条件の編集画面(図7、図8)に遷移するユーザーインタフェースを、図6を用いて説明したが、実施例1で前述した図4(a)や図4(b)のような分類情報付与条件リストの表示画面から遷移できるようにしてもよい。図9に、分類情報付与条件リストの表示画面に分類情報付与条件の編集画面へ遷移するための表示アイテムを表示した例を示す。図9は、図4(b)と同様の表示に加えて、分類情報付与条件の編集画面へのショートカットボタンである編集画面呼び出しボタン900を表示している。この編集画面呼び出しボタン900を選択して操作部133に含まれるセットボタンを押下することにより、実施例2で説明した分類情報付与条件の編集画面(図7)に遷移し、図5の分類情報付与条件編集処理を開始することができる。
図9のように、表示している画像401とともに、画像401に付与されている分類情報を表す表示アイテム402,403と、選択された分類情報の分類情報付与条件リスト404と、判断情報が示す分類情報付与条件405を明示的に表示する。これにより、ユーザーはどのように分類情報が自動付与されるのかを理解することができるが、それによって分類情報付与条件のカスタマイズの必要性も認識することができる。そのような場合を考慮して、図9の表示画面に編集画面呼び出しボタン900も同時に表示する。これにより、類情報付与条件のカスタマイズが必要であるとユーザーが考えた場合に、即座に分類情報付与条件の編集画面に遷移することができ、操作性が向上する。
また、分類情報の一つとして、「失敗画像」という分類情報があるものとしてもよい。「失敗画像」という分類情報も、実施例1で説明した分類情報と同様に固有の分類情報付与条件があり、撮影設定と被写体情報が分類情報付与条件に合致した場合に自動的に付与される。「失敗画像」の分類条件付与条件としてはたとえば、撮像装置100に登録されている人物が写ってない、目つぶりを検出した、白とび・黒つぶれがある、手ぶれしている等が考えられる。しかし、どのような画像を失敗画像と考えるかはユーザーの撮影目的や、ユーザーの撮影スキル、撮影場面などによって異なり、一意ではない。したがって、上述の実施例2のような分類情報付与条件のカスタマイズ(編集)をこのような「失敗画像」の分類情報に適用するとより好適である。このような「失敗画像」の分類情報を用いることで、ユーザーが望まない撮影画像を識別することができ、しかも失敗の理由を容易に認識することが可能となる。また、「失敗画像」の分類情報の分類情報付与条件を変更、設定することができるので、撮影状況などに応じて適宜分類情報付与条件を設定して、ユーザーが失敗と思う撮影画像に「失敗画像」の分類情報を付与することが可能となる。
なお、上述の分類情報の利用方法は様々なものが考えられるが、例えば下記のように利用することができる。
・複数の画像のうち、ユーザー指定した分類情報が付与された画像のみを削除する。例えば、「失敗画像」の分類情報が付与された画像のみを一括して削除する。
・複数の画像のうち、ユーザーが指定した分類情報を付与された画像のみをスライドショーで表示する。例えば、「イベント」の分類情報が付与された画像を再生対象としたスライドショーを行う。
・複数の画像のうち、ユーザーが指定した分類情報を付与された画像のみを転送や印刷する。
なお、これらの分類情報の利用におけるユーザーの分類情報の指定の方法としては、複数の分類情報について、アンド条件、オア条件、ノット条件を組み合わせて利用した指定が可能であることは言うまでもない。
なお、上述した本件発明の構成において、システム制御回路120による制御は、1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を達成する構成でもよい。特に、上述した図2(a)、図2(b)の処理は撮像装置で行い、図3、図5の処理は撮像手段を持たない再生装置で行うものとしてもよい。すなわち、図3、図5の処理は、撮像装置で撮像され、分類情報が自動的に付与されてメモリカード等の記録媒体に記録された画像を、撮像手段を持たない再生装置(画像ビューワやPCなど)で表示する際にも適用可能である。この場合、再生装置には、撮像装置で使用される分類情報付与条件を記憶しているか、メモリカードに撮像装置で使用される分類情報付与条件とを記憶しているものとする。図5の処理で編集された分類情報付与条件は、メモリーカードに既に記録されている画像に対してのみ適用して分類情報を付与し直すものとしてもよい。また、メモリーカードに図5の処理で編集された分類情報付与条件を記録しておき、次にそのメモリーカードが撮像装置に接続された場合に、撮像装置で記憶していた分類情報付与条件を更新するものとしてもよい。
また、本発明をその好適な実施形態に基づいて本件発明を詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)をネットワーク(通信)又はコンピュータ読み取り可能な各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのソフトウエア及び該ソフトウエアをコンピュータプログラムのコードとして記録した記録媒体は本発明を構成することになる。
100 撮像装置
110 撮像部
112 画像処理部
120 システム制御部
121 メモリ
133 操作部
140 メモリ
150 表示部
900 編集画面呼び出しボタン

Claims (14)

  1. 画像を撮像する撮像手段と、
    前記撮像手段で画像を撮像した際の撮影設定と該撮像した画像の被写体情報との少なくともいずれかが、複数の分類情報付与条件のいずれかに合致した場合に、合致した分類情報付与条件に応じた分類情報を該撮像した画像に付与し、前記画像と前記合致した分類情報付与条件を示す情報である判断情報とを記録媒体に記録するように制御する記録制御手段と、
    前記記録媒体に記録された画像と、該画像に付与されている分類情報と、該分類情報が前記記録制御手段によって付与される条件となる複数の分類情報付与条件とを表示手段に表示し、表示された前記複数の分類情報付与条件のうち、該画像に付与されている分類情報が前記記録制御手段によって付与される際に合致した分類情報付与条件と、該画像に付与されている分類情報が前記記録制御手段によって付与される際に合致しなかった分類情報付与条件とを、前記判断情報に基づいて区別可能に表示するように制御する表示制御手段と
    を有することを特徴とする撮像装置。
  2. ユーザーの操作に基づいて、特定の分類情報の前記分類情報付与条件を変更する変更手段をさらに有することを特徴とする請求項1に記載の撮像装置。
  3. 前記表示制御手段は、画像と、該画像に付与されている分類情報と、該分類情報が前記記録制御手段によって付与される条件となる複数の分類情報付与条件と、該分類情報の分類情報付与条件を変更するための編集画面へ遷移するための表示アイテムとを同時に表示するように制御し、
    前記変更手段は、前記編集画面におけるユーザからの操作に基づいて分類情報付与条件を変更することを特徴とする請求項2に記載の撮像装置。
  4. 前記記録制御手段は、前記合致した分類情報付与条件に応じた分類情報と前記判断情報とを、前記撮像した画像のヘッダに記録するように制御することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記表示制御手段は、前記画像に複数の分類情報が付与されている場合には、前記画像と共に複数の前記分類情報を表示し、前記表示された複数の分類情報のうち選択された分類情報を付与する条件となる複数の分類情報付与条件が何であるかが識別可能なように、選択された分類情報を付与する条件となる複数の分類情報付与条件を表示するように制御することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記表示制御手段は、前記画像に複数の分類情報が付与されている場合には、前記画像と共に複数の前記分類情報を表示し、前記表示された複数の分類情報のうち選択された分類情報を付与する条件となる複数の分類情報付与条件だけを表示するように制御することを特徴とする請求項5に記載の撮像装置。
  7. 前記複数の分類情報付与条件を記録した、前記記録媒体とは異なる記憶手段をさらに有することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 画像を撮像する撮像ステップと、
    前記撮像ステップで画像を撮像した際の撮像装置の撮影設定と該撮像した画像の被写体情報との少なくともいずれかが、複数の分類情報付与条件のいずれかに合致した場合に、合致した分類情報付与条件に応じた分類情報を該撮像した画像に付与し、前記画像と前記合致した分類情報付与条件を示す情報である判断情報とを記録媒体に記録するように制御する記録制御ステップと、
    前記記録媒体に記録された画像と、該画像に付与されている分類情報と、該分類情報が前記記録制御ステップによって付与される条件となる複数の分類情報付与条件とを表示手段に表示し、表示された前記複数の分類情報付与条件のうち、該画像に付与されている分類情報が前記記録制御ステップによって付与される際に合致した分類情報付与条件と、該画像に付与されている分類情報が前記記録制御ステップによって付与される際に合致しなかった分類情報付与条件とを、前記判断情報に基づいて区別可能に表示するように制御する表示制御ステップと
    を有することを特徴とする撮像装置の制御方法。
  9. コンピュータを、請求項1乃至7のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
  10. コンピュータを、請求項1乃至7のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。
  11. 撮像装置で撮像された際に、前記撮像装置の撮影設定と当該画像の被写体情報とに基づいて分類情報が付与され、前記分類情報が前記撮像装置によって付与された際に合致した分類情報付与条件を示す判断情報とともに記録された画像を表示手段に表示するように制御する表示制御装置であって、
    画像と、該画像に付与されている分類情報と、該分類情報が前記撮像装置によって付与される条件となる複数の分類情報付与条件と、前記判断情報とを読み出す読み出し手段と、
    前記読み出し手段で読み出した画像と、該画像に付与されている分類情報と、該分類情報が前記撮像装置によって付与される条件となる複数の分類情報付与条件とを前記表示手段に表示し、表示された前記複数の分類情報付与条件のうち、前記読み出し手段で読み出した判断情報が示す分類情報付与条件と、前記読み出し手段で読み出した判断情報が示さない分類情報付与条件とを前記判断情報に基づいて区別可能に表示するように制御する表示制御手段と
    を有することを特徴とする表示制御装置。
  12. 撮像装置で撮像された際に、前記撮像装置の撮影設定と当該画像の被写体情報とに基づいて分類情報が付与され、前記分類情報が前記撮像装置によって付与された際に合致した分類情報付与条件を示す判断情報とともに記録された画像を表示手段に表示するように制御する表示制御装置の制御方法であって、
    画像と、該画像に付与されている分類情報と、該分類情報が前記撮像装置によって付与される条件となる複数の分類情報付与条件と、前記判断情報とを読み出す読み出しステップと、
    前記読み出しステップで読み出した画像と、該画像に付与されている分類情報と、該分類情報が前記撮像装置によって付与される条件となる複数の分類情報付与条件とを前記表示手段に表示し、表示された前記複数の分類情報付与条件のうち、前記読み出しステップで読み出した判断情報が示す分類情報付与条件と、前記読み出しステップで読み出した判断情報が示さない分類情報付与条件とを前記判断情報に基づいて区別可能に表示するように制御する表示制御ステップと
    を有することを特徴とする表示制御装置の制御方法。
  13. コンピュータを、請求項11に記載された表示制御装置の各手段として機能させるプログラム。
  14. コンピュータを、請求項11に記載された表示制御装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2009243607A 2009-10-22 2009-10-22 撮像装置 Expired - Fee Related JP5550305B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009243607A JP5550305B2 (ja) 2009-10-22 2009-10-22 撮像装置
US12/884,928 US8432474B2 (en) 2009-10-22 2010-09-17 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009243607A JP5550305B2 (ja) 2009-10-22 2009-10-22 撮像装置

Publications (3)

Publication Number Publication Date
JP2011091635A JP2011091635A (ja) 2011-05-06
JP2011091635A5 JP2011091635A5 (ja) 2012-11-29
JP5550305B2 true JP5550305B2 (ja) 2014-07-16

Family

ID=43898108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009243607A Expired - Fee Related JP5550305B2 (ja) 2009-10-22 2009-10-22 撮像装置

Country Status (2)

Country Link
US (1) US8432474B2 (ja)
JP (1) JP5550305B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
JP5253265B2 (ja) * 2009-03-27 2013-07-31 オリンパスイメージング株式会社 画像再生装置及び画像表示制御方法
JP5402409B2 (ja) * 2009-08-31 2014-01-29 ソニー株式会社 撮影条件設定装置、撮影条件設定方法及び撮影条件設定プログラム
KR101735302B1 (ko) * 2010-10-13 2017-05-15 삼성전자 주식회사 카메라의 빠른 연계 기능 실행 방법 및 이를 포함하는 휴대 단말기
JP5136669B2 (ja) 2011-03-18 2013-02-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9148582B2 (en) * 2012-06-29 2015-09-29 Intel Corporation Method and system for perfect shot imaging from multiple images
CN107454267A (zh) * 2017-08-31 2017-12-08 维沃移动通信有限公司 一种图像的处理方法和移动终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3610195B2 (ja) * 1997-07-04 2005-01-12 キヤノン株式会社 撮像装置
JP2003199028A (ja) 2001-12-27 2003-07-11 Matsushita Electric Ind Co Ltd 電子アルバム装置
JP2004118573A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
JP2004343662A (ja) * 2003-05-19 2004-12-02 Sony Corp 撮像装置
JP4840848B2 (ja) * 2005-09-21 2011-12-21 ソニー株式会社 撮影装置、情報処理方法、並びにプログラム
WO2008010575A1 (fr) * 2006-07-20 2008-01-24 Nikon Corporation Dispositif d'enregistrement/reproduction de données, programme d'enregistrement/reproduction de données et dispositif de reproduction de données
JP2008072497A (ja) * 2006-09-14 2008-03-27 Canon Inc 画像処理装置
JP4850645B2 (ja) * 2006-09-14 2012-01-11 キヤノン株式会社 画像再生装置及び画像再生方法
JP5058710B2 (ja) * 2007-08-10 2012-10-24 キヤノン株式会社 画像管理装置及びその制御方法
JP4930302B2 (ja) * 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
KR101495079B1 (ko) * 2008-11-18 2015-02-24 삼성전자주식회사 장면 정보 표시 방법 및 장치, 및 이를 이용한 디지털 촬영장치

Also Published As

Publication number Publication date
US20110096195A1 (en) 2011-04-28
US8432474B2 (en) 2013-04-30
JP2011091635A (ja) 2011-05-06

Similar Documents

Publication Publication Date Title
JP5550305B2 (ja) 撮像装置
JP4340806B2 (ja) 画像処理装置、方法及びプログラム
JP2008011194A (ja) 画像処理装置
JP5124994B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP4352554B2 (ja) 電子カメラ
JP2009070374A (ja) 電子機器
JP5826026B2 (ja) 撮像装置およびその制御方法
JP5733956B2 (ja) 撮像装置及びその制御方法、動画記録装置並びにその制御方法、プログラム、並びに記憶媒体
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
US9407825B2 (en) Imaging apparatus, image processing apparatus, image processing method, and storage medium
JP6200265B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US8780250B2 (en) Image processing apparatus that processes image data to which a plurality of pieces of classification information are added, method of controlling image processing apparatus, and storage medium
JP6376915B2 (ja) 表示制御装置およびその制御方法
CN109474782B (zh) 用于数据编辑的接口装置、数据编辑方法、记录介质
JP4882525B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP6289107B2 (ja) 画像再生装置、その制御方法、および制御プログラム
JP5167964B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP2007013476A (ja) カメラ及びこのカメラの表示制御装置とその表示制御方法
JP5963441B2 (ja) 表示制御装置および方法
JP6529647B2 (ja) 表示制御装置およびその制御方法
JP2012156750A (ja) お気に入り度自動設定システム
JP6278702B2 (ja) 撮像装置及びその制御方法、並びに、プログラム
JP6355495B2 (ja) 撮像制御装置およびその制御方法
JP4798229B2 (ja) 電子カメラ
JP5481984B2 (ja) 撮像装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120727

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120730

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121017

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R151 Written notification of patent or utility model registration

Ref document number: 5550305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees