JP5124994B2 - 画像再生システム、デジタルカメラ、および画像再生装置 - Google Patents

画像再生システム、デジタルカメラ、および画像再生装置 Download PDF

Info

Publication number
JP5124994B2
JP5124994B2 JP2006156770A JP2006156770A JP5124994B2 JP 5124994 B2 JP5124994 B2 JP 5124994B2 JP 2006156770 A JP2006156770 A JP 2006156770A JP 2006156770 A JP2006156770 A JP 2006156770A JP 5124994 B2 JP5124994 B2 JP 5124994B2
Authority
JP
Japan
Prior art keywords
image
data
digital camera
reproduction
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006156770A
Other languages
English (en)
Other versions
JP2007329521A (ja
Inventor
弘剛 野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006156770A priority Critical patent/JP5124994B2/ja
Priority to PCT/JP2007/061377 priority patent/WO2007142237A1/ja
Priority to US12/227,896 priority patent/US8355050B2/en
Publication of JP2007329521A publication Critical patent/JP2007329521A/ja
Application granted granted Critical
Publication of JP5124994B2 publication Critical patent/JP5124994B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、デジタルカメラで撮影した画像を画像再生装置で再生するための画像再生システム、画像再生システムを構成するデジタルカメラ、および画像再生装置に関する。
次のような画像管理装置が知られている。この画像管理装置では、入力画像の被写体を認識するために被写体ごとの参照画像を記憶しておき、参照画像と入力画像とを比較して入力画像に含まれている被写体を認識する。そして、被写体の認識結果に応じた画像の表示を行う(例えば、特許文献1)。
特開2002−169809号公報
しかしながら、従来の画像管理装置では、装置単体での動作を前提としており、デジタルカメラとの連携が十分に考慮されていなかったため、使用者は画像管理装置とデジタルカメラを別々に操作しなければならなかった。
請求項1に記載の本発明は、デジタルカメラと画像再生装置とを接続した画像再生システムであって、画像再生装置は、デジタルカメラから画像を取得して、記録媒体に記録する画像記録手段と、使用者からの指示に基づいて、記録媒体に記録された画像を再生する再生手段と、画像再生装置の利用状況に関する利用状況データをデジタルカメラへ送信する送信手段とを備え、デジタルカメラは、画像再生装置から利用状況データを取得するデータ取得手段と、データ取得手段で取得した利用状況データに基づいて、デジタルカメラを制御する制御手段とを備え、デジタルカメラおよび画像再生装置のそれぞれは、画像内に存在する特定の被写体を、記録した被写体情報を用いて特定する特定手段をさらに備え、利用状況データは、特定手段によって特定された被写体ごとの、再生手段による画像の再生状況を示す再生状況データを含み、制御手段は、取得した再生状況データに基づいて、デジタルカメラの設定を変更することを特徴とする。
請求項7に記載の本発明は、画像再生装置で再生した画像内の被写体ごとの再生状況を示す再生状況データを取得するデータ取得手段と、撮影する画像内に存在する特定の被写体を、記録媒体に記録した被写体情報を用いて特定する特定手段と、特定手段によって特定された撮影する画像内に存在する被写体の撮影時に、データ取得手段より取得した再生状況データに基づいて、デジタルカメラの設定を変更する制御手段とを備えることを特徴とする。
本発明によれば、画像再生装置の利用状況に応じてデジタルカメラを制御することができ、両者の連携を十分に図ることができる。
図1は、本実施の形態における画像再生システムの一実施の形態の構成を示すブロック図である。画像再生システム100は、画像を撮像するデジタルカメラ200と、デジタルカメラ200で撮像した画像データを取り込んで再生する画像再生装置300とで構成される。デジタルカメラ200と画像再生装置300は、所定の接続インターフェース、例えばUSBインターフェースを介して接続され、種々の情報が相互に転送される。なお、本実施の形態においては、デジタルカメラ200と画像再生装置300とは、USBインターフェースを介して有線接続される場合について説明するが、この他、無線LAN接続などによる無線接続であってもよく、あるいはメモリカードなどの記録媒体を介して両者間で情報をやり取りするようにしてもよい。
デジタルカメラ200は、入力スイッチ201と、レンズ202と、撮像素子203と、制御装置204と、モニタ205と、メモリ206と、接続インターフェース207を備えている。
入力スイッチ201は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ201には、レリーズボタンやデジタルカメラ200を操作するための種々の操作ボタンが含まれる。
レンズ202は、複数の光学レンズ群から構成されるが、図1では代表して1枚のレンズで表している。撮像素子203は、例えばCCDであり、使用者によって入力スイッチ201に含まれるレリーズボタンが押下されるごとに、レンズ202を通して入力される被写体像を撮像することによって得られる画像データを制御装置204へ出力する。
制御装置204は、CPUやその他周辺回路で構成され、画像処理部204aと、データ送受信部204bと、カメラ制御部204cとを機能的に有している。
画像処理部204aは、撮像素子203から入力される画像データに対して、公知の補間処理や階調変換処理などの公知の処理を施す。また、被写体認識処理を実行して各画像内に存在する被写体を検出する。そして、検出した被写体をあらかじめメモリ206に記録してある被写体照合用の情報(被写体情報)と照合して、認識した被写体を特定する。本実施の形態では、例えば公知の顔認識処理を実行して、画像内に含まれる人物の顔を検出し、検出した人物の顔を個人を特定するための顔照合用の情報(顔登録データ)と照合して、画像内に写っている人物が誰であるかを特定する。
例えば、使用者が画像を撮影するために被写体に向けてデジタルカメラ200を構えたときに撮像素子203からスルー画が入力されると、画像処理部204aは、スルー画の各コマに対して上述した顔認識処理を実行して、スルー画内に存在する人物を特定する。ここで使用する被写体情報としての顔登録データは、使用者によってあらかじめ設定され、メモリ206内に記録されている。顔登録データとしては、各個人ごとに次の(A)〜(H)で説明する各データが登録されている。
(A)登録者名
登録者名は、登録対象の個人を識別するために付加された名称である。例えば、個人の本名やニックネームなど個人を特定できる名称が登録される。
(B)顔写真データ(画像データ)
顔写真データは、顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされて登録される。
(C)顔写真撮影日
顔写真撮影日は、(B)の顔写真データが撮影された日時を示す日時データである。
(D)人物登録日
人物登録日は、顔登録データに当該人物に関するデータが登録された日時を示す日時データである。
(E)データ更新日時
データ更新日時は、当該人物に関する顔登録データの内容が更新された日時を示す日時データである。
(F)登録者の撮影回数
登録者の撮影回数は、当該人物を被写体として画像が撮影された回数を示すデータである。この登録者の撮影回数は、初期値は0であり、画像の撮影時に顔認識処理が実行され、撮影された画像の中に当該人物が含まれていた場合に1が加算されていく。
(G)顔の特徴点データ
顔の特徴点データは、画像内から検出された人物の顔が誰の顔であるかを特定するために使用される照合用のデータである。一般的に、顔認識処理においては、画像内から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。そして、画像内で検出した特徴点を、当該顔の特徴点データと照合することによって、その顔が誰であるかを特定する。なお、特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが用いられる。
(H)その他格納データ
上述した(A)〜(G)以外のその他のデータが必要に応じて登録される。なお、本実施の形態では、その他格納データにはデータをセットしない。
画像処理部204aは、このように種々の画像処理を施し、顔認識処理を実行して画像内に写っている被写体を特定した後、画像データをメモリ206に記録する。このとき、メモリ206内には、顔登録データに登録されている各人物に対応したフォルダがあらかじめ作成されており、画像処理部204aは、顔認識処理によって特定した人物用のフォルダに当該画像データを振り分けて保存する。これによって、画像内に写っている人物ごとに保存先のフォルダを自動的に振り分けることができる。なお、画像を撮影するに当たっては、後述するように、画像再生装置300から受信したデータに基づいて、カメラ制御部204cによってデジタルカメラ200の設定が制御される。
データ送受信部204bは、接続インターフェース207を介して画像再生装置300と接続されたことを検出したときに、画像再生装置300との間でデータの送受信を行う。本実施の形態では、デジタルカメラ200から画像再生装置300に対して、メモリ206に記録されている画像データ、顔登録データ(被写体情報)、およびメモリ206内に作成されているフォルダ構造に関するデータ(フォルダ構造に関するデータ)を送信する。
このとき、使用者は画像再生装置300へデータを送信するか否かを設定することができ、データ送受信部204bは、データ送信可に設定されているときのみ、データの送信を行うようにし、データ送信不可に設定されている倍には、データの送信を行わない。なお、画像再生装置300から受信するデータについては、後述する画像再生装置300が送信するデータと一致するため、ここでの説明は省略する。
ここで、画像再生装置300へ顔特徴データを送信するのは、後述するように画像再生装置300も顔認識処理を実行することができ、画像再生装置300が有する顔登録データとデジタルカメラ200が有する顔要録データとの同期をとるためである。このとき、デジタルカメラ200が有する顔登録データと画像再生装置300が有する顔登録データとが同一のデータ形式(フォーマット)である場合には、データ送受信部204bは、上述した各個人ごとの(A)〜(H)のデータをそのまま画像再生装置300へ送信する。
一方、デジタルカメラ200が有する顔登録データと画像再生装置300が有する顔登録データとが同一のデータ形式でない場合には、データ送受信部204bは、画像再生装置300側のデータ形式に合わせて顔登録データを編集した後にデータを送信する。例えば、画像再生装置300が有する顔登録データが(A)および(B)のデータのみで構成されている場合には、次のように送信するデータを編集する。
(A)登録者名
メモリ206に記録されている(A)の情報をそのまま使用する。
(B)顔写真データ
メモリ206に記録されている(B)の情報をそのまま使用する。
(C)顔写真撮影日
データを設定しない。
(D)人物登録日
データ送受信部204bによるデータ送信日時(データ転送日時)を設定する。
(E)データ更新日時
データ送受信部204bによるデータ送信日時(データ転送日時)を設定する。
(F)登録者の撮影回数
データを設定しない。
(G)顔の特徴点データ
データ送受信部204bが(B)の顔写真データに基づいて顔の特徴点を抽出して作成する。
(H)その他格納データ
データを設定しない。
なお、データ送受信部204bは、画像再生装置300へデータを送信するに当たっては、画像再生装置300が備えるHDD304に、送信しようとする画像データと顔登録データとを記録するための空き容量があるか否かをチェックする。そして、画像再生装置300側にHDD304の空き容量がないと判断した場合にはデータの送信は行わない。あるいは、撮影日が新しい画像データおよび人物登録日が新しい顔登録データを優先して送信したり、撮影頻度が高い人物の顔登録データを優先して送信するようにしてもよい。
カメラ制御部204cは、使用者からの指示に応じてメモリ206に記録されている画像を再生したり、デジタルカメラ200の設定を変更したりする。また、このカメラ制御部204cは、画像再生装置300から受信したデータに基づいて、デジタルカメラ200の設定を変更する。このカメラ制御部204cによる設定変更処理については、データ送受信部204bが画像再生装置300から受信するデータの内容とともに後述する。
次に、画像処理装置300について説明する。なお、画像処理装置300としては、例えば画像を蓄積するためのフォトストレージャが使用され、この画像処理装置300は、入力装置301と、制御装置302と、接続インターフェース303と、HDD(ハードディスクドライブ)304と、モニタ305とを備えている。
入力装置301は、例えば、操作用リモコン(リモコン)であり、このリモコンには画像処理装置300を操作するために必要なボタン(キー)が配置されている。使用者はこのリモコンを操作することによって、画像処理装置300に対して種々の指示を出すことができる。
接続インターフェース303は、デジタルカメラ200が備える接続インターフェース207と同様にUSBインターフェースである。また、HDD304には、後述するようにデジタルカメラ200から取り込んだ画像データや画像処理装置300上で実行される種々のプログラムなどが格納される。また、後述するように、制御装置302が備える画像処理部302bは、デジタルカメラ200の画像処理部204aと同様に顔認識処理を実行することができる。そしてこのときに使用される顔登録データもこのHDD304に記録されている。
制御装置302は、CPU、メモリ、およびその他周辺回路で構成され、データ送受信部302aと、画像処理部302bと、画像再生部302cと、情報管理部302dとを機能的に備えている。
データ送受信部302aは、デジタルカメラ200から送信されてくる上述した種々の情報を接続インターフェース303を介して受信する。そして、受信したフォルダ構造に関するデータに基づいて、HDD304内にフォルダを作成する。すなわち、受信したフォルダ構造に関するデータに基づいてデジタルカメラ200で作成されているフォルダ構造を判定し、HDD304に既に作成されているフォルダのフォルダ構造と比較する。そして、デジタルカメラ200にあって画像再生装置300にないフォルダがある場合には、HDD304内にそのフォルダを作成して、フォルダ構造の同期をとる。
データ送受信部302aは、さらに受信した顔登録データをHDD304内にあらかじめ記録してある顔登録データに記録する。このとき、受信した顔登録データとHDD304内にあらかじめ記録してある顔登録データとを比較して、一致しないデータ、すなわちデジタルカメラ200側で更新されたデータ、および不足しているデータ、すなわちデジタルカメラ200側で新たに登録されたデータを抽出して、HDD304内の顔登録データを更新する。
また、受信した顔登録データとHDD304内に記録されている顔登録データとを比較した結果、登録者名が同一であるにも関わらず、顔の特徴点データが異なるデータが存在する場合には、それぞれを異なる人物に関する顔登録データとしてHDD304に記録する。例えば、HDD304内の顔登録データと受信した顔登録データの両方に、登録者名が「子供」というデータが存在し、それぞれの顔の特徴点データが異なる場合には、それぞれ「子供1」、「子供2」のようにして、別々のデータとして記録する。
これに対して、登録者名が異なるにも関わらず、顔の特徴点データが一致するデータが存在する場合には、両者は同じ人物の顔登録データであると考えられる。この場合には、データ送受信部302aは、両者をそのままHDD304に記録しておき、次回、使用者によって画像再生装置300の電源がオンされたときに、モニタ305に同一人物の可能性が高い複数の顔登録データが登録されている旨を警告する。
画像処理部302bはまた、データ送受信部302aによって受信された画像データに対して、上述した顔認識処理を実行し、各画像内に写っている人物を特定する。そして、各画像データを特定した人物に応じたフォルダに振り分けてHDD304に記録する。
画像再生部302cは、使用者からの指示に応じて画像を再生し、モニタ305に表示する。本実施の形態では、使用者は、HDD304に記録されているいずれか1枚、または複数枚の画像を指定して画像の再生を指示することができ、この場合には、画像再生部302cは、指定された画像を1枚ずつ個別にモニタ306に表示する。また、使用者は、HDD304に記録されている画像の中から複数枚の画像を選択して、これらの画像をスライドショー表示するように指示することもできる。この場合には、画像再生部302cは、選択された各画像をスライドショー再生する。
画像再生部302cは、再生したスライドショーに関するデータをスライドショーデータとしてHDD304へ記録する。ここでは、画像がスライドショーとして再生されたときに、使用者に対してスライドショーデータを記録するか否かを問い合わせて、使用者によって記録が指示されたときにのみ記録を行うようにしてもよい。スライドショーデータとしては、指定された複数枚の画像の画像データ、および表示効果としての表示パターン、表示速度、同時に再生する音楽データなどを記録する。なお、画像データは、デジタルカメラ200が備える液晶モニタのサイズ、例えばQVGAサイズに縮小してから記録するようにしてもよい。
また、デジタルカメラ200が動画再生機能を備えている場合には、スライドショーとして再生する画像を順番に表示する動画データを作成して記録するようにしてもよい。なお、動画データとしては、例えば、表示サイズをQVGAサイズ、フレームレートを30fpsとしたMEPG4形式の動画データを生成して記録する。
使用者は、さらに、再生中の画像を拡大表示するように指示することもできる。画像再生部302cは、使用者によって画像の拡大表示が指示された場合には、再生中の画像を所定の倍率、例えば2倍に拡大して、モニタ306に表示する。なお、拡大表示は、1段階だけではなく、例えば1.5倍、2倍、3倍・・・などのように複数段階に切り替えて拡大することも可能である。
情報管理部302dは、画像再生部302cによって画像が再生される度に、その再生された画像内に存在する人物を特定し、各人物ごとの画像の再生回数をカウントする。また、画像が拡大表示されときには、その拡大表示された画像内に存在する人物を特定し、各人物ごとの画像の拡大表示回数をカウントする。すなわち、情報管理部302dは、画像再生部302cによって画像が再生されたときに、画像処理部302bを制御してその再生された画像内に存在する人物を特定し、各人物ごとに画像の再生回数および拡大表示回数をカウントする。
そして、そのカウント値をHDD304に再生状況データを記録する。例えば、情報管理部302dは、人物ごとの画像の再生回数をカウントするための再生カウンタをHDD304に記録しておき、画像が再生されるごとにその画像に写っている人物用の再生カウンタのカウント値に1を加算していく。また、人物ごとの拡大表示回数をカウントするための拡大表示カウンタもHDD304に記録しておき、画像が拡大表示されるごとにその画像に写っている人物用の拡大表示カウンタのカウント値に1を加算していく。そして、それらのカウンタのカウント値を人物ごとにデータベース化した再生状況データをHDD304に記録する。
データ送受信部302aは、接続インターフェース303を介してデジタルカメラ200と接続されたことを検出したときに、HDD304に記録されている顔登録データ、スライドショーデータ、再生状況データ、およびHDD304内に作成されているフォルダ構造に関するデータ(フォルダ構造に関するデータ)を画像再生装置300の利用状況を示すデータ(利用状況データ)として接続インターフェース303を介してデジタルカメラ200へ送信する。
デジタルカメラ200において、データ送受信部204bは、この利用状況データを受信する。そして、データ送受信部204bは、受信したデータをメモリ206へ記録する。このとき、データ送受信部204bは、顔登録データをメモリ206に記録するに当たっては、受信した顔登録データとメモリ206内に既に記録してある顔登録データとを比較して、一致しないデータ、すなわち画像再生装置300側で更新されたデータ、および不足しているデータ、すなわち画像再生装置300側で新たに登録されたデータを抽出して、メモリ206内の顔登録データを更新する。また、受信したフォルダ構造に関するデータに基づいて、メモリ206内にフォルダを作成する。
カメラ制御部204cは、使用者からメモリ206に記録されているスライドショーデータのうち、いずれかの再生が指示された場合には、該当するスライドショーデータをメモリ206から読み込んで再生する。
また、カメラ制御部204cは、画像の撮影時には、メモリ206に記録されている再生状況データに基づいて、撮影時のデジタルカメラ200の設定を変更する。具体的には、カメラ制御部204cは、再生状況データに含まれている人物ごとの画像の再生回数に基づいて画像撮影時のAF優先度を決定する。また、人物ごとの画像の拡大表示回数に基づいて画像撮影時の解像度を変更する。なお、本実施の形態では、カメラ制御部204cは、例えば使用者によってデジタルカメラ200のモードが撮影モードに設定されたときに、画像の撮影が開始されたことを検出する。
まず、カメラ制御部204cは、使用者が画像を撮影するために被写体に向けてデジタルカメラ200を構えたときに、撮像素子203から入力されるスルー画内に存在する被写体を画像処理部204aからの出力に基づいて特定する。すなわち、画像処理部204aは、上述したようにスルー画の各コマに対して顔認識処理を実行し、スルー画内に存在する人物を特定する。
カメラ制御部204cは、画像処理部204aによってスルー画内に存在する人物が特定された結果、スルー画内から1人の人物が特定された場合には、その人物に焦点を合わせるようにデジタルカメラ200のAFを制御する。これに対して、スルー画内から複数の人物が特定された場合には、この特定結果と人物ごとの画像の再生回数に基づいて画像撮影時のAF優先度を決定する。すなわち、特定された複数の人物のうち、画像の再生回数が最も多い人物のAF優先度を上げて、その人物に焦点を合わせるようにデジタルカメラ200のAFを制御する。例えば、スルー画内にAとBの2人の人物が存在し、Aの再生回数が10回、Bの再生回数が5回である場合には、Aに焦点を合わせるようにデジタルカメラ200のAFを制御する。
これによって、使用者が画像を撮影するために被写体に向けてデジタルカメラ200を構えたときに、自動的に画像再生装置300上でよく再生される人物に焦点を合わせることができ、この状態で使用者がレリーズボタンを押下することによって、使用者が主要被写体として撮影したいと考えている可能性が高い人物に合焦した画像を撮影することができる。
また、カメラ制御部204cは、画像処理部204aによって特定されたスルー画内の人物の拡大表示回数に基づいて、撮影時の解像度を設定する。例えば、拡大して表示されることが多い人物の画像は、あらかじめ解像度を上げて撮影しておくことによって、拡大表示されたときにも画像をきれいに表示することができる。これを加味して、カメラ制御部204cは、スルー画内に拡大表示回数が所定回数以上である人物が含まれている場合には、高解像度で画像を撮影するようにデジタルカメラ200を制御する。
図2は、本実施の形態におけるデジタルカメラ200の処理を示すフローチャートである。図2に示す処理は、デジタルカメラ200の電源がオンされると起動するプログラムとして、制御装置204によって実行される。
ステップS10において、データ送受信部204bは、接続インターフェース207を介して画像再生装置300と接続されたか否かを判断する。画像再生装置300と接続されていないと判断した場合には、後述するステップS50へ進む。これに対して、画像再生装置300と接続されたと判断した場合には、ステップS20へ進む。
ステップS20では、データ送受信部204bは、メモリ206に記録されている画像データ、顔登録データ、およびメモリ206内に作成されているフォルダ構造に関するデータをデジタルカメラ200へ送信する。このとき、データ送受信部204bは、上述したように、画像再生装置300が有する顔登録データのデータ形式に基づいて、各個人ごとの(A)〜(H)のデータを含む顔登録データを生成する。また、画像再生装置300が備えるHDD304の空き容量をチェックして、空き容量に応じたデータを送信する。その後、ステップS30へ進む。
ステップS30では、画像再生装置300から上述した顔登録データ、スライドショーデータ、再生状況データ、およびフォルダ構造に関するデータの受信が完了したか否かを判断する。データの受信が完了したと判断した場合には、ステップS40へ進む。ステップS40では、データ送受信部204bは、受信したデータをメモリ206へ記録する。このとき、受信した顔登録データとメモリ206内に既に記録してある顔登録データとを比較して、画像再生装置300側で更新されたデータ、および画像再生装置300側で新たに登録されたデータを抽出して、メモリ206内の顔登録データを更新する。その後、ステップS50へ進む。
ステップS50では、使用者によって画像の撮影が開始されたか否かを判断する。使用者によって画像の撮影が開始されないと判断した場合には、後述するステップS110へ進む。これに対して、画像の撮影が開始されたと判断した場合には、ステップS60へ進む。ステップS60では、画像処理部204aは、撮像素子203から入力されるスルー画の各コマに対して上述した顔認識処理を行って、スルー画内に存在する被写体を特定して、ステップS70へ進む。
ステップS70では、カメラ制御部204cは、画像処理部204aによるスルー画内に存在する人物の特定結果、およびメモリ206に記録されている再生状況データに基づいて、撮影時のデジタルカメラ200の設定を変更する。すなわち、デジタルカメラ200のAF優先度、および撮影時の解像度を変更する。その後、ステップS80へ進み、カメラ制御部204cは、使用者によってレリーズボタンが押下されたか否かを判断する。レリーズボタンが押下されていないと判断した場合には、ステップS60へ戻って処理を繰り返す。一方、レリーズボタンが押下されたと判断した場合には、ステップS90へ進む。
ステップS90では、カメラ制御部204cは、使用者によってレリーズボタンが押下されたタイミングで撮像素子203から入力されているコマの画像を撮影画像として取得する。その後、ステップS100へ進み、画像処理部204aは、当該撮影画像に対して種々の画像処理を施した後、既に特定されている画像内の被写体に応じたフォルダに振り分けてメモリ206へ記録する。その後、ステップS110へ進む。
ステップS110では、使用者によってデジタルカメラ200の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップS10へ戻って処理を繰り返す。これに対して、電源がオフされたと判断した場合には、処理を終了する。
図3は、本実施の形態における画像再生装置300の処理を示すフローチャートである。図3に示す処理は、画像再生装置300の電源がオンされると起動するプログラムとして、制御装置302によって実行される。
ステップS210において、データ送受信部302aは、接続インターフェース303を介してデジタルカメラ200と接続されたか否かを判断する。デジタルカメラ200と接続されていないと判断した場合には、後述するステップS250へ進む。これに対して、デジタルカメラ200と接続されたと判断した場合には、ステップS220へ進む。
ステップS220では、データ送受信部302aは、HDD304に記録されている顔登録データ、スライドショーデータ、再生状況データ、およびフォルダ構造に関するデータを、接続インターフェース303を介してデジタルカメラ200へ送信する。その後、ステップS230へ進み、デジタルカメラ200から画像データ、顔登録データ、およびメモリ206内に作成されているフォルダ構造に関するデータの受信が完了したか否かを判断する。データの受信が完了したと判断した場合には、ステップS240へ進む。
ステップS240では、データ送受信部302aは、受信したフォルダ構造に関するデータに基づいて、HDD304内にフォルダを作成し、受信した顔登録データを用いてHDD304内に記録されている顔登録データを更新する。そして、受信した画像データおよびスライドショーデータを人物ごとのフォルダに振り分けてHDD304に記録する。その後、ステップS250へ進む。
ステップS250では、画像再生部302cは、使用者によってスライドショーの実行が指示されたか否かを判断する。スライドショーの実行が指示されていないと判断した場合には、後述するステップS270へ進む。これに対して、スライドショーの実行が指示されたと判断した場合には、ステップS260へ進む。ステップS260では、画像再生部302cは、使用者によってスライドショーの対象として選択された画像を順番にモニタ305へ表示してスライドショー再生する。さらに、このときのスライドショーデータを作成してHDD304へ記録する。その後、ステップS270へ進む。
ステップS270では、画像再生部302cは、使用者によって画像の再生が指示されたか否かを判断する。画像の再生が指示されていないと判断した場合には、後述するステップS290へ進む。これに対して、画像の再生が指示されたと判断した場合には、ステップS280へ進む。ステップS280では、画像再生部302cは、使用者によって選択された画像をモニタ305へ表示して再生する。さらに、情報管理部302dは、再生を行った画像内に存在する人物を特定し、特定した人物の再生カウンタに1を加算して更新する。その後、ステップS290へ進む。
ステップS290では、画像再生部302cは、使用者によって画像の拡大表示が指示されたか否かを判断する。画像の拡大表示が指示されていないと判断した場合には、後述するステップS310へ進む。これに対して、画像の拡大表示が指示されたと判断した場合には、ステップS300へ進む。ステップS300では、画像再生部302cは、現在、モニタ205に表示中の画像を拡大表示する。さらに、情報管理部302dは、拡大表示を行った画像内に存在する人物の拡大表示カウンタに1を加算して更新する。その後、ステップS310へ進む。
ステップS310では、使用者によって画像再生装置300の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップS210へ戻って処理を繰り返す。これに対して、電源がオフされたと判断した場合には、処理を終了する。
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)デジタルカメラ200が有する顔登録データを画像再生装置300へ送信し、画像再生装置300が有する顔登録データをデジタルカメラ200から送信した顔登録データを用いて更新するようにした。これによって、デジタルカメラ200と画像再生装置300との間で顔登録データの同期をとることができ、使用者はデジタルカメラ200上で顔登録データを登録・更新するだけで、その内容を画像再生装置300上でも使用できるようになる。
(2)デジタルカメラ200の画像処理部204a、および画像再生装置300の画像処理部302bのそれぞれで顔登録データを用いた顔認識処理を行うようにした。これによって、デジタルカメラ200および画像再生装置300のいずれにおいても、画像内に存在する人物を特定することが可能となる。
(3)画像再生装置300からデジタルカメラ200へ利用状況データを送信し、デジタルカメラ200においては、カメラ制御部204cは、受信した利用状況データに基づいて、デジタルカメラ200を制御するようにした。これによって、画像再生装置300の使用者による利用状況をデジタルカメラ200の制御に自動的に反映することができる。
(4)利用状況データには、HDD304内に作成されているフォルダ構造に関するデータを含み、これを受信したデジタルカメラ200では、受信したフォルダ構造に関するデータに基づいて、メモリ206内にフォルダを作成するようにした。また、デジタルカメラ200から画像再生装置300に対してもフォルダ構造に関するデータを送信し、これを受信した画像再生装置300では、受信したフォルダ構造に関するデータに基づいて、HDD304内にフォルダを作成するようにした。これによって、デジタルカメラ200と画像再生装置300のそれぞれで使用者によって作成されたフォルダの同期を自動的にとることができる。
(5)利用状況データには、画像再生装置300上で再生された画像のスライドショーデータを含むようにした。これによって、画像再生装置300上で再生された画像のスライドショーを、デジタルカメラ200上でも閲覧することができる。
(6)利用状況データには、被写体ごとの再生状況データを含み、デジタルカメラ200においては、カメラ制御部204cは、受信した再生状況データに基づいて、デジタルカメラ200の設定を変更するようにした。これによって、画像再生装置300の利用状況を画像撮影時のデジタルカメラ200の設定に反映することができる。
(7)被写体ごとの再生状況データとして、被写体ごとの画像の再生回数を送信するようにし、カメラ制御部204cは、撮影時に複数の被写体が特定された場合には、再生回数が最も多い被写体に対して焦点を合わせて画像を撮影するようにした。これによって、よく再生される人物は、使用者が主要被写体として撮影したいと考えている人物である可能性が高いことを加味して、自動的に主要被写体に焦点を合わせて画像を撮影することができる。
(8)被写体ごとの再生状況データとして、被写体ごとの再生時に拡大表示された回数を送信するようにし、カメラ制御部204cは、特定された被写体が画像再生装置上で拡大表示された回数に応じて、撮影時の撮影解像度を変化させるようにした。これによって、拡大表示回数が多い人物が被写体に含まれている画像を高い解像度で撮影することができ、使用者は拡大して表示した時でも綺麗な画像を閲覧できるようになる。
―変形例―
なお、上述した実施の形態の画像再生システムは、以下のように変形することもできる。
(1)上述した実施の形態では、デジタルカメラ200から画像再生装置300へ顔登録データを送信し、画像再生装置300のデータ送受信部302aは、受信した顔登録データとHDD304内にあらかじめ記録してある顔登録データとを比較して、一致しないデータおよび不足しているデータを抽出して、HDD304内の顔登録データを更新する例について説明した。しかしこれに限定されず、デジタルカメラ200からデータを送信する際に、データ送受信部204bが、メモリ206内に記録されている顔登録データと画像再生装置300のHDD304内に記録されている顔登録データとを照合して、HDD304内にない顔登録データのみを画像再生装置300へ送信するようにしてもよい。
(2)上述した実施の形態では、画像再生装置300の情報管理部302dは、人物ごとの画像の再生回数および拡大表示回数を記録しておき、データ送受信部302aは、これらの再生状況データをデジタルカメラ200へ送信した。そして、デジタルカメラ200のカメラ制御部204cは、受信した再生状況データに応じて、デジタルカメラ200の設定を変更する例について説明した。しかしながら、情報管理部302dは、上述した再生状況データ以外に、使用者が各画像を印刷した回数などのデータも画像再生装置300の利用状況に含めて記録するようにし、カメラ制御部204cは、これらの情報も加味してデジタルカメラ200の設定を変更するようにしてもよい。
(3)上述した実施の形態では、デジタルカメラ200の画像処理部204aおよび画像再生装置300の画像処理部302bは、被写体認識として顔認識処理を実行し、画像内に存在する人物を特定する例について説明した。しかしながら、公知のシーン判定処理を行って画像の撮影シーンを判定するようにしてもよい。そして、デジタルカメラ200および画像再生装置300の双方において、シーンごとにフォルダ分けを行って画像を記録してもよい。
(4)上述した実施の形態では、画像再生装置300のHDD304に記録されている顔登録データをデジタルカメラ200へ送信する例について説明した。しかしこれに限定されず、例えば画像処理装置300のHDD304に記録されている顔登録データのうち、再生カウンタまたは拡大表示カウンタが一定値以上の人物に対応する顔登録データのみを抽出してデジタルカメラ200へ送信するようにしてもよい。
(5)上述した実施の形態では、デジタルカメラ200のカメラ制御部204cは、画像再生装置300から受信した再生状況データに基づいて、画像撮影時のAF優先度を変更する例について説明した。しかしながら、画像撮影時のAEを設定するようにしてもよい。
(6)上述した実施の形態では、画像再生装置300の情報管理部302dは、人物ごとの画像の再生回数をカウントしてデジタルカメラ200へ送信し、デジタルカメラ200のカメラ制御部204cは、当該再生回数に基づいて、画像撮影時のAF優先順位を変化させる例について説明した。しかしながら、情報管理部302dは、画像ごとの再生回数もカウントし、カメラ制御部204cは、よく再生される画像を使用者のお気に入りの画像とみなして、カメラの壁紙や起動時画面にして設定するようにしてもよい。また、画像再生装置300上で使用者が「お気に入り画像」を指定することができるようにし、カメラ制御部204cは、「お気に入り画像」に指定されている画像をカメラの壁紙や起動時画面にして設定するようにしてもよい。
(7)上述した実施の形態では、画像再生装置300からデジタルカメラ200へ再生状況データを送信し、デジタルカメラ200では、カメラ制御部204cが再生状況データに基づいてデジタルカメラ200の設定を変更する例について説明した。しかしながら、画像再生装置300にカメラ制御部204cと同一の機能を搭載し、画像再生装置300側から再生状況データに基づいてデジタルカメラ200の設定を変更するようにしてもよい。
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
画像再生システムの一実施の形態の構成を示すブロック図である。 デジタルカメラ200の処理を示すフローチャート図である。 画像再生装置300の処理を示すフローチャート図である。
符号の説明
100 画像再生システム、200 デジタルカメラ、201 入力スイッチ、202 レンズ、203 撮像素子、204 制御装置、204a、302b 画像処理部、204b、302a データ送受信部、204c カメラ制御部、205、305 モニタ、206 メモリ、207、303 接続インターフェース、300 画像処理装置、301 入力装置、302 制御装置、302c 画像再生部、302d 情報管理部、304 HDD

Claims (9)

  1. デジタルカメラと画像再生装置とを接続した画像再生システムであって、
    前記画像再生装置は、
    前記デジタルカメラから画像を取得して、記録媒体に記録する画像記録手段と、
    使用者からの指示に基づいて、前記記録媒体に記録された画像を再生する再生手段と、
    前記画像再生装置の利用状況に関する利用状況データを前記デジタルカメラへ送信する送信手段とを備え、
    前記デジタルカメラは、
    前記画像再生装置から前記利用状況データを取得するデータ取得手段と、
    前記データ取得手段で取得した前記利用状況データに基づいて、前記デジタルカメラを制御する制御手段とを備え、
    前記デジタルカメラおよび前記画像再生装置のそれぞれは、画像内に存在する特定の被写体を、記録した被写体情報を用いて特定する特定手段をさらに備え、
    前記利用状況データは、前記特定手段によって特定された被写体ごとの、前記再生手段による画像の再生状況を示す再生状況データを含み、
    前記制御手段は、取得した前記再生状況データに基づいて、前記デジタルカメラの設定を変更することを特徴とする画像再生システム。
  2. 請求項1に記載の画像再生システムにおいて、
    前記利用状況データは、前記再生手段によって再生された画像のスライドショーデータを含み、
    前記制御手段は、使用者からの指示に基づいて、取得した前記スライドショーデータを用いて画像を再生することを特徴とする画像再生システム。
  3. 請求項1〜2のいずれか一項に記載の画像再生システムにおいて、
    前記再生状況データは、被写体ごとの画像の再生回数を含み、
    前記デジタルカメラの前記特定手段は、撮影時に前記被写体情報を用いて被写体を特定し、
    前記制御手段は、撮影時に複数の被写体が特定された場合には、前記画像再生装置上で再生回数が最も多い被写体に対して焦点を合わせて画像を撮影することを特徴とする画像再生システム。
  4. 請求項1〜3のいずれか一項に記載の画像再生システムにおいて、
    前記再生状況データは、被写体ごとの再生時に拡大表示された回数を含み、
    前記デジタルカメラの前記特定手段は、撮影時に前記被写体情報を用いて被写体を特定し、
    前記制御手段は、特定された被写体が前記画像再生装置上で拡大表示された回数に応じて、撮影時の撮影解像度を変化させることを特徴とする画像再生システム。
  5. 請求項1〜4のいずれか一項に記載のデジタルカメラ。
  6. 請求項1〜4のいずれか一項に記載の画像再生装置。
  7. デジタルカメラにおいて、
    画像再生装置で再生した画像内の被写体ごとの再生状況を示す再生状況データを取得するデータ取得手段と、
    撮影する画像内に存在する特定の被写体を、記録媒体に記録した被写体情報を用いて特定する特定手段と、
    前記特定手段によって特定された撮影する画像内に存在する被写体の撮影時に、前記データ取得手段より取得した前記再生状況データに基づいて、前記デジタルカメラの設定を変更する制御手段とを備えることを特徴とするデジタルカメラ。
  8. 請求項7に記載のデジタルカメラにおいて、
    前記データ取得手段は、被写体ごとの画像の再生回数を含む前記再生状況データを取得し、
    前記特定手段は、撮影時に前記被写体情報を用いて被写体を特定し、
    前記制御手段は、撮影時に複数の被写体が特定された場合には、前記画像再生装置上で再生回数が最も多い被写体に対して焦点を合わせて画像を撮影することを特徴とするデジタルカメラ。
  9. 請求項7〜8のいずれか一項に記載のデジタルカメラにおいて、
    前記データ取得手段は、被写体ごとの再生時に拡大表示された回数を含む前記再生状況データを取得し、
    前記特定手段は、撮影時に前記被写体情報を用いて被写体を特定し、
    前記制御手段は、特定された被写体が前記画像再生装置上で拡大表示された回数に応じて、撮影時の撮影解像度を変化させることを特徴とするデジタルカメラ。
JP2006156770A 2006-06-06 2006-06-06 画像再生システム、デジタルカメラ、および画像再生装置 Expired - Fee Related JP5124994B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006156770A JP5124994B2 (ja) 2006-06-06 2006-06-06 画像再生システム、デジタルカメラ、および画像再生装置
PCT/JP2007/061377 WO2007142237A1 (ja) 2006-06-06 2007-06-05 画像再生システム、デジタルカメラ、および画像再生装置
US12/227,896 US8355050B2 (en) 2006-06-06 2007-06-05 Image replay system, digital camera, and image replay device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006156770A JP5124994B2 (ja) 2006-06-06 2006-06-06 画像再生システム、デジタルカメラ、および画像再生装置

Publications (2)

Publication Number Publication Date
JP2007329521A JP2007329521A (ja) 2007-12-20
JP5124994B2 true JP5124994B2 (ja) 2013-01-23

Family

ID=38801488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006156770A Expired - Fee Related JP5124994B2 (ja) 2006-06-06 2006-06-06 画像再生システム、デジタルカメラ、および画像再生装置

Country Status (3)

Country Link
US (1) US8355050B2 (ja)
JP (1) JP5124994B2 (ja)
WO (1) WO2007142237A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979623B2 (ja) * 2008-03-19 2012-07-18 三洋電機株式会社 画像処理装置
JP5967473B2 (ja) 2011-06-03 2016-08-10 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
JP2013013063A (ja) 2011-06-03 2013-01-17 Panasonic Corp 撮像装置及び撮像システム
JP5652408B2 (ja) * 2012-01-16 2015-01-14 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
TW201442484A (zh) * 2013-04-29 2014-11-01 Wen-Chiang Shu 具自動點播模組之通訊裝置及其方法
JP2017059888A (ja) * 2015-09-14 2017-03-23 オリンパス株式会社 情報記録装置、情報記録方法及び情報記録プログラム
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001218135A (ja) * 2000-02-04 2001-08-10 Seiko Epson Corp デジタルカメラおよび撮影画像取り込み手段
JP2002169809A (ja) 2000-12-01 2002-06-14 Minolta Co Ltd 画像管理装置、画像管理方法及び記録媒体
JP2003044511A (ja) * 2001-07-26 2003-02-14 Fuji Photo Film Co Ltd 表示装置、撮像装置、画像検索装置、及びプログラム
JP4061206B2 (ja) * 2002-03-11 2008-03-12 富士フイルム株式会社 代表画像生成装置
JP2004104675A (ja) * 2002-09-12 2004-04-02 Konica Minolta Holdings Inc 情報記録媒体及び画像データの記録方法並びに画像データ記録プログラム
US7394969B2 (en) * 2002-12-11 2008-07-01 Eastman Kodak Company System and method to compose a slide show
US20040205286A1 (en) * 2003-04-11 2004-10-14 Bryant Steven M. Grouping digital images using a digital camera
US20050248681A1 (en) * 2004-05-07 2005-11-10 Nikon Corporation Digital camera
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
JP4577113B2 (ja) * 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置
JP5010219B2 (ja) * 2006-09-08 2012-08-29 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US20090316021A1 (en) 2009-12-24
JP2007329521A (ja) 2007-12-20
WO2007142237A1 (ja) 2007-12-13
US8355050B2 (en) 2013-01-15

Similar Documents

Publication Publication Date Title
JP5124994B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP2008206018A (ja) 撮像装置およびプログラム
JP2010010936A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP2006203811A (ja) 撮像装置及びそのプログラム
JP5550305B2 (ja) 撮像装置
JP2009021992A (ja) 撮像装置及び画像検索方法
JP6180285B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2004247983A (ja) 撮影装置及び画像処理装置並びに画像処理プログラム
JP5181841B2 (ja) 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム
JP2008245015A (ja) 画像処理装置及びプログラム
JP2005117369A (ja) 動画記録装置および動画再生装置並びにデジタルカメラ
JP4882525B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP2008022216A (ja) 画像表示装置、画像表示方法、プログラム、情報記録機付き撮影装置、及び、動画像記録装置
JP2007336514A (ja) シーン選択画面生成装置、シーン選択画面追加システム、シーン選択画面生成方法、シーン選択画面追加方法、及びプログラム
JP2008245012A (ja) 画像処理装置及びプログラム
JP4948014B2 (ja) 電子カメラ
JP2008245007A (ja) 撮像装置及びプログラム
US8780250B2 (en) Image processing apparatus that processes image data to which a plurality of pieces of classification information are added, method of controlling image processing apparatus, and storage medium
JP4842232B2 (ja) 撮影装置及び画像再生装置
JP2015179965A (ja) 撮像装置、撮像方法及びプログラム
JP2010171849A (ja) 画像再生装置および電子カメラ
JP3913046B2 (ja) 撮像装置
WO2006016461A1 (ja) 撮像装置
JP2012235273A (ja) 撮像装置、制御方法及びプログラム
JP2008252321A (ja) 撮像装置、撮像方法、及び撮像プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121015

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5124994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees