JP4174923B2 - 装着型カメラ - Google Patents

装着型カメラ Download PDF

Info

Publication number
JP4174923B2
JP4174923B2 JP20836799A JP20836799A JP4174923B2 JP 4174923 B2 JP4174923 B2 JP 4174923B2 JP 20836799 A JP20836799 A JP 20836799A JP 20836799 A JP20836799 A JP 20836799A JP 4174923 B2 JP4174923 B2 JP 4174923B2
Authority
JP
Japan
Prior art keywords
data
operation mode
amount
recording
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP20836799A
Other languages
English (en)
Other versions
JP2001036800A (ja
Inventor
賢司 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP20836799A priority Critical patent/JP4174923B2/ja
Priority to US09/620,944 priority patent/US6558050B1/en
Publication of JP2001036800A publication Critical patent/JP2001036800A/ja
Application granted granted Critical
Publication of JP4174923B2 publication Critical patent/JP4174923B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B15/00Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives
    • G08B15/004Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives using portable personal devices
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、人体に装着される動画像を撮影するカメラに関するものである。
【0002】
【従来の技術】
頭部などの人体に装着され、画像及び音声の記録を行うカメラが特開平9−65188号公報,特開平8−46848号公報,特開昭63−284529号公報,特開平3−289893号公報等に開示されている。このようなカメラによると、撮影動作を意図することなく画像及び音声の記録を行うことができる。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来のカメラにおいては、電力及びメモリ容量の制限から長時間の撮影は困難であった。十分な電力供給がなされるように、大型の電池を搭載することも可能であるが、コストが高くなったり、装置が大型化する。また、大容量のメモリを使用することも可能であるが、コストが高くなるとともに、再生時に必要とするシーンの選択に時間がかかる。
【0004】
長時間の撮影が可能であれば、カメラによる画像及び音声の記録を、誰に会ったか、何をしたか、どこへ行ったか、物をどこにしまったか等、装着者の記憶の補助とすることができる。また、装着者が何をどのように見たか、見た映像によってどのように行動をとったのか等、装着者の行動解析を行うためのデータとして用いることができる。
【0005】
本発明は、上記問題点に鑑み、使用メモリ容量、消費電力の削減を図ることにより長時間の撮影を可能とし、かつ装着者にとって有用な情報を記録することができる人体に装着されるカメラを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像を撮影し、画像データに処理を施した後これを記録するものであり、人体に装着される型のカメラにおいて、動作内容がそれぞれ異なる複数の動作モードを有し、装着者の動作状態及び生理的状態の内、一方又は両方を検出する検出手段と、前記検出手段の検出結果に基づいて前記複数の動作モードから動作モードを選択する制御手段とを備える構成とする。
【0007】
上記構成においては、装着者の動作状態あるいは生理的状態に応じて動作モードが選択されることになる。装着者の動作状態によって観察対象は変化する。また、観察対象によって装着者の生理的状態の変化が引き起こされることはよくある。よって、装着者の動作状態あるいは生理的状態から観察対象に関する情報が得られる。人体に装着され、装着者が観察している観察対象を撮影する上記構成のカメラにおいては、取得される観察対象の情報に応じて動作内容を選択できる。カメラの動作としては、撮影,画像データ処理,画像データ記録等の動作があり、これらの内容によって、消費電力、使用するメモリ容量が異なる。
【0008】
前記検出手段は、装着者の頭部方向,発声状態,視線方向,歩行状態,脈拍,血圧,体温,発汗状態,瞳の大きさの内少なくとも一つを検出するものであることが望ましい。例えば、頭部方向の変化量が大きいとき、あるいは歩行状態にあるときは、観察対象の変化量が大きいと推測される。脈拍の上昇量が大きいときは、装着者が緊張状態にあり、観察対象のデータは装着者の行動解析のデータとして有用度が高い可能性があるという情報が得られる。
【0009】
前記動作モードとして消費電力が異なる複数のモードを有する構成としてもよい。この構成においては、例えば有用度が低いと推測される観察対象のデータは撮影レートの低い低消費電力モードで撮影することにより、有用度の高いデータには影響を与えることなく消費電力,メモリ容量の低減を図ることができる。
【0010】
前記動作モードとして画像データ記録時のデータ量が異なる複数のモードを有する構成としてもよい。この構成においては、例えば有用度が低いと推測される観察対象のデータはデータ量を削減して記録することにより、有用度の高いデータに影響を与えることなく使用するメモリ容量の低減を図ることができる。
【0011】
尚、前記画像データ記録時のデータ量の差異は、圧縮率,色分解能,解像度,単位時間あたりに記録する画像の枚数である記録レートの内少なくとも一つの差異による構成とすればよい。本明細書における圧縮率は、圧縮前のデータ量を圧縮後のデータ量で割った値とする。よって,圧縮率が高いほど、記録レートが小さいほど、色分解能,解像度が低いほどデータ量は少なくなる。
【0012】
上記いずれの構成のカメラにおいても、撮影日時を記録する撮影日時記録手段を有する構成であることが望ましい。画像データとともに撮影日時を記録できるので、記憶の補助としてより有用なものとなる。
【0013】
また、上記いずれの構成のカメラにおいても、現在の動作モードを装着者に報知する報知手段を有する構成であることが望ましく、さらには、前記動作モードを手動で指定する手動動作モード指定手段を有する構成であることが望ましい。この構成においては、装着者は現在の動作モードを認識できるとともに、手動で動作モードを指定することができる。
【0014】
前記制御手段は、前記検出手段の検出結果に基づく頭部方向の変化量に応じて選択する動作モードを切り替えるものとしてもよい。この構成において、前記変化量が所定量以上の場合に選択する動作モードは、所定量より小さい場合に選択する動作モードより前記記録レートが大きいものとする。すなわち、観察対象の変化量が大きいと推測される場合は記録レートを大きくする。観察対象の変化量が大きい場合に、記録レートが小さいと、必要な情報の記録漏れが生じる可能性がある。
【0015】
前記制御手段は、前記検出手段の検出結果に基づく視線方向の変化量に応じて選択する動作モードを切り替えるものとしてもよい。この構成においては、変化量が所定量より小さい場合に選択する動作モードは、所定量以上の場合に選択する動作モードより前記解像度が高いようにする。視線方向の変化量が小さい場合は、観察対象を凝視している可能性が高い。凝視している場合、装着者が詳細に観察対象を観察していると考えられるので、高い解像度で画像データを記録することで、より有用なデータとなる。
【0016】
上記カメラは、さらに音声を取り込み、音声データに処理を施した後これを記録する構成であり、前記検出手段により装着者の発声状態が検出される構成であってもよい。この構成において、前記制御手段は、前記検出手段の検出結果に基づいて、音声データ記録時のデータ量を決定することとする。音声データ記録時のデータ量の差異は、例えば圧縮率の差異や、記録の有無によるものとすることができる。
【0017】
【発明の実施の形態】
以下、本発明の実施形態の装着型カメラについて図面を参照しながら説明する。図1は、本実施形態の装着型カメラ1が人物に装着されている状態を示している。装着型カメラ1は、本体部2が装着者の頭部にヘッドセット3にて装着され固定される構成である。装着型カメラ1は、装着者の動作状態及び生理的状態を検出するためのデータを測定する複数の装置を備えている。図1では、耳に装着され脈拍及び体温を測定する脈拍・体温測定装置13のみを図示し他は省略する。
【0018】
図2は、装着型カメラ1の構成図である。コントローラ5は、装着型カメラ1の動作を制御する。ビデオカメラ回路6は、撮影レンズ24を介して入射される被写体からの光を撮影し、画像データをコントローラ5に送出する。頭部位置測定装置4は、装着者の頭部の3次元的な位置を測定し、測定値をコントローラ5に送出する。コントローラ5では、この測定値に基づいて頭部方向を検出し、頭部方向の変化量を算出する。頭部位置測定装置4は、たとえば本出願人による特開平8−289226号公報に開示されている装置により実現できる。
【0019】
マイクロフォン22は、周辺の音を取り込むとともに、装着者の発声も取り込む。取り込んだデータは、コントローラ5に送出される。コントローラ5は、このデータを用いて装着者の発声の有無を検出する。
【0020】
赤外LED照明装置23は、装着者の視線方向の検出のために用いられ、ハーフミラー10,11を介して装着者の眼球18に照射され、その反射光がハーフミラー11,10とレンズ9を介して撮影センサー8に入射される。ここでの画像データはコントローラ5に送出される。コントローラ5は、撮影センサー8に入射される反射光の位置に基づいて、視線方向を検出し、視線方向の変化量を算出する。
【0021】
撮影センサー8は、赤外LED照明装置23の非発光時には、装着者の眼球18から光を撮影する。この画像データは、コントローラ5に送出される。コントローラ5は、この検出結果を用いて、装着者の眼球18の瞳径を画像処理によって検出し、瞳径の変化量を算出する。撮影モード報知LED7は、赤,緑の2色を表示可能である。表示された色は、ハーフミラー10,11を介して装着者の眼球18に与えられる。撮影モード報知LED7においては、後述する撮影モードに応じた色が表示される。この色により、装着者に現在の撮影モードを報知する。
【0022】
コントローラ5は、ビデオカメラ回路6からの画像データ及びマイクロフォン22からの音声データに所定の処理を施す。処理後のデータは、記録装置12に記録される。記録装置12は、ハードディスクで構成されている。
【0023】
時計回路19は、コントローラ5に接続されている。コントローラ5は、時計回路19からの信号に基づいて、撮影された日時を画像データとともに記録装置12に記録する。手動スイッチ20は、装着者により操作されるものであり、操作情報はコントローラ5に送出される。装着者は、手動スイッチ20の操作により、電源のオン,オフの指示及び動作モードに関する設定を行う。電池回路17は、装着型カメラ1全体に電力を供給する。以上が、本体部2内に構成されている回路である。
【0024】
次に、本体部2とは異なる部分に装着される各装置について説明する。脈拍・体温測定装置13は、装着者の耳に装着され、装着者の脈拍及び体温を測定する。血圧測定装置14は、装着者の上腕部に装着され、血圧を測定する。脈拍・体温測定装置13、血圧測定装置14での測定結果はコントローラ5に送出される。コントローラ5は、この測定結果に基づいて脈拍の変化量,体温の変化量,血圧の変化量を算出する。歩行状態測定装置15は、装着者のベルトに装着され、振動を検出する。検出結果はコントローラ5に送出される。コントローラ5は、この検出結果に基づいて装着者が歩行中か否かを判定する。振動が検出されている状態は装着者が歩行中であると判定し、検出されていない状態は歩行中でないと判定する。
【0025】
発汗状態測定装置16は、装着者の脇の下に装着され、皮膚上の電気伝導度を測定し、この測定結果をコントローラ5に送出する。コントローラ5は、この測定結果に基づいて、発汗量を検出し、発汗量の変化量を算出する。
【0026】
次に、コントローラ5の動作について説明する。以下、コントローラ5の動作が異なる第1〜第6の実施形態の装着型カメラについて説明する。各実施形態の装着型カメラの基本構成は、上述の通りである。
【0027】
〈第1の実施形態〉
図3に、本実施形態の手動スイッチ20の外観図を示す。手動スイッチ20は1個の回転式スイッチ201より構成されている。回転式スイッチ201は、OFF,AUTO,LOW(L),HIGH(H)の4つのポジションを有する。OFF位置では、装着型カメラ1の動作がオフとなる。AUTO位置では、後述の動作モードがコントローラ5により自動で設定される。L,H位置では、動作モードが手動で設定される。L位置では低消費電力モードに設定され、H位置では高消費電力モードに設定される。手動で設定される低消費電力モード、高消費電力モードの動作内容は、自動で設定される低消費電力モード、高消費電力モードの動作内容と同じである。各動作モードの動作内容については後述する。
【0028】
図4に、本実施形態のコントローラ5の動作のフローチャートを示す。コントローラ5は処理がスタートすると、まず装着者の動作状態及び生理的状態を検出する(#5)。具体的には、上述のように、コントローラ5に接続されている各回路から送出されるデータに基づいて装着者の状態の検出を行う。この検出結果に基づいて、装着者の状態に関する以下の判定を行う。
【0029】
発声中であるか(#10)、脈拍の上昇量が所定量以上であるか(#15)、発汗量の増大量が所定量以上であるか(#20)、体温の変化量が所定量以上であるか(#25)、血圧の上昇量が所定量以上であるか(#30)、瞳径の変化量は所定量以上であるか(#35)、歩行中であるか(#40)、頭部方向の変化量が第1の所定量以上であるか(#45)、頭部方向の変化量が第2の所定量以下であるか(#50)、視線方向の変化量が所定量以下であるか(#55)、を判定する。
【0030】
いずれかの判定においてYESである場合は、動作モードを高消費電力モードに設定する(#60)。いずれの判定においてもNOである場合は、動作モードを低消費電力モードに設定する(#65)。尚、上記判定において、第2の所定量は、第1の所定量より小さく、頭部方向の変化量が第2の所定量以下である場合は、頭部がほぼ安定しているとみなすことができる程度の値とする。
【0031】
動作モードを設定後、ビデオカメラ回路6に撮影指示を出力する。撮影後、ビデオカメラ回路6から送出される画像データを取り込む(#70)。そして、このデータに処理を施す(#75)。ここでは、予め設定されている色分解能、解像度の画像データとなるように処理し、圧縮する。処理後の画像データを記録装置12に記録する(#80)。
【0032】
次に、最終設定動作モードが高消費電力モードか否かを判定する(#85)。尚、ここでいう最終設定モードとは、手動で動作モードが設定されている場合にはその動作モードのことをいい、回転式スイッチ201がAUTO位置にある場合は、コントローラ5により設定されている動作モードのことをいう(以下においても、この定義に従う)。高消費電力モードである場合は、状態検出動作(#5)に戻る。低消費電力モードである場合は、電池回路17へコントローラ5以外の回路への電力供給を遮断する指示を出力する(#90)。この指示が実行されると、コントローラ5のクロック周波数を小さくする。コントローラ5は、通常100MHZで動作しているが、10kHZに落とす。そして、10秒間待機する(#100)。待機後、再びクロック周波数を通常状態に戻し、電池回路17へ各回路への電力供給を再開する指示を出力する(#110)。そして、この指示が実行されると状態検出動作(#5)へ戻る。
【0033】
コントローラ5は、高消費電力モードにおいては動作モード報知LED7を赤色の表示とし、低消費電力モードにおいては表示しない。これによって、装着者に現在の動作モードを報知する。自動で設定されている動作モードとは異なる動作モードに設定したい場合、装着者は手動スイッチ20を操作して手動で設定すればよい。
【0034】
コントローラ5は、上記動作状態にあり、最終設定動作モードが高消費電力モードである場合は、マイクロフォン22から送出される音声データを記録装置12に記録する。最終設定動作モードが低消費電力モードである場合は、音声データの記録は行わない。
【0035】
高消費電力モードにおいては、待機時間を有さない分だけ低消費電力モードより、単位時間当たりの撮影枚数(以下、撮影レートという)が多くなる。すなわち、時間密度の高い画像データが記録される。一方、低消費電力モードにおいては、コントローラ5以外の各回路への電力供給をストップし、クロック周波数を低下させた状態で待機時間を有するので、高消費電力モードより消費する電力が少ない。また、記録する画像データの時間密度が低いので、使用するメモリ容量も少ない。さらに音声データの記録を行わないので、使用するメモリ容量が少ない。
【0036】
高消費電力モードに設定される場合、すなわち図4のフローチャートの#10〜#55のいずれかの判定において、YESと判定される場合について説明する。生理的状態(脈拍,発汗状態,体温,血圧,瞳径)の変化量に関してYESと判定される場合は、装着者に心理的変化が生じている可能性が高い。生理的状態の変化は、心理的変化によって引き起こされやすいからである。ここでいう心理的変化とは、恐れ,怒り,緊張感,照れ,驚き,喜び等が生じることをいう。心理的変化は、見ているもの(観察対象)、聞いている音声(聴取対象)が原因となって生じる可能性は高い。
【0037】
一方、動作状態(発声状態,頭部方向,視線方向,歩行状態)の判定に関してYESと判定される場合は、観察対象、聴取対象が大きく変化しているもしくは観察対象、聴取対象への装着者の関心度が高い可能性が高い。以上のように、#10〜#55のいずれかの判定において、YESと判定される状況における観察対象、聴取対象は、装着者の記憶の補助あるいは行動解析のデータとして有用度が高い可能性が高い。以下、このような状況における画像データ及び音声データを有用度の高いデータといい、このような状況以外におけるデータを有用度の低いデータという。
【0038】
本実施形態では、有用度の高い画像データを高消費電力モードにおいて高時間密度で記録しながら、有用度の低い画像データを低消費電力モードにおいて少ない消費電力、メモリ容量で記録することにより、全体として消費電力、使用メモリ容量の削減を図ることができる。音声データに関しても、有用度の高いデータを音質よく録音しながら、全体として使用するメモリ容量の削減を図ることができる。
【0039】
尚、低消費電力モードにおいては、データ取り込み(#70)、データ処理(#75)、データ記録(#80)の処理を行わない非撮影状態としてもよい。この場合は、消費電力、使用するメモリ容量のさらなる削減を図ることができる。また、有用度の低いデータを記録しないことにより再生時の検索を容易にする。
【0040】
以下、休日に車を運転して子供と動物園へ行ったAさんの1日において、各判定(#10〜#55)で、YESと判定される(され得る)事態の一例を述べる。子供との会話中は、発声中と判定される(#10)。運転中に車が急に横から飛び出してきた場合は、脈拍の上昇量が大きくなり得る(#15)。駐車場のスペースが狭く上手に駐車できない場合は、発汗量が増大し得る(#20)。食事中は体温が上昇し得る(#25)。楽しみにしていた動物が昼寝をしていて見れない場合は、血圧が上昇し得る(#30)。目の前に突然大きな動物が現れた場合は、瞳径の変化ありと判定され得る(#55)。いろいろな動物を見て歩きまわっているときは、歩行中と判定される(#40)。動きの激しい動物を観察しているときは、頭部方向の変化が大きいと判定される(#45)。動物園内の案内板を読んでいるときは、頭部方向が安定していると判定される(#50)。気に入った動物を凝視しているときは、視線方向が一定であると判定され得る(#55)。
【0041】
上記のような場合は、例えば、後に車にへこみを見つけ、撮影レートの高い撮影画像より横から急に飛び出してきた車が原因であったこと及びその車の車種が判明され得る。撮影レートが高いため、動物園の案内板の画像が記録されており、この画像から動物園の休園日がわかる。また、撮影画像は、Aさんの行動を解析するためのデータとしても有用である。Aさんに心理的変化が生じたシーン,観察対象に大きな変化が生じたシーン,関心の高かったシーンは高い撮影レートで記録されているので、行動解析用のデータとして望ましいものである。
【0042】
〈第2の実施形態〉
本実施形態の手動スイッチ20の外観は、第1の実施形態と同様である。ただし、L,H位置で手動により設定される動作モードが異なり、L位置では低データ量処理モードに、H位置では高データ量処理モードに設定される。
【0043】
図5に、本実施形態のコントローラ5の動作のフローチャートを示す。コントローラ5は処理がスタートすると、まず装着者の動作状態及び生理的状態を検出する(#115)。この処理は、図4の#5の処理と同じである。その後、#120〜#165の判定処理を行う。この判定処理は、図4の#10〜#55の処理と同じである。
【0044】
いずれかの判定においてYESである場合は、動作モードを高データ量処理モードに設定する(#170)。いずれの判定においてもNOである場合は、動作モードを低データ量処理モードに設定する(#175)。
【0045】
動作モードの設定後、ビデオカメラ回路6に撮影指示を出力する。撮影後、ビデオカメラ回路6から送出される画像データを取り込む(#180)。そして、取り込んだデータに設定されているモードに応じた処理を施し(#185)、処理後の画像データを記録装置12に記録する(#190)。その後、#115へ戻る。高データ量処理モードは、低データ量処理モードより記録時のデータ量が多いモードである。コントローラ5は、動作モード報知LED7の表示を高データ量処理モードである場合は赤色、低データ量処理モードである場合には緑色として、現在の動作モード(最終設定動作モード)を装着者に報知する。
【0046】
図6に、図5の#185のデータ処理のフローチャートを示す。データ処理に入ったら、まず最終設定動作モードを判定する(#200)。高データ量処理モードに設定されている場合は、データを低圧縮する(#205)。低データ量処理モードに設定されている場合は、データを高圧縮する(#210)。いずれのモードにおいても、圧縮率以外の処理条件(例えば、画像データの色解像度、分解能、記録レート等)は予め設定されている条件に基づいて処理する。処理後のデータは、図5の#190で記録される。
【0047】
〈第3の実施形態〉
本実施形態は、第2の実施形態とは、コントローラ5のデータ処理動作(図5の#185)が異なるだけである。図7に、データ処理のフローチャートを示す。
【0048】
データ処理に入ったら、まず最終設定動作モードを判定する(#215)。高データ量処理モードに設定されている場合は、画像データを1678万色カラーデータとなるように処理する(#220)。低データ量処理モードに設定されている場合は、画像データを256色カラーデータとなるように処理する(#225)。いずれのモードにおいても、色分解能以外の処理条件は予め設定されている条件に基づいて処理する。処理後のデータは、図5の#190で記録される。
【0049】
〈第4の実施形態〉
本実施形態は、第2の実施形態とは、コントローラ5のデータ処理動作(図5の#185)が異なるだけである。図8に、データ処理のフローチャートを示す。
【0050】
データ処理に入ったら、まず最終設定動作モードを判定する(#230)。高データ量処理モードに設定されている場合は、画像データを640×480画素のデータとなるように処理する(#235)。低データ量処理モードに設定されている場合は、画像データを320×240画素のデータとなるように処理する(#240)。いずれのモードにおいても、解像度以外の処理条件は予め設定されている条件に基づいて処理する。処理後のデータは、図5の#190で記録される。
【0051】
上記第2〜第4の実施形態においては、有用度の高い画像データは高精度で記録される。一方、有用度の低い画像データに関しては精度を下げて記録することにより、使用するメモリ容量の低減が図られる。尚、音声データに関しては、高データ量処理モードにおいては低圧縮率で記録され、低データ量処理モードにおいては高圧縮率で記録される。よって、有用な音声データを音質良く録音しつつメモリ容量の低減が図られる。
【0052】
〈第5の実施形態〉
本実施形態は、第2の実施形態とは、コントローラ5のデータ処理動作(図5の#185)が異なるだけである。図9に、データ処理のフローチャートを示す。
【0053】
データ処理に入ったら、まず最終設定動作モードを判定する(#245)。高データ量処理モードに設定されている場合は、60フレーム毎秒の画像データとなるように処理する(#250)。低データ量処理モードに設定されている場合は、1フレーム毎秒の画像データとなるように処理する(#255)。いずれのモードにおいても、記録レート以外の処理条件は予め設定されている条件に基づいて処理する。処理後のデータは、図5の#190で記録される。
【0054】
本実施形態においては、有用度の高い画像データは高時間密度で記録される。一方、有用度の低い画像データに関しては時間密度を下げて記録することにより、使用するメモリ容量の低減が図られる。音声データの記録方法に関しては、第2〜第5の実施形態と同様である。
【0055】
〈第6の実施形態〉
図10に、本実施形態の手動スイッチ20の外観図を示す。手動スイッチ20は、2個の回転式スイッチ202,203を有する。画質設定スイッチ202は、画像データ処理後の画質(以下、処理画質という)を設定するスイッチで、OFF,AUTO,LOW(L),MIDDLE(M),HIGH(H)の5つのポジションを有する。記録レート設定スイッチ203は、記録レートを設定するスイッチで、AUTOと、1から120までの自然数に対応するポジションを有する。
【0056】
画質設定スイッチ202のAUTO位置では、処理画質(圧縮率,色分解能,解像度の値による)はコントローラ5により自動で設定される。L,M,H位置では処理画質は手動で設定される。L,M,Hはそれぞれ低画質,中画質,高画質に対応する。各画質に対応する圧縮率,色分解能,解像度の設定値は予め決められている。高画質ほど圧縮率は小さく、色分解能,解像度はよくなる。OFF位置では、装着型カメラ1の動作をオフにする。
【0057】
記録レート設定スイッチ203のAUTO位置では、記録レートはコントローラ5により自動で設定される。AUTO以外の位置では、記録レートは対応する数値に設定される。図10では、処理画質はAUTOに、記録レートは40フレーム毎秒に設定されている。尚、画質設定スイッチ202は、回転部分が押し下げ可能に構成されており、この押し下げにより、他のスイッチの設定位置にかかわらず、1枚の高画質静止画像を記録する。すなわち、画質設定スイッチ202は撮影ボタンを兼用する。
【0058】
図11に、本実施形態のコントローラ5の動作のフローチャートを示す。コントローラ5は処理がスタートすると、まず撮影ボタンが押し下げられているか否かを判定する(#300)。押し下げられている場合は、画像データを取り込み(#305)、高画質となるようにデータ処理を施して(#310)記録する(#315)する。この一連の動作により1枚の高画質静止画像が記録される。そして、#300に戻る。
【0059】
撮影ボタンが押し下げられていない場合は、装着者の動作状態及び生理的状態を検出する(#320)。この処理は、図4の#5の処理と同じである。その後、#325〜#350の判定処理を行う。この判定処理は、図4の#10〜#35の処理と同じである。
【0060】
いずれかの判定においてYESである場合には、記録レートを10フレーム毎秒に設定し(#355)、処理画質を高画質に設定する(#360)。いずれの判定においてもNOである場合は、記録レートを1フレーム毎秒に設定し(#365)、処理画質を低画質に設定する(#370)。
【0061】
次に、装着者が歩行中であるか(#375)、頭部方向の変化量が第1の所定量以上であるか(#380)を判定する。いずれかの判定においてYESである場合には、記録レートを60フレーム毎秒に設定し直し(#385)、処理画質を低画質に設定し直す(#390)。そして、手動スイッチ検出処理(#415)へ進む。いずれの判定においてもNOである場合には、頭部方向の変化量が第2の所定量以下であるか(#395)、視線方向の変化量が所定量以下であるか(#400)を判定する。いずれの判定においてもYESである場合には、記録レートを10フレーム毎秒(#405)に、処理画質を高画質に設定し直す(#415)。そして、手動スイッチ検出処理(#415)へ進む。いずれかの判定においてNOである場合には、そのまま手動スイッチ検出処理(#415)へ進む。
【0062】
手動スイッチ検出処理(#415)においては、手動スイッチ20の2個のスイッチ202,203の設定位置を検出する。画質設定ボタン202がOFFに設定されている場合は(#420)、そのまま装着型カメラ1全体の動作をオフにする。画質設定スイッチ202,記録レート設定スイッチ203ともにAUTOに設定されている場合は、前段階の処理で設定されている記録レートと、処理画質を最終設定値とする。AUTOに設定されていないスイッチがあると判定される場合は(#425,#435)、設定されているマニュアル値を最終設定値とする(#430,#440)。
【0063】
その後、データを取り込み(#445)、最終設定値に従ってデータ処理(#450)を行う。そして、処理後のデータを記録装置12に記録して(#455)、#300へ戻る。コントローラ5は、処理画質の最終設定値に応じて動作モード報知LED7の赤色表示を行う。高画質の場合は常時表示されている状態とし、中画質の場合は点滅表示とし、低画質の場合は表示をしないことにより、装着者に処理画質を報知する。また、記録レートの最終設定値に応じて動作モード報知LED7の緑色表示を行う。高レートほど、表示の点滅回数が多くなるように表示して装着者に記録レートを報知する。
【0064】
本実施形態においては、有用度の高い画像は基本的には高い記録レートで、また高画質で記録される。ただし、歩行中であったり頭部方向の変化量が大きい場合のように、観察対象の変化が大きいと判定される場合はさらに記録レートを上げ、高時間密度で画像を記録する。また、頭部方向と視線方向の変化量が小さい場合のように、観察者が観察対象を凝視している可能性が高い場合は、常に高画質で記録するようにする。このような制御により、有用度の高い画像をより有効に利用できる。また、有用度の低いデータに関しては、記録時のデータ量を削減することにより、使用するメモリ容量の低減が図られる。尚、音声データに関しては、画像データの圧縮率に対応する圧縮率で記録する。
【0065】
【発明の効果】
本発明の装着型カメラによると、複数の動作モードを有し、記録する画像に応じて動作モードを選択するので、使用するメモリ容量あるいは消費電力を削減でき、低コスト化,小型化が図られる。したがって、再生時に高速で必要な情報を得ることができる。さらに、長時間の撮影が可能となる。
【0066】
また、本発明によると、記録する画像に関する情報は、装着者の動作状態,生理的状態から得る構成とする。よって、観察者が観察している観察対象を記録する装着型カメラにおいて、適切な情報に基づいて動作モードを選択することになる。装着者にとって有用な情報は確実に記録するような動作モードを選択することにより、記録データを記憶の補助、行動解析用のデータとして有効に活用することができる。
【0067】
動作モードとして消費電力が異なる複数のモードを有する構成においては、有用度が低いと推測されるデータは低消費電力モードで撮影することにより、消費電力の低減が図られる。
【0068】
動作モードとして画像データ記録時のデータ量が異なる複数のモードを有する構成においては、有用度が高いと推測されるデータを高画質で記録しつつ、有用度が低いと推測されるデータを低画質で記録することにより、使用するメモリ容量の低減が図られる。
【0069】
撮影日時を記録する撮影日時記録手段を備えた構成においては、撮影日時を記録することにより再生時の検索を容易にする。また、記憶の補助としてより有用なデータとなる。
【0070】
現在の動作モードを報知する報知手段を備えた構成においては、装着者は撮影モードを確認できる。さらに手動動作モード指定手段を有する構成においては、装着者は自分の意思を撮影に反映できる。また、重要なシーンの撮影漏れがない。
【図面の簡単な説明】
【図1】本実施形態の装着型カメラが人物に装着されている状態を示す図。
【図2】本実施形態の装着型カメラの構成図。
【図3】第1の実施形態の手動スイッチの外観図。
【図4】第1の実施形態のコントローラの動作を示すフローチャート。
【図5】第2の実施形態のコントローラの動作を示すフローチャート。
【図6】第2の実施形態のコントローラのデータ処理動作を示すフローチャート。
【図7】第3の実施形態のコントローラのデータ処理動作を示すフローチャート。
【図8】第4の実施形態のコントローラのデータ処理動作を示すフローチャート。
【図9】第5の実施形態のコントローラのデータ処理動作を示すフローチャート。
【図10】第6の実施形態の手動スイッチの外観図。
【図11】第6の実施形態のコントローラの動作を示すフローチャート。
【符号の説明】
1 装着型カメラ
2 本体部
4 頭部方向測定装置
5 コントローラ
6 ビデオカメラ回路
7 撮影モード報知LED
8 撮影センサー
12 記録装置
13 脈拍・体温測定装置
14 血圧測定装置
15 歩行状態測定装置
16 発汗状態測定装置
17 電池回路
19 時計回路
20 手動スイッチ
22 マイクロフォン

Claims (11)

  1. 画像を撮影し、画像データに処理を施した後これを記録するものであり、人体に装着される型のカメラにおいて、
    動作内容がそれぞれ異なる複数の動作モードを有し、
    装着者の動作状態及び生理的状態の内、一方又は両方を検出する検出手段と、
    前記検出手段の検出結果に基づいて前記複数の動作モードから動作モードを選択する制御手段とを備えることを特徴とするカメラ。
  2. 前記検出手段は、装着者の頭部方向,発声状態,視線方向,歩行状態,脈拍,血圧,体温,発汗状態,瞳の大きさの内少なくとも一つを検出することを特徴とする請求項1に記載のカメラ。
  3. 前記動作モードとして消費電力が異なる複数のモードを有することを特徴とする請求項1又は2に記載のカメラ。
  4. 前記動作モードとして画像データ記録時のデータ量が異なる複数のモードを有することを特徴とする請求項1乃至3いずれかに記載のカメラ。
  5. 前記画像データ記録時のデータ量の差異は、圧縮率,色分解能,解像度,単位時間あたりに記録する画像の枚数である記録レートの内少なくとも一つの差異によることを特徴とする請求項4に記載のカメラ。
  6. 撮影日時を記録する撮影日時記録手段を有することを特徴とする請求項1乃至5いずれかに記載のカメラ。
  7. 現在の動作モードを装着者に報知する報知手段を有することを特徴とする請求項1乃至6いずれかに記載のカメラ。
  8. 前記動作モードを手動で指定する手動動作モード指定手段を有することを特徴とする請求項1乃至7いずれかに記載のカメラ。
  9. 前記制御手段は、前記検出手段の検出結果に基づく頭部方向の変化量に応じて選択する動作モードを切り替え、前記変化量が所定量以上の場合に選択する動作モードは、所定量より小さい場合に選択する動作モードより前記記録レートが大きいことを特徴とする請求項5に記載のカメラ。
  10. 前記制御手段は、前記検出手段の検出結果に基づく視線方向の変化量に応じて選択する動作モードを切り替え、変化量が所定量より小さい場合に選択する動作モードは、所定量以上の場合に選択する動作モードより前記解像度が高いことを特徴とする請求項5に記載のカメラ。
  11. 音声を取り込み、音声データに処理を施した後これを記録するものであり、前記検出手段により装着者の発声状態が検出される請求項2に記載のカメラにおいて、
    前記制御手段は、前記検出手段の検出結果に基づいて、音声データ記録時のデータ量を決定することを特徴とするカメラ。
JP20836799A 1999-07-23 1999-07-23 装着型カメラ Expired - Lifetime JP4174923B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP20836799A JP4174923B2 (ja) 1999-07-23 1999-07-23 装着型カメラ
US09/620,944 US6558050B1 (en) 1999-07-23 2000-07-21 Human body-mounted camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20836799A JP4174923B2 (ja) 1999-07-23 1999-07-23 装着型カメラ

Publications (2)

Publication Number Publication Date
JP2001036800A JP2001036800A (ja) 2001-02-09
JP4174923B2 true JP4174923B2 (ja) 2008-11-05

Family

ID=16555127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20836799A Expired - Lifetime JP4174923B2 (ja) 1999-07-23 1999-07-23 装着型カメラ

Country Status (2)

Country Link
US (1) US6558050B1 (ja)
JP (1) JP4174923B2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183306B2 (en) 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US6953249B1 (en) 2001-01-29 2005-10-11 Maguire Jr Francis J Method and devices for displaying images for viewing with varying accommodation
US6885818B2 (en) 2001-07-30 2005-04-26 Hewlett-Packard Development Company, L.P. System and method for controlling electronic devices
AU2002330406A1 (en) * 2002-09-13 2004-04-30 Fujitsu Limited Biosensing instrument and method and identifying device having biosensing function
GB2400667B (en) * 2003-04-15 2006-05-31 Hewlett Packard Development Co Attention detection
GB2403366B (en) * 2003-06-27 2007-12-27 Hewlett Packard Development Co Camera mounting and image capture
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP4421929B2 (ja) * 2004-04-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ サーバシステム
JP4505740B2 (ja) * 2005-05-16 2010-07-21 ソニー株式会社 撮像装置及びその起動方法
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
US7800650B1 (en) * 2006-01-30 2010-09-21 John Prieto Multi-functional portable viewfinder for use with a digital camcorder
CN101032401B (zh) * 2006-03-10 2010-06-23 通用电气公司 用于测量并报告步行速度变化的系统和方法
CN100450179C (zh) * 2006-05-30 2009-01-07 浙江工业大学 基于全方位计算机视觉的独居老人家庭安保装置
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5245257B2 (ja) 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
GB2456587A (en) * 2007-03-13 2009-07-22 James Bircumshaw A multi-functional body worn camera
JP2009049951A (ja) * 2007-08-23 2009-03-05 Sony Corp 撮像装置、撮像方法
GB2462887B (en) * 2008-09-01 2011-01-26 Wing Chi Winnie Hui Improvements in digital cameras
JP5262801B2 (ja) * 2009-02-17 2013-08-14 株式会社ニコン 撮像装置および画像再生プログラム
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
US9201143B2 (en) 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
WO2013138032A1 (en) * 2012-02-20 2013-09-19 Milan Slamka System for remote communications between scout and monitor
JP5861857B2 (ja) * 2010-10-26 2016-02-16 清水建設株式会社 緑地評価装置、緑地評価方法および緑地
WO2012068280A1 (en) 2010-11-16 2012-05-24 Echo-Sense Inc. Remote guidance system
JP5257525B2 (ja) * 2012-01-12 2013-08-07 ソニー株式会社 情報処理装置、撮像制御方法、プログラム
TW201424804A (zh) * 2012-12-21 2014-07-01 Hsiu-Ying Sung 水中運動的使用者自我學習系統
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9661221B2 (en) * 2013-03-15 2017-05-23 Qualcomm Incorporated Always-on camera sampling strategies
IL230578A0 (en) * 2014-01-21 2014-04-30 Life Beam Technologies Ltd Method and system for determining a life-threatening situation using sensors worn on the body
US9451178B2 (en) * 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10762429B2 (en) 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US10816800B2 (en) * 2016-12-23 2020-10-27 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
US20210035326A1 (en) * 2019-08-02 2021-02-04 Tokyo Institute Of Technology Human pose estimation system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2369829A (en) * 1943-12-02 1945-02-20 John L Johnson Camera support
JP2565175B2 (ja) 1987-05-16 1996-12-18 ソニー株式会社 ビデオカメラ
US4797736A (en) * 1987-09-02 1989-01-10 Luxtec Corporation Head mounted illumination and camera assembly
JPH0685581B2 (ja) 1990-04-06 1994-10-26 東京電力株式会社 視野共有装置
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US6337954B1 (en) * 1993-01-28 2002-01-08 Nikon Corporation Camera having a display unit including multiple display areas and a connector mounted parallel to said multiple display areas
US5886739A (en) * 1993-11-01 1999-03-23 Winningstad; C. Norman Portable automatic tracking video recording system
JPH0846848A (ja) 1994-07-29 1996-02-16 Matsushita Electric Ind Co Ltd 追尾装置付き頭部搭載型ビデオカメラおよび一時記憶装置付きビデオカメラ
US5610678A (en) * 1993-12-30 1997-03-11 Canon Kabushiki Kaisha Camera including camera body and independent optical viewfinder
US5841409A (en) 1995-04-18 1998-11-24 Minolta Co., Ltd. Image display apparatus
US5734421A (en) * 1995-05-30 1998-03-31 Maguire, Jr.; Francis J. Apparatus for inducing attitudinal head movements for passive virtual reality
JPH0965188A (ja) 1995-08-24 1997-03-07 Matsushita Electric Ind Co Ltd ビデオカメラ
US6198394B1 (en) * 1996-12-05 2001-03-06 Stephen C. Jacobsen System for remote monitoring of personnel
US5822636A (en) * 1997-06-03 1998-10-13 Cho; Sung-Jae Camera-cap combination
US6224227B1 (en) * 1999-10-20 2001-05-01 Jack Klootz Surgical headlight assembly with detachable video-camera module

Also Published As

Publication number Publication date
JP2001036800A (ja) 2001-02-09
US6558050B1 (en) 2003-05-06

Similar Documents

Publication Publication Date Title
JP4174923B2 (ja) 装着型カメラ
US8872941B2 (en) Imaging apparatus and imaging method
JP4367663B2 (ja) 画像処理装置、画像処理方法、プログラム
US20080107361A1 (en) Imaging apparatus, display apparatus, imaging method, and display method
JP5257525B2 (ja) 情報処理装置、撮像制御方法、プログラム
JP4431547B2 (ja) 画像表示制御装置ならびにそれらの制御方法およびそれらの制御プログラム
US20090115892A1 (en) Imaging system and method
JP2009049951A (ja) 撮像装置、撮像方法
US20070241884A1 (en) Information display apparatus, information display system and information display method
JP2003177449A (ja) 電子装置を制御するシステム及び方法
JP2001183735A (ja) 撮像装置および方法
JP2008099834A (ja) 表示装置、表示方法
CN101617339A (zh) 图像处理装置和图像处理方法
JP2006201531A (ja) 撮像装置
CN110740252A (zh) 一种图像获取的方法、装置及终端
JP2014143595A (ja) 画像記録装置
JP4063583B2 (ja) デジタルカメラ
JP2020067955A (ja) 表示システム、デバイス、プログラム、及びデバイスの制御方法
CN107209391A (zh) 一种头戴式显示设备及其显示方法
US10027922B2 (en) Imaging apparatus for displaying a specific scene while continuously photographing, image playback method, and non-transitory computer-readable storage medium
CN115862300B (zh) 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜
JPH09116791A (ja) 情報処理機器
JP2009027462A (ja) 撮像装置、撮像方法、撮像プログラム
JP2010183216A (ja) 撮影装置、画像再生装置、及び撮影結果報知方法
JP2004233877A (ja) 頭部搭載型モニタ装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4174923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term