JPH11265249A - 情報入力装置および情報入力方法および記録媒体 - Google Patents

情報入力装置および情報入力方法および記録媒体

Info

Publication number
JPH11265249A
JPH11265249A JP6638498A JP6638498A JPH11265249A JP H11265249 A JPH11265249 A JP H11265249A JP 6638498 A JP6638498 A JP 6638498A JP 6638498 A JP6638498 A JP 6638498A JP H11265249 A JPH11265249 A JP H11265249A
Authority
JP
Japan
Prior art keywords
light
reflected light
image
signal
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6638498A
Other languages
English (en)
Inventor
Miwako Doi
美和子 土井
Shunichi Numazaki
俊一 沼崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP6638498A priority Critical patent/JPH11265249A/ja
Priority to US09/268,656 priority patent/US6900790B1/en
Publication of JPH11265249A publication Critical patent/JPH11265249A/ja
Priority to US11/071,183 priority patent/US7348962B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】画像処理による情報入力装置では、常時入力た
めに画像取得を行っているために、消費電力が低減でき
ないという問題があった。 【解決手段】取得された画像に基づいて、画像取得手段
の動作特性を変更することで、物体が動いていないと
き、つまり、ユーザが入力をしていないとき、取得タイ
ミングなどを低減し、消費電力の低減をはかる。また、
画像が取得できるまで、取得の距離を長くするなどの取
得条件を変更し、複数の使い方が異なるユーザでも、設
定をいちいち行うことなく使用ができるようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はユーザの身振りや手
振りを入力する情報入力装置および情報入力方法および
記録媒体に関する。
【0002】
【従来の技術】コンピュータへの入力デバイスとして
は、マウスが圧倒的に使われている。マウスを使ってで
きることは、カーソルの移動と、メニューの選択などの
2次元のポインティングデバイスとしての役目である。
【0003】実際の操作も、メニューを選択するには、
マウスのボタンを2回押す(ダブルクリック)のよう
な、ある取り決めに従ったものであり、直感的な操作で
はない。このため、高齢者では、ダブルクリックができ
ないなど、直感的操作でない故に生じている問題があ
る。
【0004】このような問題点を解決するために、直感
的な操作、例えば、手を右に動かすと、画面中のカーソ
ルも右に動くというような操作を実現する研究もなされ
ている。その一つが画像処理による手振りなどのジェス
チャ認識である。
【0005】例えば、ビデオ映像などの動画像を解析し
て、手の形を認識するような研究がなされている。色を
使って切り出す場合、手の色は肌色であるので、肌色の
手段分のみを切り出すような方式が考えられる。が、背
景にベージュ色の洋服や、壁があったりすると、肌色を
識別することが難しい。また、調整を行って、ベージュ
と肌色を区別できるようにしても、照明が変われば、色
調が変化してしまうために、定常的に切り出すことは困
難である。
【0006】あるいは、フレーム間の動きベクトルを算
出し、動いている物体を解析する方式もある。この場
合、動いている物体が少ない内は問題ないが、動いてい
る物体が多いと、動きベクトルの数が急に増え、フレー
ム間で動きベクトルを算出の負荷が増し、算出が追いつ
かなくなる。
【0007】このように、従来のビデオカメラなどの撮
像手段により画像を取得して解析する方法では、解析の
流れ、解析すべき情報が固定的であるため、対象となる
画像が外部の条件に応じて刻々に変化してしまったとき
に、特定の処理部に負荷がかかり、解析が追随できなく
なるという問題が生じていた。
【0008】このような問題を解決するための一つの方
法は、負荷が増えてもリアルタイム(例えば、秒30枚
の処理)に対応できるように、高性能の計算機や高速の
伝送系を用いるなどの工夫が行われている。が、この方
法では、外部条件が大きく変動しない場合には、高性能
計算機や、高速伝送系はその能力を駆使できず、コスト
パフォーマンスが大変悪い。
【0009】このような問題点を補うために、例えば、
特願平9−299648号に示されているように、発光
手段と同期して、物体の反射光を取得することにより、
背景からの画像切り出しを容易に行い、人間の手の動き
などを抽出し、手振り、身振りによる情報入力を行える
情報入力装置が開発されている。
【0010】このような情報入力装置を用いて、例え
ば、家庭などで遠隔から、TVやオーディオ、照明器具な
どの電源のオノンオフなどの制御を行うことが可能であ
る。が、いつでもユーザが望んだときに、入力が行える
ようにするには、常に電源をオンにしておく必要があ
る。が、では、マウスなどと異なり、能動的に発光する
必要があるために、発光のための消費電力が必要となる
という問題点があった。
【0011】
【発明が解決しようとする課題】このように、従来の画
像処理方式では、刻々と変動する外部条件も対して、低
価格でかつローバストな解析をおこなうことは難しかっ
た。変動する外部条件に対してもローバストな解析を行
えるようにするには、高性能計算機や、高速伝送系を用
いるため、コストがかかりすぎ、一般の家庭で使えない
という問題があった。
【0012】
【課題を解決するための手段】このような問題点を解決
するために、パルス信号もしくは変調信号を生成するタ
イミング信号生成手段と、このタイミング信号生成手段
からの信号に基づいて強度変化する光を発する発光手段
と、このタイミング信号生成手段からの信号と同期し
て、前記発光手段から発された光の物体による反射光を
抽出する反射光抽出手段と、この反射光抽出手段によっ
て抽出された反射光から物体の反射光画像を生成する反
射光画像生成手段と、この反射光画像生成手段によって
生成された反射光画像の動きを検知する動き検知手段
と、この動き検知手段が動きを検知したとき、前記タイ
ミング信号生成手段が生成する信号の制御を行う手段を
有することを特徴とする。
【0013】また、パルス信号もしくは変調信号を生成
するタイミング信号生成手段と、このタイミング信号生
成手段からの信号に基づいて強度変化する光を発する発
光手段と、このタイミング信号生成手段からの信号と同
期して、前記発光手段から発された光の物体による反射
光を抽出する反射光抽出手段と、この反射光抽出手段に
よって抽出された反射光から物体の反射光画像を生成す
る反射光画像生成手段と、この反射光画像生成手段によ
って生成された反射光画像の動きを検知する動き検知手
段と、この動き検知手段が反射光画像の動きを検知した
とき、前記発光手段の発光強度を変化させる手段を有す
ることを特徴とする。
【0014】また、パルス信号もしくは変調信号を生成
するタイミング信号生成手段と、このタイミング信号生
成手段からの信号に基づいて強度変化する光を発する発
光手段と、このタイミング信号生成手段からの信号と同
期して、前記発光手段から発された光の物体による反射
光を抽出する反射光抽出手段と、この反射光抽出手段に
よって抽出された反射光から物体の反射光画像を生成す
る反射光画像生成手段と、この反射光画像生成手段によ
って生成された反射光画像の動きを検知する動き検知手
段と、この動き検知手段が反射光画像の動きを検知した
とき、前記発光手段の発光間隔を変化させる手段を有す
ることを特徴とする。
【0015】また、パルス信号もしくは変調信号を生成
するタイミング信号生成手段と、このタイミング信号生
成手段からの信号に基づいて強度変化する光を発する発
光手段と、このタイミング信号生成手段からの信号と同
期して、前記発光手段から発された光の物体による反射
光を抽出する反射光抽出手段と、この反射光抽出手段に
よって抽出された反射光から物体の反射光画像を生成す
る反射光画像生成手段と、この反射光画像生成手段によ
って生成された反射光画像が所定の大きさで得られるま
で、前記タイミング信号生成手段の生成する信号の周期
を変化させる手段を有することを特徴とする。
【0016】また、パルス信号もしくは変調信号を生成
するタイミング信号生成手段と、このタイミング信号生
成手段からの信号に基づいて強度変化する光を発する発
光手段と、このタイミング信号生成手段からの信号と同
期して、前記発光手段から発された光の物体による反射
光を抽出する反射光抽出手段と、この反射光抽出手段に
よって抽出された反射光から物体の反射光画像を生成す
る反射光画像生成手段と、この反射光画像生成手段によ
って生成された反射光画像が所定の大きさで得られるま
で、前記発光手段における発光強度を変化させる手段を
有することを特徴とする。
【0017】また、生成されたタイミング信号に基づい
て強度変化する光を発光し、このタイミング信号と同期
して、発光された光の物体による反射光を抽出し、この
抽出された反射光から物体の反射光画像を生成し、この
生成された反射光画像の動きを検知したとき、タイミン
グ信号の制御を行うことを特徴とする。
【0018】また、生成されたタイミング信号に基づい
て強度変化する光を発光し、このタイミング信号と同期
して、発光された光の物体による反射光を抽出し、この
抽出された反射光から物体の反射光画像を生成し、この
生成された反射光画像の動きを検知したとき、発光すべ
き光の発光強度を変化させることを特徴とする。
【0019】また、生成されたタイミング信号に基づい
て強度変化する光を発光し、このタイミング信号と同期
して、発光された光の物体による反射光を抽出し、この
抽出された反射光から物体の反射光画像を生成し、この
生成された反射光画像の動きを検知したとき、発光すべ
き光の発光間隔を変化させることを特徴とする。
【0020】また、生成されたタイミング信号に基づい
て強度変化する光を発光し、このタイミング信号と同期
して、発光された光の物体による反射光を抽出し、この
抽出された反射光から物体の反射光画像を生成し、この
生成された反射光画像が所定の大きさで得られるまで、
前記タイミング信号の周期を変化させることを特徴とす
る。
【0021】また、生成されたタイミング信号に基づい
て強度変化する光を発光し、このタイミング信号と同期
して、発光された光の物体による反射光を抽出し、この
抽出された反射光から物体の反射光画像を生成し、この
生成された反射光画像が所定の大きさで得られるまで、
発光すべき光の強度を変化させることを特徴とする。
【0022】また、物体による反射光画像を抽出するた
めのプログラムをコンピュータで実行可能なように記録
した記録媒体であって、生成されたタイミング信号に基
づいて強度変化する光を発光し、このタイミング信号と
同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像の動きを検知したとき、タイ
ミング信号の制御を行うプログラムをコンピュータで実
行可能なように記録した記録媒体である。
【0023】また、物体による反射光画像を抽出するた
めのプログラムをコンピュータで実行可能なように記録
した記録媒体であって、生成されたタイミング信号に基
づいて強度変化する光を発光し、このタイミング信号と
同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像の動きを検知したとき、発光
すべき光の発光強度を変化させるプログラムをコンピュ
ータで実行可能なように記録した記録媒体。
【0024】また、物体による反射光画像を抽出するた
めのプログラムをコンピュータで実行可能なように記録
した記録媒体であって、生成されたタイミング信号に基
づいて強度変化する光を発光し、このタイミング信号と
同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像の動きを検知したとき、発光
すべき光の発光間隔を変化させるプログラムをコンピュ
ータで実行可能なように記録した記録媒体である。
【0025】また、物体による反射光画像を抽出するた
めのプログラムをコンピュータで実行可能なように記録
した記録媒体であって、生成されたタイミング信号に基
づいて強度変化する光を発光し、このタイミング信号と
同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像が所定の大きさで得られるま
で、前記タイミング信号の周期を変化させるプログラム
をコンピュータで実行可能なように記録した記録媒体で
ある。
【0026】また、物体による反射光画像を抽出するた
めのプログラムをコンピュータで実行可能なように記録
した記録媒体であって、生成されたタイミング信号に基
づいて強度変化する光を発光し、このタイミング信号と
同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像が所定の大きさで得られるま
で、発光すべき光の強度を変化させるプログラムをコン
ピュータで実行可能なように記録した記録媒体である。
【0027】
【発明の実施の形態】(実施例1)次に図面に第1の実
施例の動作説明を行う。図1は第1の実施例の概略構成
図、図2は、図1の構成における画像取得部1の概略図
である。
【0028】反射光を受光し、距離画像を取得する、例
えば、特願平9−299648号に示されているような
画像取得部1と、画像取得部1が取得した画像を解析し
て重心や移動速度などの抽出を行う画像処理部2とから
構成されている。
【0029】図2は例えば特願平9−299648号に
示されているような画像取得部1の概略図であり、発光
部101、受光部103、反射光抽出部102、タイミ
ング信号生成部104から構成されている。発光部10
1は、タイミング信号生成部104にて生成されたタイ
ミング信号にしたがって時間的に強度変動する光を発光
する。この光は発光部前方にある対象物体に照射され
る。
【0030】受光部103は、発光部101が発した光
の対象物体による反射光の量を検出する。反射光抽出部
102は、受光部103にて受光された反射光の空間的
な強度分布を抽出する。この反射光の空間的な強度分布
は画像として捉えることができるので、以下、これを反
射光画像あるいは距離画像と呼ぶ。
【0031】受光部103は一般的に発光部101から
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部102は、発光部101が発光している時に受光
した光の量分がレンズであり、周囲に並ぶ小さな円は例
えば、赤外などの光を照射するLEDにあたる。LED
から照射された光が物体に反射され、レンズにより集光
され、レンズの後部にあるエリアセンサで受光される。
このように取得された画像は例えば、図3,図4のよう
な形式になっている。
【0032】図3は取得した画像データの一部(256
×256の一部の8×8)を示したものである。この例
では、行列中のセルの値は、取得した反射光の強さを2
56ビットでしめしたものである。255の値があるセ
ルは、画像取得部1に最も接近した状態、0の値がある
セルは、画像取得部1から遠くにあり、反射光が画像取
得部1にまで到達しないことを示している。
【0033】図4は取得した画像データ全体を3次元的
に示したものである。この例では、人間の手を取得した
データを示している。画像取得部1は、図3のような形
式で画像取得部1で取得された距離画像を受け取り、エ
ッジ切り出し、重心抽出、面積算出など種々の画像処理
を行う。
【0034】(i,j)の画素値をPijとし、生成する
輪郭情報の画素をRijとすると、 Rij=255(If (Pi−Pi-1j )>α&(Pi−Pij-1
)>α&(Pi−Pi+1j )>α&(Pi−Pij+1 )>α) Rij=0(上記以外) とすることにより、図5のような輪郭情報を得ることが
できる。
【0035】画像処理部2は、図3あるいは図5のよう
にして得られた輪郭情報をもとに、物体の重心を計算す
る。この重心が前のフレームと現在のフレームとで同じ
かどうかで物体が動いているかどうかを算出する。
【0036】画像取得部1は、画像取得のタイミングな
どの変更が行えるようになっている。図6の処理の流れ
では、動作の開始にあたって、ステップ501に示すよ
うにこれらの初期設定を行う。
【0037】図6の例では、画像取得タイミング1/f
Hz(fは1秒間に取得する画像のフレーム数を示す)
は、f=5に設定されている。通常のビデオムービーな
どのフレーム枚数が毎秒30枚なので、通常の1/6の
速さで稼動している。これは画像取得の枚数が少なけれ
ば、それだけ、発光や取得した画像の転送や処理に費や
す消費電力が少なくなる。
【0038】通常状態(使われていない)では、消費電
力を減らすために、取得枚数を減らしているのである。
また、発光量Iは発光部101を発光させるときの電流
値を表す。この例では、10mAと低い電流に抑えられ
ている。つまり、動く物体がないときには、発光量を減
らし消費電力を節約する。
【0039】このような設定で、まず発光部101の発
光と非発光をおこない、図4に示したような反射画像の
取得を行う(ステップ502)。取得した画像を解析
し、重心速度を算出する(ステップ503)。
【0040】算出された重心速度が一定値以上であれ
ば、ユーザが本発明の情報入力装置を用いて入力を行う
意図をもって、近づいたと判断する。この例では、V0
以上の速さであれば、ユーザに使用の意図があると判断
する(ステップ504)。
【0041】実際にユーザが使用するときには、秒5枚
で、発光量10mAでは、ユーザの身振り、手振りに追随
した画像取得が困難なので、取得のタイミングを秒30
枚、発光量を100mAにアップし(ステップ506)、
その後引き続き画像取得を行う(ステップ502へ)。
【0042】すでに使用状態にあり、タイミングが秒3
0枚にアップしているときは(ステップ505)、ステ
ップ506の処理を行わず、そのまま画像取得を続行す
る。ユーザが情報入力装置の使用を終了し、離れると、
動く物体が検知されなくなる。つまり、一定速度V1よ
り遅い速度になったかどうかを判定する(ステップ50
7)。ユーザは情報入力装置を使っているときでも、さ
ほど速く手振りや身振りを行っていない可能性があるの
で、ステップ507の判定に用いる速度V1は、ユーザ
が情報入力装置の使用を開始するかどうかを判定する速
度V0より、低い値になっている。つまり、このような
値に設定することで、使うために近づいたときの速さで
なく、比較的ゆっくりした動作でも、安定して使えるよ
うになっている。
【0043】ユーザが使用を終了したと判断したときに
は、消費電力を低減するために、取得タイミングを秒5
枚、発光量を10mAに再設定する(ステップ509)。
それ以前にすでに終了処理がなされ、取得タイミングが
秒5枚に設定されているとき(ステップ508)には、
ステップ509の処理は行わない。
【0044】この状態は、ステップ501で設定された
初期状態と同様である。つまり、ユーザが使用を開始す
るまで、消費電力を抑えるモードとなる。実施例1の構
成によれば、ユーザが情報入力装置を使っていない間
は、消費電力を抑えられ、さらにユーザが情報入力装置
を使おうと近づけば、ユーザの身振りや手振りに追随す
るように取得タイミングなどが自動的に設定されるよう
になっているので、ユーザに負担をかけることなく、容
易に消費電力を低減できるのでその効果は大きい。
【0045】(実施例1の変形例)実施例1では、ユー
ザが使用中とそうでないときとで、取得タイミングと発
光量が変更されているが必ずしもこれに限定されるもの
ではない。例えば、解像度も小さければ、画像の読み出
しや転送にかかる時間が減るので、消費電力を低減でき
る。このような解像度の変更など、消費電力の低減につ
ながる画像取得特性の変更も可能である。
【0046】また、実施例1では、画像処理部2は、種
々の画像処理が行えるようにソフトウェアにより実現さ
れていることを想定している。例えば、実施例1に示し
たように、重心速度により、ユーザが使用中かどうかを
判定するように限定すれば、重心速度抽出に限定した部
分をゲートアレイなどのハードウェアロジックにより実
現することが可能であり、ハードウェア化することで、
より一層の小型化を図ることができる。
【0047】また、ユーザが使用中かどうかの判定を、
本実施例では、速度により行っているが、必ずしもこれ
に限定される訳ではない。ユーザが近づいたどうかを距
離により判定するようにすることも可能である。
【0048】また、本発明の実施例では、ユーザが使用
中であると判断したときには、取得タイミングと発光量
の双方を変更している。が必ずしも、取得タイミングと
発光量は同期して、変更しなくてもよく、一方のみをあ
げるようにすることも可能である。
【0049】(実施例2)第1の実施例では、ユーザが
使用中かどうかを判別して、それに応じて、画像取得の
特性を変更し、消費電力の低減をはかることを目的とし
ていた。第1の実施例では、ユーザは本発明の情報入力
手段を使うために、例えば、PCへの入力を行うなど、
情報入力手段に近づくと言うことを前提にしているの
で、重心速度、あるいは距離などにより、使用の有無を
判定することが可能であった。
【0050】これに対し、本発明を、部屋に人が入って
きたかどうか、どこにいるかを検知するといった別の用
途に使うこともできる。このような場合には、単に速度
を見ているだけでは、情報入力装置の取得範囲内に目的
の物体が入ってこない限り、何も対処ができないという
問題が生じる。
【0051】また、PCなどの情報家電機器に対し、入
力を行うといっても、家族の中で、多少、情報家電機器
から一定値以上離れたところから、入力を行う方を好む
構成メンバが存在する可能性がある。
【0052】このような場合、単に情報入力装置の取得
範囲内に目的の物体が入ってくるのを待っているだけで
は、肝心の目標物を撮像できずに終わることが十分考え
られる。
【0053】第2の実施例は、このような問題を解決す
るものである。図7はその処理の流れ図である。本実施
例では、取得タイミングは秒30枚、発光量は50mA
に初期化されているとする(ステップ601)。画像を
取得し、取得した画像中に目的の物体が撮像されている
かどうかを判定する(ステップ604)。もし、物体が
撮像できていない場合には、物体が情報入力装置より遠
いところにあると判断し撮像距離を伸ばすために、発光
量をます(ステップ606)。
【0054】発光量を増した状態(例えば、今の例で
は、100mA)で画像取得を行う(ステップ60
2)。同様にして、画像が取得できるまで発光量を増し
続けるが、発光量が一定値(図6の例では300mA)
に達したとき(ステップ605)、それ以上発光量を増
すのはやめる(ステップ607)。
【0055】発光量が、300mAに達しても画像が取
得できない場合には、取得タイミングを遅くしていく
(ステップ608)。つまり、取得タイミングが遅くな
るということは、1枚あたりで受光部が受光している時
間が長くなることを意味する。受光時間が長くなれば、
弱い光でも長時間受光するので、受光する電荷が増せる
ので、より遠方の物体からの反射光の取得が可能にな
る。
【0056】取得タイミングが一定値(たとえば、秒5
枚以下)になると、情報入力装置としては、手振りや身
振りを取得することが難しくなるので、それいかにタイ
ミングを遅くすることは行わない(ステップ607)。
【0057】ユーザが入力装置の使用を終了したと判断
できれば(ステップ609)、無用に発光することを即
座にやめるために、初期化ステップ(ステップ601)
に戻る。
【0058】本実施例によれば、画像が取得できるま
で、取得の特性が自動的に変更されるので、複数のユー
ザが共有して一つの情報入力装置を使うときでも、いち
いち設定距離などを、手動で変更することなく、情報入
力が行えるので、ユーザに負荷を欠けることなく、ユー
ザの意図にあった直接操作を実現できる。
【0059】(実施例2の変形例)本実施例では、物体
画像が取得できない場合、取得できるまで、発光量をま
し、発光のタイミングを遅くすることを行っているが、
必ずしも、発光量とタイミングは、双方を変更すること
が必要なわけではない。
【0060】例えば、発光量のみをます、あるいは発光
タイミングのみを遅くするだけの構成も可能である。ま
た、本実施例では、変更した発光量とタイミングは、ユ
ーザが使用を狩猟するまで、維持するようになってい
る。しかし、必ずしもこれに限定されるものではない。
例えば、ある一定回数毎に、減じた発光量で画像を取得
し、物体画像が得られるかどうかを判定し、得られると
判定した場合には、減じた発光量に設定し直した、画像
取得をおこなうというような変更も可能である。
【0061】以上のような本願発明は、専用のハードウ
ェアを用いずとも、汎用のプロセッサを用いたソフトウ
ェアによる処理で実現することができる。例えば、図
6,図7の処理はコンピュータプログラムを用いて実現
でき、これをフロッピーディスクやCD−ROMなどの
記録媒体を通じてコンピュータに導入して実行させるこ
とにより、本願発明を実施することができる。
【0062】
【発明の効果】本願発明によれば、ユーザが情報入力装
置を使っていない間は、消費電力を抑えられ、さらにユ
ーザが情報入力装置を使おうと近づけば、ユーザの身振
りや手振りに追随するように取得タイミングなどが自動
的に設定されるようになっているので、ユーザに負担を
かけることなく、容易に消費電力を低減できるので、そ
の効果は大きい。
【0063】また本願発明によれば、画像が取得できる
まで、取得の特性が自動的に変更されるので、複数のユ
ーザが共有して一つの情報入力装置を使うときでも、い
ちいち設定距離などを、手動で変更することなく、情報
入力が行えるので、ユーザに負荷を欠けることなく、ユ
ーザの意図にあった直接操作を実現できる。
【図面の簡単な説明】
【図1】本願発明の第1の実施例の概略構成図である。
【図2】本願発明の距離画像取得手段の概略図である。
【図3】本願発明の取得した画像データを示した図であ
る。
【図4】本願発明の取得した画像データを示した図であ
る。
【図5】本願発明の取得した画像データの輪郭情報の図
である。
【図6】本願発明の処理の流れを示したフローチャート
の図である。
【図7】本願発明の処理の流れを示したフローチャート
の図である。
【符号の説明】
1…画像取得部,2…画像処理部,101…発光部,1
02…反射光抽出部,103…受光部 104…反射光抽出部

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】パルス信号もしくは変調信号を生成するタ
    イミング信号生成手段と、 このタイミング信号生成手段からの信号に基づいて強度
    変化する光を発する発光手段と、 このタイミング信号生成手段からの信号と同期して、前
    記発光手段から発された光の物体による反射光を抽出す
    る反射光抽出手段と、 この反射光抽出手段によって抽出された反射光から物体
    の反射光画像を生成する反射光画像生成手段と、 この反射光画像生成手段によって生成された反射光画像
    の動きを検知する動き検知手段と、 この動き検知手段が動きを検知したとき、前記タイミン
    グ信号生成手段が生成する信号の制御を行う手段を有す
    ることを特徴とする情報入力装置。
  2. 【請求項2】パルス信号もしくは変調信号を生成するタ
    イミング信号生成手段と、 このタイミング信号生成手段からの信号に基づいて強度
    変化する光を発する発光手段と、 このタイミング信号生成手段からの信号と同期して、前
    記発光手段から発された光の物体による反射光を抽出す
    る反射光抽出手段と、 この反射光抽出手段によって抽出された反射光から物体
    の反射光画像を生成する反射光画像生成手段と、 この反射光画像生成手段によって生成された反射光画像
    の動きを検知する動き検知手段と、 この動き検知手段が反射光画像の動きを検知したとき、
    前記発光手段の発光強度を変化させる手段を有すること
    を特徴とする情報入力装置。
  3. 【請求項3】パルス信号もしくは変調信号を生成するタ
    イミング信号生成手段と、 このタイミング信号生成手段からの信号に基づいて強度
    変化する光を発する発光手段と、 このタイミング信号生成手段からの信号と同期して、前
    記発光手段から発された光の物体による反射光を抽出す
    る反射光抽出手段と、 この反射光抽出手段によって抽出された反射光から物体
    の反射光画像を生成する反射光画像生成手段と、 この反射光画像生成手段によって生成された反射光画像
    の動きを検知する動き検知手段と、 この動き検知手段が反射光画像の動きを検知したとき、
    前記発光手段の発光間隔を変化させる手段を有すること
    を特徴とする情報入力装置。
  4. 【請求項4】パルス信号もしくは変調信号を生成するタ
    イミング信号生成手段と、 このタイミング信号生成手段からの信号に基づいて強度
    変化する光を発する発光手段と、 このタイミング信号生成手段からの信号と同期して、前
    記発光手段から発された光の物体による反射光を抽出す
    る反射光抽出手段と、 この反射光抽出手段によって抽出された反射光から物体
    の反射光画像を生成する反射光画像生成手段と、 この反射光画像生成手段によって生成された反射光画像
    が所定の大きさで得られるまで、前記タイミング信号生
    成手段の生成する信号の周期を変化させる手段を有する
    ことを特徴とする情報入力装置。
  5. 【請求項5】パルス信号もしくは変調信号を生成するタ
    イミング信号生成手段と、 このタイミング信号生成手段からの信号に基づいて強度
    変化する光を発する発光手段と、 このタイミング信号生成手段からの信号と同期して、前
    記発光手段から発された光の物体による反射光を抽出す
    る反射光抽出手段と、 この反射光抽出手段によって抽出された反射光から物体
    の反射光画像を生成する反射光画像生成手段と、 この反射光画像生成手段によって生成された反射光画像
    が所定の大きさで得られるまで、前記発光手段における
    発光強度を変化させる手段を有することを特徴とする情
    報入力装置。
  6. 【請求項6】生成されたタイミング信号に基づいて強度
    変化する光を発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像の動きを検知したとき、タイ
    ミング信号の制御を行うことを特徴とする情報入力方
    法。
  7. 【請求項7】生成されたタイミング信号に基づいて強度
    変化する光を発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像の動きを検知したとき、発光
    すべき光の発光強度を変化させることを特徴とする情報
    入力方法。
  8. 【請求項8】生成されたタイミング信号に基づいて強度
    変化する光を発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像の動きを検知したとき、発光
    すべき光の発光間隔を変化させることを特徴とする情報
    入力方法。
  9. 【請求項9】生成されたタイミング信号に基づいて強度
    変化する光を発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像が所定の大きさで得られるま
    で、前記タイミング信号の周期を変化させることを特徴
    とする情報入力方法。
  10. 【請求項10】生成されたタイミング信号に基づいて強
    度変化する光を発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像が所定の大きさで得られるま
    で、発光すべき光の強度を変化させることを特徴とする
    情報入力方法。
  11. 【請求項11】物体による反射光画像を抽出するための
    プログラムをコンピュータで実行可能なように記録した
    記録媒体であって、 生成されたタイミング信号に基づいて強度変化する光を
    発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像の動きを検知したとき、タイ
    ミング信号の制御を行うプログラムをコンピュータで実
    行可能なように記録した記録媒体。
  12. 【請求項12】物体による反射光画像を抽出するための
    プログラムをコンピュータで実行可能なように記録した
    記録媒体であって、 生成されたタイミング信号に基づいて強度変化する光を
    発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像の動きを検知したとき、発光
    すべき光の発光強度を変化させるプログラムをコンピュ
    ータで実行可能なように記録した記録媒体。
  13. 【請求項13】物体による反射光画像を抽出するための
    プログラムをコンピュータで実行可能なように記録した
    記録媒体であって、 生成されたタイミング信号に基づいて強度変化する光を
    発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像の動きを検知したとき、発光
    すべき光の発光間隔を変化させるプログラムをコンピュ
    ータで実行可能なように記録した記録媒体。
  14. 【請求項14】物体による反射光画像を抽出するための
    プログラムをコンピュータで実行可能なように記録した
    記録媒体であって、 生成されたタイミング信号に基づいて強度変化する光を
    発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像が所定の大きさで得られるま
    で、前記タイミング信号の周期を変化させるプログラム
    をコンピュータで実行可能なように記録した記録媒体。
  15. 【請求項15】物体による反射光画像を抽出するための
    プログラムをコンピュータで実行可能なように記録した
    記録媒体であって、 生成されたタイミング信号に基づいて強度変化する光を
    発光し、 このタイミング信号と同期して、発光された光の物体に
    よる反射光を抽出し、 この抽出された反射光から物体の反射光画像を生成し、 この生成された反射光画像が所定の大きさで得られるま
    で、発光すべき光の強度を変化させるプログラムをコン
    ピュータで実行可能なように記録した記録媒体。
JP6638498A 1998-03-17 1998-03-17 情報入力装置および情報入力方法および記録媒体 Pending JPH11265249A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP6638498A JPH11265249A (ja) 1998-03-17 1998-03-17 情報入力装置および情報入力方法および記録媒体
US09/268,656 US6900790B1 (en) 1998-03-17 1999-03-16 Information input apparatus, information input method, and recording medium
US11/071,183 US7348962B2 (en) 1998-03-17 2005-03-04 Information input apparatus, information input method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6638498A JPH11265249A (ja) 1998-03-17 1998-03-17 情報入力装置および情報入力方法および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004310105A Division JP3856454B2 (ja) 2004-10-25 2004-10-25 情報入力装置および情報入力方法および記録媒体

Publications (1)

Publication Number Publication Date
JPH11265249A true JPH11265249A (ja) 1999-09-28

Family

ID=13314286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6638498A Pending JPH11265249A (ja) 1998-03-17 1998-03-17 情報入力装置および情報入力方法および記録媒体

Country Status (2)

Country Link
US (2) US6900790B1 (ja)
JP (1) JPH11265249A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144347B1 (ko) 2009-12-07 2012-05-11 에스케이플래닛 주식회사 휴대단말기를 이용한 제스처 인식방법 및 그 휴대단말기
KR20130043159A (ko) * 2010-06-17 2013-04-29 퀄컴 인코포레이티드 무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치
KR101387404B1 (ko) * 2007-08-30 2014-04-21 삼성전자주식회사 디지털 영상 처리장치의 제어장치 및 그 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US9149175B2 (en) * 2001-07-26 2015-10-06 Given Imaging Ltd. Apparatus and method for light control in an in-vivo imaging device
JP3868896B2 (ja) * 2002-01-23 2007-01-17 本田技研工業株式会社 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
AU2003285756A1 (en) * 2002-12-16 2004-07-09 Given Imaging Ltd. Device, system and method for selective activation of in vivo sensors
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1643906A2 (en) 2003-06-12 2006-04-12 University of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
US7605852B2 (en) * 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
US8146821B2 (en) * 2009-04-02 2012-04-03 Symbol Technologies, Inc. Auto-exposure for multi-imager barcode reader
KR20110047600A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 근접 센싱이 가능한 전자장치
WO2011079050A2 (en) 2009-12-23 2011-06-30 The Smart Pill Corporation Method of evaluating constipation using an ingestible capsule
US20110175918A1 (en) * 2010-01-21 2011-07-21 Cheng-Yun Karen Liu Character animation control interface using motion capure
EP2378394A3 (en) * 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
US8922633B1 (en) 2010-09-27 2014-12-30 Given Imaging Ltd. Detection of gastrointestinal sections and transition of an in-vivo device there between
US8965079B1 (en) 2010-09-28 2015-02-24 Given Imaging Ltd. Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween
US9176608B1 (en) * 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US8939371B2 (en) 2011-06-30 2015-01-27 Symbol Technologies, Inc. Individual exposure control over individually illuminated subfields of view split from an imager in a point-of-transaction workstation
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
KR101938648B1 (ko) 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
EP2921934A1 (en) * 2014-03-21 2015-09-23 TP Vision Holding B.V. Display device with gesture recognition

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU554186B2 (en) * 1981-10-26 1986-08-14 Sony Corporation Apparatus for detecting distance to an object
EP0280511B1 (en) * 1987-02-25 1996-08-14 Konica Corporation Still video camera
US5596366A (en) * 1990-05-14 1997-01-21 Canon Kabushiki Kaisha Camera apparatus having camera movement detection
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
JPH05241690A (ja) 1992-02-26 1993-09-21 Nisshin Koki Kk データ入力装置
JPH0683527A (ja) 1992-09-04 1994-03-25 Fujitsu Ltd 座標入力装置及びその制御方法
JP3397248B2 (ja) * 1993-03-31 2003-04-14 富士写真フイルム株式会社 カメラのパワーセーブ方法
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5496106A (en) * 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
IL112513A (en) * 1995-02-01 1999-05-09 Ald Advanced Logistics Dev Ltd System and method for failure reporting and collection
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
JP3529510B2 (ja) 1995-09-28 2004-05-24 株式会社東芝 情報入力装置および情報入力装置の制御方法
US5825413A (en) * 1995-11-01 1998-10-20 Thomson Consumer Electronics, Inc. Infrared surveillance system with controlled video recording
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US5963255A (en) * 1996-04-16 1999-10-05 Apple Computer, Inc. System and method for managing utilization of a battery
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US5941989A (en) * 1997-01-07 1999-08-24 Micron Electronics, Inc. Apparatus for indicating power-consumption status in a computer system
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387404B1 (ko) * 2007-08-30 2014-04-21 삼성전자주식회사 디지털 영상 처리장치의 제어장치 및 그 방법
KR101144347B1 (ko) 2009-12-07 2012-05-11 에스케이플래닛 주식회사 휴대단말기를 이용한 제스처 인식방법 및 그 휴대단말기
KR20130043159A (ko) * 2010-06-17 2013-04-29 퀄컴 인코포레이티드 무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치
JP2013534009A (ja) * 2010-06-17 2013-08-29 クゥアルコム・インコーポレイテッド 非接触ジェスチャー認識および電力低減のための方法および装置

Also Published As

Publication number Publication date
US20050162385A1 (en) 2005-07-28
US7348962B2 (en) 2008-03-25
US6900790B1 (en) 2005-05-31

Similar Documents

Publication Publication Date Title
JPH11265249A (ja) 情報入力装置および情報入力方法および記録媒体
US11017217B2 (en) System and method for controlling appliances using motion gestures
AU2012253292B2 (en) Presence sensing
US9268412B2 (en) Input apparatus having an input recognition unit and input recognition method by using the same
US9069381B2 (en) Interacting with a computer based application
US8837780B2 (en) Gesture based human interfaces
Lee et al. Real-time gesture interface based on event-driven processing from stereo silicon retinas
US6360003B1 (en) Image processing apparatus
US10007330B2 (en) Region of interest segmentation
WO2019080797A1 (zh) 一种活体检测方法、终端和存储介质
US9785228B2 (en) Detecting natural user-input engagement
US20120327218A1 (en) Resource conservation based on a region of interest
US8605205B2 (en) Display as lighting for photos or video
CN114391163A (zh) 手势检测系统和方法
EP3092554A1 (en) Coordinated speech and gesture input
JP3856454B2 (ja) 情報入力装置および情報入力方法および記録媒体
WO2023276605A1 (ja) 照明制御システム、照明制御方法及びプログラム
Islam et al. ThirdHand: A novel and cost-effective hci for physically handicapped people
Cheng Mouth Image Controlled Web Page

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041025

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060131