JP3864776B2 - 画像形成装置 - Google Patents
画像形成装置 Download PDFInfo
- Publication number
- JP3864776B2 JP3864776B2 JP2001382194A JP2001382194A JP3864776B2 JP 3864776 B2 JP3864776 B2 JP 3864776B2 JP 2001382194 A JP2001382194 A JP 2001382194A JP 2001382194 A JP2001382194 A JP 2001382194A JP 3864776 B2 JP3864776 B2 JP 3864776B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- image
- unit
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、携帯情報端末、電子ペーパー、テレビジョン等の画像表示装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
従来、携帯情報端末、電子ペーパー、テレビジョン等の画像表示装置全般において、ＣＲＴから液晶へと表示方式が変化し、その操作性から様々な応用が進んでいる。
【０００３】
例えば、ユーザーに対して視認性の良い画像を表示する画像表示装置として、特開２０００−２５０４３４号に示されるような画像表示装置が知られている。この画像表示装置は、画像表示装置に作用する重力の方向を検出する方向検出と、方向検出手段の検出結果に基づいて、画像表示装置の姿勢を判定する判定手段と、判定手段の判定する画像表示装置の姿勢について予め設定される基準に従って、画像表示装置での情報の表示方向を制御する制御手段とを備えるものである。これによれば、画像表示装置に作用する重力の方向を、方向検出手段が３次元的に検出するので、画像表示装置には３次元的な重力の作用方向に応じて適切な表示方向で情報の表示を行うことができる。
【０００４】
しかしながら、このように重力の作用方向に応じて情報の表示を行うのでは、例えばユーザーが横たわった状態で画像表示装置を立てて操作した場合、ユーザーの表示して欲しい方向に対し９０度回転した画像が表示されるなど、ユーザーの姿勢や位置によっては視認性の悪い表示方向で画像が表示される場合があるという問題があった。
【０００５】
この発明は、上述の問題に鑑みてなされたものであって、ユーザーの姿勢や位置に応じて常に視認性の良い画像を表示することができる画像表示装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
この発明は、上記目的を達成するために、画像を表示する表示手段と、ユーザーが存在しているか否かを検知する検知手段と、前記検知手段によって検知されたユーザーの識別情報を検出する識別情報検出手段と、ユーザーが予約したジョブをユーザーの識別情報に関連付けて記憶する予約ジョブ記憶手段と、前記識別情報検出手段により検出されたユーザーの識別情報と、前記予約ジョブ記憶手段に記憶されているユーザーの識別情報とを照合する識別情報照合手段と、ユーザーの位置を判定する判定手段と、前記検知手段によって複数のユーザーが検知され、前記識別情報照合手段による照合の結果、識別情報検出手段により検出された各ユーザーの識別情報に対応する予約ジョブがある場合に、各ユーザーの位置に応じた表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を前記表示手段にそれぞれ表示させる表示制御手段と、を備えてなることを特徴とする。
【０００７】
なお、表示手段に対するユーザーの位置とは、表示手段から見たユーザーの顔やその他の身体部位の位置をいう。また、所定の画像の表示方向とは、表示手段の表示面内における傾斜方向をいい、所定の画像の表示位置とは、表示手段の表示面内における位置をいう。
【０００８】
これによれば、画像形成装置の表示手段に対するユーザーの位置に応じて、視認性の良い画像を表示することができる。
【００１０】
また、ジョブを予約している複数のユーザーに対して最適な表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を表示するので、いずれのユーザーに対しても視認性の良い画像を表示することができる。
【００１１】
また、さらに、各ユーザーの優先順位を決定する優先順位決定手段を備え、
前記優先順位決定手段で決定された優先順位に基づいて、前記表示制御手段は表示方向または表示位置を制御する構成としても良い。
【００１３】
【発明の実施の形態】
［実施形態１］
次にこの発明に係る第１の実施形態について説明する。
【００１４】
図１は、この発明の一実施形態に係る画像表示装置１００の正面図である。この画像表示装置１００は携帯情報端末に適用されたものである。
【００１５】
図１において、１はユーザーの顔を認識するカメラ等からなるユーザー認識部、７はユーザーを検知するセンサ等からなるユーザー検知部、８は所定の画像を表示するＣＲＴまたは液晶等からなる表示部、９は画像表示装置１００において種々の操作を行うための操作キーである。
【００１６】
図２は前記画像表示装置１００の電気的構成を示すブロック図である。
【００１７】
この画像表示装置１００は、前記ユーザー認識部１と、ユーザーの目を検出する目検出部２と、ユーザーの口を検出する口検出部３と、ユーザーの顔方向を判定する顔方向判定部４と、前記表示部８に表示する画像の表示方向を決定する表示方向決定部５と、各部の統括的制御および演算を行う主制御部６と、前記ユーザー検知部７と、前記表示部８と、表示方向を切り替える前の画像を記憶する画像記憶部とを備えてなる。
【００１８】
前記目検出部２は、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出するものである。この実施形態では、ユーザーの顔に対して、あらかじめ設定した位置に右目および左目の各領域を設定し、右目および左目の全領域に対して、目テンプレート生成部で生成された各々の目のテンプレートとの相関を順次求めて、最も相関が高い領域を検出して、その領域の目のテンプレートの中心を特徴点として検出する。
【００１９】
前記口検出部３は、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出するものである。この実施形態では、あらかじめ設定した方向の２次微分画像から上下の唇の境界領域を求め、その重心を演算して、その演算により求められた重心を口の特徴点として検出する。
【００２０】
なお、前述の目検出部２および口検出部３における検出方法は、例えば特開２０００−６７２３７号に開示されている公知の方法であるが、この方法に限定されるものでなく、その他の方法を用いてもよい。
【００２１】
前記顔方向判定部４は、前記目検出部２および口検出部３により検出したユーザーの目および口に基づいてユーザーの顔方向を判定するものである。この実施形態では、ユーザーの両目の特徴点の連結線をユーザーの顔方向とし、その方向とテレビカメラの水平走査線方向あるいは水平画素列方向との角度比較を行うことによりユーザーの顔の方向を判定する。ところで、前記目検出部２において目を正確に検出することができず、誤差を含んだ点同士を結んだものとなった場合は、誤った傾きとなるが、人の顔は、おおむね鼻の線を中心とした線対称の構造を持っているため、この両目位置座標がもし瞳孔位置にあればかなりの精度で検出することができる。
【００２２】
なお、この顔方向判定部４の判定方法は、例えば特開２０００−１６３５９２号に開示されている公知の方法であるが、この方法に限定されるものでなく、その他の方法を用いてもよい。
【００２３】
前記表示方向決定部５は、前記顔方向判定部４により判定したユーザーの顔方向に応じて、表示部８に表示する画像の表示方向を決定するものである。例えば、図３（ａ）に示すように、前記顔方向判定部４において、ユーザーの顔方向が表示部８の水平走査線方向に対して角度θで傾いていると判定した場合、前記表示方向決定部５において、表示部８に表示する画像の表示方向を角度θと決定する。なお、図３（ｃ）に示すように、前記顔方向判定部４において、ユーザーの顔方向が表示部８の水平走査線方向に対して平行であると判定した場合は、前記表示部５において、表示部に表示する画像の表示方向を角度０°と決定する。
【００２４】
前記主制御部６は、前述のように各部の統括的制御や種々の演算を行うものである。この実施形態では、特に前記主制御部６は、図３（ｂ）または図３（ｄ）に示すように、前記画像記憶部９に記憶されている画像を用い、前記表示方向決定部５により決定された表示方向θで画像を生成する画像生成機能を有している。即ち、図３（ａ）に示すように、ユーザーの顔方向が角度θで傾いていると判定されたときは、図３（ｂ）に示すように、角度θだけ同一方向に傾かせた画像を生成する。また、図３（ｃ）に示すように、ユーザーの顔方向が平行であると判定されたときは、図３（ｄ）に示すように、画像をそのままにする。
【００２５】
また、前記主制御部６は、画像生成機能により生成した画像を前記表示部８に表示させるように制御する表示制御機能も有している。
【００２６】
また、前記主制御部６は、前記ユーザー検知部７によりユーザーを検知した場合に、ユーザーが存在すると判定し、後述の各処理を行うものとなされている。
【００２７】
次に、前記画像表示装置１００の動作について図４のフローチャートを用いて説明する。なお、以下の説明および図面において、「ステップ」を「Ｓ」と略記する。
【００２８】
まず、Ｓ１において、前記主制御部６が、前記ユーザー検知部７により前記画像表示装置１００を使用しているユーザーが存在する否を判定し、前記ユーザー検知部７によりユーザーを検知してユーザーが存在する判定した場合は（Ｓ１でＹＥＳ）、Ｓ２に進む。一方、前記ユーザー検知部７によりユーザーを検知せずユーザーが存在しないと判定した場合は（Ｓ１でＮＯ）、処理を終了する。このように、あらかじめユーザーの有無を検知すれば、ユーザーが存在しない場合は後述の各種処理を行う必要がなくなり処理の簡略化が図られる。
【００２９】
Ｓ２では、前記ユーザー認識部１がユーザーの顔を認識し、Ｓ３に進む。
【００３０】
Ｓ３では、前記目検出部２が、前述の検出方法により、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出し、Ｓ４に進む。
【００３１】
Ｓ４では、前記口検出部３が、前述の検出方法により、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出し、Ｓ５に進む。
【００３２】
Ｓ５では、前記顔方向判定部４が、前述の判定方法により、前記目検出部２および口検出部３により検出したユーザーの目および口に基づいてユーザーの顔方向を判定し、Ｓ６に進む。
【００３３】
Ｓ６では、前記表示方向決定部５が、前述の決定方法により、前記顔方向判定部４により判定したユーザーの顔の方向に応じて、表示部８に表示する画像の表示方向θを決定し、Ｓ７に進む。
【００３４】
Ｓ７では、前記主制御部６が、前記画像記憶部（９）に記憶されている画像を用い、前記表示方向決定部により決定された表示方向θで画像を生成し、Ｓ８に進む。
【００３５】
Ｓ８では、前記主制御部６が、その生成した画像を前記表示部８に表示させるように制御し、処理を終了する。
【００３６】
このように、画像表示装置１００の表示部８に対してユーザーの顔方向が変化しても、そのユーザーの顔方向に応じて所定の画像の表示方向が切り替わるので、ユーザーがいかなる姿勢にあっても常に視認性の良い画像を表示することができる。
［実施形態２］
次にこの発明に係る第２の実施形態について説明する。
【００３７】
この実施形態は、この発明に係る画像表示装置２００を複写機等の画像形成装置３００に適用したものである。
【００３８】
図５は、画像形成装置３００の概略上面図、図６は画像形成装置３００の概略正面図である。
【００３９】
図５および図６において、２１は表示部２８の視野角と同等の撮影範囲を持ち、ユーザーの顔を認識するカメラ等からなるユーザー認識部、２７はユーザーを検知するセンサ等からなるユーザー検知部、２８は所定の画像を表示するＣＲＴまたは液晶等からなる表示部、３０はユーザーが携帯するＩＣカードやＩＣタグ等からユーザーの識別情報を検出する識別情報検出部である。また、Ａ、Ｂ、Ｃは、画像形成装置３００を使用するユーザーである。
【００４０】
図７は、前記画像表示装置２００の電気的構成を示すブロック図である。
【００４１】
この画像表示装置２００は、前記ユーザー認識部２１と、ユーザーの目を検出する目検出部２２と、ユーザーの口を検出する口検出部２３と、ユーザーの位置を判定する位置判定部２４と、各ユーザーに対応する画像の表示方向を決定する表示方向決定部２５と、各部の統括的制御および演算を行う主制御部２６と、前記ユーザー検知部２７と、前記表示部２８と、表示を切り替える前の画像を記憶する画像記憶部２９とを備えている。また、この実施形態では、前記画像表示装置２００は、さらに前記識別情報検出部３０と、ユーザーが予約したジョブをユーザーの識別情報と関連付けて記憶する予約ジョブ記憶部３１と、ユーザーの優先順位を決定する優先順位決定部３２とを備える。
【００４２】
前記位置判定部２４は、前記目検出部２２および口検出部２３により検出したユーザーの目および口に基づいてユーザーの顔の位置を判定するものである。この実施形態では、図８（ａ）に示すように、画像形成装置３００の表示部２８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部２８の右側を正（＋Ｘ）、座標原点から表示部２８の左側を負（−Ｘ）としてユーザーの顔の横方向の位置を判定する。また、図８（ｂ）に示すように、前述と同じく表示部２８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部２８の上側を正（＋Ｙ）、座標原点から表示部２８の下側を負（−Ｙ）としてユーザーの顔の縦方向の位置を判定する。そして、図８（ｃ）に示すように、ユーザーの顔の横方向および縦方向の位置から表示部２８に対するユーザーの顔の位置（太い黒丸）を判定する。
【００４３】
前記表示方向決定部２５は、前記位置判定部２４により判定したユーザーの顔の位置に応じて、当該ユーザーに対応する画像の表示方向を決定するものである。例えば、ユーザーの顔の位置が表示部２８の真正面の場合（ユーザーＡに相当）は、表示部２８の前後方向が画像の上下方向となる向きを画像の表示方向と決定し、ユーザーの顔の位置が画像形成装置３００の左側（−Ｘ側）の場合（ユーザーＢに相当）は、表示部２８の右側（＋Ｘ）が画像の上側かつ表示部２８の左側（−Ｘ）が画像の下側となる向きを画像の表示方向と決定し、ユーザーの顔の位置が画像形成装置３００の右側（＋Ｘ側）の場合は（ユーザーＣに相当）、表示部２８の左側（−Ｘ）が画像の上側かつ表示部２８の右側（＋Ｘ）が画像の下側となる向きを画像の表示方向と決定する。
【００４４】
前記優先順位決定部３２は、前記識別情報検出部３０により検出されたユーザーの識別情報と、予約ジョブ記憶部３１に記憶されているユーザーの識別情報とを照合し、その照合の結果、識別情報検出部３０により検出したユーザーの識別情報に対応する予約ジョブがある場合に、各ユーザーの優先順位を決定するものである。この実施形態では、既存ユーザーを優先し、続いて新規ユーザーという順位で優先順位を設定している。
【００４５】
前記主制御部２６は、前記画像記憶部２９に記憶されている画像を用い、表示方向決定部２５により決定された各ユーザーに対応する画像の表示方向と、前記優先順位決定部３２により決定されたユーザーの優先順位とに基づいて所定の画像を生成する機能を有する。例えば、ユーザーＡのみを表示部２８の真正面で認識した場合には、図９の表示例１に示すように、ユーザーＡに対応して表示部２８の前後方向が上下方向となる画像を生成する。また、続いてユーザーＢを表示部２８の左側（−Ｘ）側に認識した場合には、既存ユーザーであるユーザーＡが新規ユーザーであるユーザーＢに優先するので、ユーザーＡに対応した向きの画像（図９の表示例１）を消去することなく、ユーザーＢに対応して右側（＋Ｘ）が上側かつ表示部２８の左側（−Ｘ）が下側となる画像を追加した画像（図９の表示例２）を生成する。また、さらに続いてユーザーＣを表示部２８の右側（＋Ｘ側）に認識した場合には、既存ユーザーであるユーザーＡ、Ｂが新規ユーザーであるユーザーＣに優先するので、既存ユーザーであるユーザーＡおよびユーザーＢに対応した向きの画像（図９の表示例２）を消去することなく、ユーザーＣに対応して表示部２８の左側（−Ｘ）が上側かつ表示部２８の右側（＋Ｘ）が下側となる画像をさらに追加した画像（図９の表示例３）を生成する。
【００４６】
なお、この実施形態では、既存ユーザーを優先し、続いて新規ユーザーという順位で優先順位を設定したが、その他の優先順位に設定してもよい。例えば、既存ユーザーに対して一定時間画像を表示している場合は、新規ユーザーを優先し、既存ユーザーの優先順位を低くしてもよい。例えば、既存ユーザーであるユーザーＡに対して一定時間画像（図９の表示例１）を表示している場合に、新規ユーザーであるユーザーＣを認識した場合は、新規ユーザーであるユーザーＣが既存ユーザーであるユーザーＡに優先するので、ユーザーＡに対応した向きの画像（図９の表示例１）に代えてユーザーＣに対応した向きの画像（図９の表示例４）を生成する。
【００４７】
また、主制御部２６は、このように生成した画像を前記表示部２８に表示させるように制御する機能も有している。
【００４８】
次に、前記画像表示装置２００の動作について図１０のフローチャートを用いて説明する。
【００４９】
まず、Ｓ１１において、前記主制御部２６が、前記ユーザー検知部２７により前記画像形成装置３００を使用しているユーザーが存在するか否を判定し、前記ユーザー検知部によりユーザーを検知してユーザーが存在すると判定した場合は（Ｓ１１でＹＥＳ）、Ｓ１２に進む。一方、前記ユーザー検知部によりユーザーを検知せずユーザーが存在しないと判定した場合は（Ｓ１１でＮＯ）、処理を終了する。このように、あらかじめユーザーの有無を検知すれば、ユーザーが存在しない場合は後述の各種処理を行う必要がなくなり処理の簡略化が図られる。
【００５０】
Ｓ１２では、前記識別情報検出部３０が、ユーザーのＩＣカードやＩＣタグ等からユーザーの識別情報を検出し、Ｓ１３に進む。
【００５１】
Ｓ１３では、優先順位決定部３２が、前記識別情報検出部３０により検出されたユーザー識別情報と、予約ジョブ記憶部３１に記憶されているユーザーの識別情報とを照合し、その照合の結果、検出した識別情報に対応する識別情報が予約ジョブ記憶部３１に有る場合は（Ｓ１３でＹＥＳ）、Ｓ１４に進む。一方、検出した識別情報に対応する識別情報が予約ジョブ記憶部３１にない場合は（Ｓ１３でＮＯ）は、そのまま処理を終了する。このように前記識別情報検出部３０により検出したユーザーの識別情報と、予約ジョブ記憶部３１に記憶されている識別情報とを照合することにより、ユーザーがジョブを予約していない場合には、その後の処理が進行しないので処理の簡略化が図れる。
【００５２】
Ｓ１４では、識別情報検出部３０に識別情報が検出され、かつそれに対応する識別情報が予約ジョブ記憶部３１に記憶されているユーザーが複数存在する場合において、ユーザーの優先順位を決定し、Ｓ１５に進む。
【００５３】
Ｓ１５では、前記ユーザー認識部２１によりユーザーの顔を認識し、Ｓ１６に進む。
【００５４】
Ｓ１６では、前記目検出部２２が、前述の検出方法により、前記ユーザー認識部２１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出し、Ｓ１７に進む。
【００５５】
Ｓ１７では、前記口置検出部２３が、前述の検出方法により、前記ユーザー認識部２１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出し、Ｓ１８に進む。
【００５６】
Ｓ１８では、前記位置判定部が、前述の判定方法により、前記目検出部２２および口検出部２３により検出したユーザーの目および口に基づいてユーザーの顔の位置を判定し、Ｓ１９に進む。
【００５７】
Ｓ１９では、前記表示方向決定部２５が、前述の決定方法により、前記位置判定部２４により判定したユーザーの顔の位置に応じて、ユーザーに対応する画像の表示方向を決定し、Ｓ２０に進む。
【００５８】
Ｓ２０では、前記主制御部２６が、前記画像記憶部２９に記憶されている画像を用い、表示方向決定部２５により決定された各ユーザーに対応する画像の表示方向と、前記優先順位決定部３２により決定されたユーザーの優先順位とに基づいて、図９の表示例１〜表示例３に示すような画像を生成し、Ｓ２１に進む。
【００５９】
Ｓ２１では、前記主制御部２６が、生成した画像を前記表示部２８に表示させるように制御して、処理を終了する。
【００６０】
この実施形態によれば、ジョブを予約しているユーザーが複数いる場合であっても、それら複数のユーザーに対して最適な表示方向または表示位置で最適な画像を表示することができる。
【００６１】
なお、この実施形態では、ユーザーの顔の位置をもってユーザーの位置を判定するものとしたが、ユーザーのその他の身体部位の位置をもってユーザーの位置を判定するものとしてもよい。
［実施形態３］
次にこの発明に係る第３の実施形態について説明する。
【００６２】
この実施形態は、図１に示した画像表示装置１００において、表示部に対するユーザーの顔の位置に応じて画像の表示位置を切り替えるものである。
【００６３】
図１１は、この実施形態に係る画像表示装置４００の電気的構成を示すブロック図である。
【００６４】
この画像表示装置３００は、ユーザーの顔を認識するユーザー認識部４１と、ユーザーの目を検出する目検出部４２と、ユーザーの口を検出する口検出部４３と、ユーザーの顔の位置を判定する顔位置判定部４４と、表示部４８に表示する画像の表示位置を決定する表示位置決定部４５と、各部の統括的制御および演算を行う主制御部４６と、ユーザーを検知するユーザー検知部４７と、画像を表示する表示部４８と、表示位置を切り替える前の画像を記憶する画像記憶部とを備えてなる。
【００６５】
なお、前記ユーザー認識部４１、目検出部４２、口検出部４３、ユーザー検知部４７、表示部４８、および画像記憶部４９については図２に示した前記画像表示装置１００のものと機能が同一なのでその説明を省略する。
【００６６】
前記顔位置判定部４４は、前記目検出部４２および口検出部４３により検出したユーザーの目および口に基づいてユーザーの顔の位置を判定するものである。この実施形態においても、実施形態２の画像表示装置２００の位置判定部２４と同様に、図８（ａ）に示すように、画像表示装置４００の表示部４８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部４８の右側を正（＋Ｘ）、座標原点から表示部４８の左側を負（−Ｘ）としてユーザーの顔の横方向の位置を判定する。また、図８（ｂ）に示すように、前述と同じく表示部４８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部４８の上側を正（＋Ｙ）、座標原点から表示部４８の下側を負（−Ｙ）としてユーザーの顔の縦方向の位置を判定する。そして、図８（ｃ）に示すように、ユーザーの顔の横方向および縦方向の位置から表示部４８に対するユーザーの顔の位置を判定する。
【００６７】
前記表示位置決定部４５は、前記顔位置判定部４４により判定したユーザーの顔の位置に基づいて画像の表示位置を決定するものである。例えば、ユーザーの顔の位置が表示部４８の真正面（座標［０，０］）にあると判定した場合、画像の表示位置を表示部４８の中央部に決定する。また、ユーザーの顔の位置が表示部４８の左上部（座標［−Ｘ，＋Ｙ］）にあると判定した場合、表示位置を表示部４８の左上部に決定する。さらにユーザーの顔の位置が表示部４８の右下部（座標［＋Ｘ，−Ｙ］）にあると判定した場合、表示位置を表示部４８の右下部に決定する。
【００６８】
前記主制御部４６は、前記画像記憶部に記憶されている画像を用い、前記表示位置決定部４５により決定された表示位置で画像を生成する画像生成機能を有している。例えば、前記主制御部４６は、前記表示位置決定部４５により画像の表示位置を表示部４８の中央部に決定した場合、図１２（ａ）に示すように、表示部４８の中央部に表示される画像を生成する。また、前記表示位置決定部４５により画像の表示位置を表示部４８の左上部に決定した場合、図１２（ｂ）に示すように、表示部４８の左上部に表示される画像を生成する。また、前記表示位置決定部４５により画像の表示位置を表示部４８の右下部に決定した場合、図１２（ｃ）に示すように、表示部４８の右下部に表示される画像を生成する。前記主制御部４６は、この画像生成機能により生成した画像を前記表示部４８に表示させるように制御する。
【００６９】
これによれば、画像表示装置の表示部に対するユーザーの顔の位置に応じて画像を表示するので、ユーザーの顔の位置に関わらず視認性の高い画像を常に表示することができ、ユーザーは様々な方向から画像を閲覧することが可能となる。
【００７０】
なお、この実施形態では、画像表示装置５００を情報端末装置に適用したが、画像形成装置などその他の装置に適用してもよい。
【００７１】
［実施形態４］
次にこの発明に係る第４の実施形態について説明する。
【００７２】
この実施形態は、図１の画像表示装置１００において、表示部の表示面が横方向に湾曲したものであり、この湾曲状態を考慮して画像の表示を見易いように補正するものである。。
【００７３】
図１３は、この実施形態に係る画像表示装置５００の電気的構成を示すブロック図である。
【００７４】
この画像表示装置５００は、ユーザーの顔を認識するユーザー認識部５１と、ユーザーの目を検出する目検出部５２と、ユーザーの口を検出する口検出部５３と、ユーザーの顔方向を判定する顔方向判定部５４と、前記表示部５８に表示する画像の表示方向を決定する表示方向決定部５５と、各部の統括的制御および演算を行う主制御部５６と、ユーザーを検知するユーザー検知部５７と、横方向に湾曲した表示面を有する表示部５８と、表示方向を切り替える前の画像を記憶すると画像記憶部と、表示部５８の表示面の湾曲情報を記憶する湾曲情報記憶部６０とを備えてなる。
【００７５】
なお、ユーザー認識部５１、目検出部５２、口検出部５３、顔方向判定部５４、表示方向決定部５５、ユーザー検知部５７、および画像記憶部５９については、図２に示した前記画像表示装置１００と機能が同一なのでその説明を省略する。
【００７６】
前記主制御部５６は、前記画像表示装置１００の主制御部６の機能のほかに、前記湾曲情報記憶部６０に記憶されている湾曲情報に基づいて画像を補正する画像補正機能を有する。例えば、表示部５８の表示面が横方向に湾曲している場合は、図１４（ａ）に示すように、表示部５８に表示される画像「春夏秋冬」も湾曲した状態となり、画像を視認しにくいことがある。そこで、あらかじめ表示部５８の表示面の湾曲情報を湾曲情報記憶部６０に記憶しておいて、図１４（ｂ）に示すように、湾曲情報記憶部６０に記憶されている湾曲情報に基づいて湾曲状態の画像を視認性の高い画像に補正する。
【００７７】
これによれば、表示部５８の表示面が湾曲している場合であっても、ユーザーに対して常に視認性の良い画像を表示することができる。
【００７８】
次に上記画像表示装置５００の動作について図１５および図１６に示すフローチャートを用いて説明する。
【００７９】
まず、Ｓ３１において、前記主制御部５６が、前記ユーザー検知部５７により前記画像表示装置５００を使用しているユーザーが存在するか否を判定し、前記ユーザー検知部５７によりユーザーを検知してユーザーが存在すると判定した場合は（Ｓ３１でＹＥＳ）、Ｓ３２に進む。一方、前記ユーザー検知部５７によりユーザーを検知せずユーザーが存在しないと判定した場合は（Ｓ３１でＮＯ）、処理を終了する。このように、あらかじめユーザーの有無を検知すれば、ユーザーが存在しない場合は後述の各種処理を行う必要がなくなり処理の簡略化が図られる。
【００８０】
Ｓ３２では、前記ユーザー認識部５１がユーザーの顔を認識し、Ｓ３３に進む。
【００８１】
Ｓ３３では、前記目検出部５２が、前述の検出方法により、前記ユーザー認識部５１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出し、Ｓ３４に進む。
【００８２】
Ｓ３４では、前記口検出部５３が、前述の検出方法により、前記ユーザー認識部５１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出し、Ｓ３５に進む。
【００８３】
Ｓ３５では、前記顔方向判定部５４が、前述の判定方法により、前記目検出部５２および口検出部５３により検出したユーザーの目および口に基づいてユーザーの顔方向を判定し、Ｓ３６に進む。
【００８４】
Ｓ３６では、前記表示方向決定部５が、前述の決定方法により、前記顔方向判定部５４により判定したユーザーの顔の方向に応じて、表示部５８に表示する画像の表示方向θを決定し、Ｓ３７に進む。
【００８５】
Ｓ３７では、前記主制御部５６が、画像記憶部５９に記憶されている画像を用い、前記表示方向決定部５５により決定された表示方向θで画像を生成し、Ｓ３８に進む。
【００８６】
Ｓ３８では、前記主制御部５６が、前記湾曲情報記憶部６０に表示部５８の湾曲情報が記憶されているか否かを判定し、湾曲情報が記憶されていると判定した場合は（Ｓ３８でＹＥＳ）、Ｓ３９に進む。一方、湾曲情報が記憶されていないと判定した場合は（Ｓ３８でＮＯ）、そのままＳ４０に進む。
【００８７】
Ｓ３９では、前記主制御部５６が、画像補正機能により、前記湾曲情報記憶部６０に記憶されている表示部５８の表示面の湾曲情報に基づいて、前記画像生成機能により生成した画像を補正し、Ｓ４０に進む。
【００８８】
Ｓ４０では、前記主制御部５６が、表示部５８に既に画像が表示されているか否かを判定し、既に画像が表示されていると判定した場合は（Ｓ４０でＹＥＳ）、Ｓ４１に進む。一方、未だ画像が表示されていないと判定した場合は（Ｓ４０でＮＯ）、Ｓ４２に進む。
【００８９】
Ｓ４１では、前記主制御部５６が、表示部５８に既に表示されている画像をメイン画面とし、画像補正機能により補正した画像をサブ画面として前記表示部５８に表示せしめ、処理を終了する。
【００９０】
Ｓ４２では、前記主制御部５６が、画像補正機能により補正した画像をメイン画面として前記表示部５８に表示せしめ、処理を終了する。
【００９１】
なお、この実施形態では、画像表示装置５００を情報端末装置に適用したが、画像形成装置などその他の装置に適用してもよい。
【００９２】
【発明の効果】
この発明によれば、画像形成装置の表示手段に対するユーザーの位置に応じて、視認性の良い画像を表示することができる。
【００９３】
しかも、ジョブを予約している複数のユーザーに対して最適な表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を表示するので、いずれのユーザーに対しても視認性の良い画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施形態に係る画像表示装置の正面図である。
【図２】図１の画像表示装置の電気的構成を示すブロック図である。
【図３】図１の画像表示装置における画像の表示例を示す図である。
【図４】図１の画像表示装置の動作を示すフローチャートである。
【図５】この発明の第２の実施形態に係る画像形成装置を適用した画像形成装置の概略上面図である。
【図６】図５の画像形成装置の概略正面図である。
【図７】図５の画像形成装置に適用された画像表示装置の電気的構成を示すブロック図である。
【図８】ユーザーの顔の位置を判定するための座標を示す図である。
【図９】図７の画像表示装置における画像の表示例を示す図である。
【図１０】図７の画像表示装置の動作を示すフローチャートである。
【図１１】この発明の第３の実施形態に係る画像表示装置の電気的構成を示すブロック図である。
【図１２】図１１の画像表示装置における画像の表示例を示す図である。
【図１３】この発明の第４の実施形態に係る画像表示装置の電気的構成を示すブロック図である。
【図１４】図１３の画像表示装置における画像の表示例を示す図である。
【図１５】図１３の画像表示装置の動作を示すフローチャート（前半）である。
【図１６】図１３の画像表示装置の動作を示すフローチャート（後半）である。
【符号の説明】
１・・・ユーザー認識部
２・・・目検出部
３・・・口検出部
４・・・顔方向判定部
５・・・表示方向決定部
６・・・主制御部
７・・・ユーザー検知部
８・・・表示部
【発明の属する技術分野】
この発明は、携帯情報端末、電子ペーパー、テレビジョン等の画像表示装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
従来、携帯情報端末、電子ペーパー、テレビジョン等の画像表示装置全般において、ＣＲＴから液晶へと表示方式が変化し、その操作性から様々な応用が進んでいる。
【０００３】
例えば、ユーザーに対して視認性の良い画像を表示する画像表示装置として、特開２０００−２５０４３４号に示されるような画像表示装置が知られている。この画像表示装置は、画像表示装置に作用する重力の方向を検出する方向検出と、方向検出手段の検出結果に基づいて、画像表示装置の姿勢を判定する判定手段と、判定手段の判定する画像表示装置の姿勢について予め設定される基準に従って、画像表示装置での情報の表示方向を制御する制御手段とを備えるものである。これによれば、画像表示装置に作用する重力の方向を、方向検出手段が３次元的に検出するので、画像表示装置には３次元的な重力の作用方向に応じて適切な表示方向で情報の表示を行うことができる。
【０００４】
しかしながら、このように重力の作用方向に応じて情報の表示を行うのでは、例えばユーザーが横たわった状態で画像表示装置を立てて操作した場合、ユーザーの表示して欲しい方向に対し９０度回転した画像が表示されるなど、ユーザーの姿勢や位置によっては視認性の悪い表示方向で画像が表示される場合があるという問題があった。
【０００５】
この発明は、上述の問題に鑑みてなされたものであって、ユーザーの姿勢や位置に応じて常に視認性の良い画像を表示することができる画像表示装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
この発明は、上記目的を達成するために、画像を表示する表示手段と、ユーザーが存在しているか否かを検知する検知手段と、前記検知手段によって検知されたユーザーの識別情報を検出する識別情報検出手段と、ユーザーが予約したジョブをユーザーの識別情報に関連付けて記憶する予約ジョブ記憶手段と、前記識別情報検出手段により検出されたユーザーの識別情報と、前記予約ジョブ記憶手段に記憶されているユーザーの識別情報とを照合する識別情報照合手段と、ユーザーの位置を判定する判定手段と、前記検知手段によって複数のユーザーが検知され、前記識別情報照合手段による照合の結果、識別情報検出手段により検出された各ユーザーの識別情報に対応する予約ジョブがある場合に、各ユーザーの位置に応じた表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を前記表示手段にそれぞれ表示させる表示制御手段と、を備えてなることを特徴とする。
【０００７】
なお、表示手段に対するユーザーの位置とは、表示手段から見たユーザーの顔やその他の身体部位の位置をいう。また、所定の画像の表示方向とは、表示手段の表示面内における傾斜方向をいい、所定の画像の表示位置とは、表示手段の表示面内における位置をいう。
【０００８】
これによれば、画像形成装置の表示手段に対するユーザーの位置に応じて、視認性の良い画像を表示することができる。
【００１０】
また、ジョブを予約している複数のユーザーに対して最適な表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を表示するので、いずれのユーザーに対しても視認性の良い画像を表示することができる。
【００１１】
また、さらに、各ユーザーの優先順位を決定する優先順位決定手段を備え、
前記優先順位決定手段で決定された優先順位に基づいて、前記表示制御手段は表示方向または表示位置を制御する構成としても良い。
【００１３】
【発明の実施の形態】
［実施形態１］
次にこの発明に係る第１の実施形態について説明する。
【００１４】
図１は、この発明の一実施形態に係る画像表示装置１００の正面図である。この画像表示装置１００は携帯情報端末に適用されたものである。
【００１５】
図１において、１はユーザーの顔を認識するカメラ等からなるユーザー認識部、７はユーザーを検知するセンサ等からなるユーザー検知部、８は所定の画像を表示するＣＲＴまたは液晶等からなる表示部、９は画像表示装置１００において種々の操作を行うための操作キーである。
【００１６】
図２は前記画像表示装置１００の電気的構成を示すブロック図である。
【００１７】
この画像表示装置１００は、前記ユーザー認識部１と、ユーザーの目を検出する目検出部２と、ユーザーの口を検出する口検出部３と、ユーザーの顔方向を判定する顔方向判定部４と、前記表示部８に表示する画像の表示方向を決定する表示方向決定部５と、各部の統括的制御および演算を行う主制御部６と、前記ユーザー検知部７と、前記表示部８と、表示方向を切り替える前の画像を記憶する画像記憶部とを備えてなる。
【００１８】
前記目検出部２は、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出するものである。この実施形態では、ユーザーの顔に対して、あらかじめ設定した位置に右目および左目の各領域を設定し、右目および左目の全領域に対して、目テンプレート生成部で生成された各々の目のテンプレートとの相関を順次求めて、最も相関が高い領域を検出して、その領域の目のテンプレートの中心を特徴点として検出する。
【００１９】
前記口検出部３は、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出するものである。この実施形態では、あらかじめ設定した方向の２次微分画像から上下の唇の境界領域を求め、その重心を演算して、その演算により求められた重心を口の特徴点として検出する。
【００２０】
なお、前述の目検出部２および口検出部３における検出方法は、例えば特開２０００−６７２３７号に開示されている公知の方法であるが、この方法に限定されるものでなく、その他の方法を用いてもよい。
【００２１】
前記顔方向判定部４は、前記目検出部２および口検出部３により検出したユーザーの目および口に基づいてユーザーの顔方向を判定するものである。この実施形態では、ユーザーの両目の特徴点の連結線をユーザーの顔方向とし、その方向とテレビカメラの水平走査線方向あるいは水平画素列方向との角度比較を行うことによりユーザーの顔の方向を判定する。ところで、前記目検出部２において目を正確に検出することができず、誤差を含んだ点同士を結んだものとなった場合は、誤った傾きとなるが、人の顔は、おおむね鼻の線を中心とした線対称の構造を持っているため、この両目位置座標がもし瞳孔位置にあればかなりの精度で検出することができる。
【００２２】
なお、この顔方向判定部４の判定方法は、例えば特開２０００−１６３５９２号に開示されている公知の方法であるが、この方法に限定されるものでなく、その他の方法を用いてもよい。
【００２３】
前記表示方向決定部５は、前記顔方向判定部４により判定したユーザーの顔方向に応じて、表示部８に表示する画像の表示方向を決定するものである。例えば、図３（ａ）に示すように、前記顔方向判定部４において、ユーザーの顔方向が表示部８の水平走査線方向に対して角度θで傾いていると判定した場合、前記表示方向決定部５において、表示部８に表示する画像の表示方向を角度θと決定する。なお、図３（ｃ）に示すように、前記顔方向判定部４において、ユーザーの顔方向が表示部８の水平走査線方向に対して平行であると判定した場合は、前記表示部５において、表示部に表示する画像の表示方向を角度０°と決定する。
【００２４】
前記主制御部６は、前述のように各部の統括的制御や種々の演算を行うものである。この実施形態では、特に前記主制御部６は、図３（ｂ）または図３（ｄ）に示すように、前記画像記憶部９に記憶されている画像を用い、前記表示方向決定部５により決定された表示方向θで画像を生成する画像生成機能を有している。即ち、図３（ａ）に示すように、ユーザーの顔方向が角度θで傾いていると判定されたときは、図３（ｂ）に示すように、角度θだけ同一方向に傾かせた画像を生成する。また、図３（ｃ）に示すように、ユーザーの顔方向が平行であると判定されたときは、図３（ｄ）に示すように、画像をそのままにする。
【００２５】
また、前記主制御部６は、画像生成機能により生成した画像を前記表示部８に表示させるように制御する表示制御機能も有している。
【００２６】
また、前記主制御部６は、前記ユーザー検知部７によりユーザーを検知した場合に、ユーザーが存在すると判定し、後述の各処理を行うものとなされている。
【００２７】
次に、前記画像表示装置１００の動作について図４のフローチャートを用いて説明する。なお、以下の説明および図面において、「ステップ」を「Ｓ」と略記する。
【００２８】
まず、Ｓ１において、前記主制御部６が、前記ユーザー検知部７により前記画像表示装置１００を使用しているユーザーが存在する否を判定し、前記ユーザー検知部７によりユーザーを検知してユーザーが存在する判定した場合は（Ｓ１でＹＥＳ）、Ｓ２に進む。一方、前記ユーザー検知部７によりユーザーを検知せずユーザーが存在しないと判定した場合は（Ｓ１でＮＯ）、処理を終了する。このように、あらかじめユーザーの有無を検知すれば、ユーザーが存在しない場合は後述の各種処理を行う必要がなくなり処理の簡略化が図られる。
【００２９】
Ｓ２では、前記ユーザー認識部１がユーザーの顔を認識し、Ｓ３に進む。
【００３０】
Ｓ３では、前記目検出部２が、前述の検出方法により、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出し、Ｓ４に進む。
【００３１】
Ｓ４では、前記口検出部３が、前述の検出方法により、前記ユーザー認識部１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出し、Ｓ５に進む。
【００３２】
Ｓ５では、前記顔方向判定部４が、前述の判定方法により、前記目検出部２および口検出部３により検出したユーザーの目および口に基づいてユーザーの顔方向を判定し、Ｓ６に進む。
【００３３】
Ｓ６では、前記表示方向決定部５が、前述の決定方法により、前記顔方向判定部４により判定したユーザーの顔の方向に応じて、表示部８に表示する画像の表示方向θを決定し、Ｓ７に進む。
【００３４】
Ｓ７では、前記主制御部６が、前記画像記憶部（９）に記憶されている画像を用い、前記表示方向決定部により決定された表示方向θで画像を生成し、Ｓ８に進む。
【００３５】
Ｓ８では、前記主制御部６が、その生成した画像を前記表示部８に表示させるように制御し、処理を終了する。
【００３６】
このように、画像表示装置１００の表示部８に対してユーザーの顔方向が変化しても、そのユーザーの顔方向に応じて所定の画像の表示方向が切り替わるので、ユーザーがいかなる姿勢にあっても常に視認性の良い画像を表示することができる。
［実施形態２］
次にこの発明に係る第２の実施形態について説明する。
【００３７】
この実施形態は、この発明に係る画像表示装置２００を複写機等の画像形成装置３００に適用したものである。
【００３８】
図５は、画像形成装置３００の概略上面図、図６は画像形成装置３００の概略正面図である。
【００３９】
図５および図６において、２１は表示部２８の視野角と同等の撮影範囲を持ち、ユーザーの顔を認識するカメラ等からなるユーザー認識部、２７はユーザーを検知するセンサ等からなるユーザー検知部、２８は所定の画像を表示するＣＲＴまたは液晶等からなる表示部、３０はユーザーが携帯するＩＣカードやＩＣタグ等からユーザーの識別情報を検出する識別情報検出部である。また、Ａ、Ｂ、Ｃは、画像形成装置３００を使用するユーザーである。
【００４０】
図７は、前記画像表示装置２００の電気的構成を示すブロック図である。
【００４１】
この画像表示装置２００は、前記ユーザー認識部２１と、ユーザーの目を検出する目検出部２２と、ユーザーの口を検出する口検出部２３と、ユーザーの位置を判定する位置判定部２４と、各ユーザーに対応する画像の表示方向を決定する表示方向決定部２５と、各部の統括的制御および演算を行う主制御部２６と、前記ユーザー検知部２７と、前記表示部２８と、表示を切り替える前の画像を記憶する画像記憶部２９とを備えている。また、この実施形態では、前記画像表示装置２００は、さらに前記識別情報検出部３０と、ユーザーが予約したジョブをユーザーの識別情報と関連付けて記憶する予約ジョブ記憶部３１と、ユーザーの優先順位を決定する優先順位決定部３２とを備える。
【００４２】
前記位置判定部２４は、前記目検出部２２および口検出部２３により検出したユーザーの目および口に基づいてユーザーの顔の位置を判定するものである。この実施形態では、図８（ａ）に示すように、画像形成装置３００の表示部２８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部２８の右側を正（＋Ｘ）、座標原点から表示部２８の左側を負（−Ｘ）としてユーザーの顔の横方向の位置を判定する。また、図８（ｂ）に示すように、前述と同じく表示部２８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部２８の上側を正（＋Ｙ）、座標原点から表示部２８の下側を負（−Ｙ）としてユーザーの顔の縦方向の位置を判定する。そして、図８（ｃ）に示すように、ユーザーの顔の横方向および縦方向の位置から表示部２８に対するユーザーの顔の位置（太い黒丸）を判定する。
【００４３】
前記表示方向決定部２５は、前記位置判定部２４により判定したユーザーの顔の位置に応じて、当該ユーザーに対応する画像の表示方向を決定するものである。例えば、ユーザーの顔の位置が表示部２８の真正面の場合（ユーザーＡに相当）は、表示部２８の前後方向が画像の上下方向となる向きを画像の表示方向と決定し、ユーザーの顔の位置が画像形成装置３００の左側（−Ｘ側）の場合（ユーザーＢに相当）は、表示部２８の右側（＋Ｘ）が画像の上側かつ表示部２８の左側（−Ｘ）が画像の下側となる向きを画像の表示方向と決定し、ユーザーの顔の位置が画像形成装置３００の右側（＋Ｘ側）の場合は（ユーザーＣに相当）、表示部２８の左側（−Ｘ）が画像の上側かつ表示部２８の右側（＋Ｘ）が画像の下側となる向きを画像の表示方向と決定する。
【００４４】
前記優先順位決定部３２は、前記識別情報検出部３０により検出されたユーザーの識別情報と、予約ジョブ記憶部３１に記憶されているユーザーの識別情報とを照合し、その照合の結果、識別情報検出部３０により検出したユーザーの識別情報に対応する予約ジョブがある場合に、各ユーザーの優先順位を決定するものである。この実施形態では、既存ユーザーを優先し、続いて新規ユーザーという順位で優先順位を設定している。
【００４５】
前記主制御部２６は、前記画像記憶部２９に記憶されている画像を用い、表示方向決定部２５により決定された各ユーザーに対応する画像の表示方向と、前記優先順位決定部３２により決定されたユーザーの優先順位とに基づいて所定の画像を生成する機能を有する。例えば、ユーザーＡのみを表示部２８の真正面で認識した場合には、図９の表示例１に示すように、ユーザーＡに対応して表示部２８の前後方向が上下方向となる画像を生成する。また、続いてユーザーＢを表示部２８の左側（−Ｘ）側に認識した場合には、既存ユーザーであるユーザーＡが新規ユーザーであるユーザーＢに優先するので、ユーザーＡに対応した向きの画像（図９の表示例１）を消去することなく、ユーザーＢに対応して右側（＋Ｘ）が上側かつ表示部２８の左側（−Ｘ）が下側となる画像を追加した画像（図９の表示例２）を生成する。また、さらに続いてユーザーＣを表示部２８の右側（＋Ｘ側）に認識した場合には、既存ユーザーであるユーザーＡ、Ｂが新規ユーザーであるユーザーＣに優先するので、既存ユーザーであるユーザーＡおよびユーザーＢに対応した向きの画像（図９の表示例２）を消去することなく、ユーザーＣに対応して表示部２８の左側（−Ｘ）が上側かつ表示部２８の右側（＋Ｘ）が下側となる画像をさらに追加した画像（図９の表示例３）を生成する。
【００４６】
なお、この実施形態では、既存ユーザーを優先し、続いて新規ユーザーという順位で優先順位を設定したが、その他の優先順位に設定してもよい。例えば、既存ユーザーに対して一定時間画像を表示している場合は、新規ユーザーを優先し、既存ユーザーの優先順位を低くしてもよい。例えば、既存ユーザーであるユーザーＡに対して一定時間画像（図９の表示例１）を表示している場合に、新規ユーザーであるユーザーＣを認識した場合は、新規ユーザーであるユーザーＣが既存ユーザーであるユーザーＡに優先するので、ユーザーＡに対応した向きの画像（図９の表示例１）に代えてユーザーＣに対応した向きの画像（図９の表示例４）を生成する。
【００４７】
また、主制御部２６は、このように生成した画像を前記表示部２８に表示させるように制御する機能も有している。
【００４８】
次に、前記画像表示装置２００の動作について図１０のフローチャートを用いて説明する。
【００４９】
まず、Ｓ１１において、前記主制御部２６が、前記ユーザー検知部２７により前記画像形成装置３００を使用しているユーザーが存在するか否を判定し、前記ユーザー検知部によりユーザーを検知してユーザーが存在すると判定した場合は（Ｓ１１でＹＥＳ）、Ｓ１２に進む。一方、前記ユーザー検知部によりユーザーを検知せずユーザーが存在しないと判定した場合は（Ｓ１１でＮＯ）、処理を終了する。このように、あらかじめユーザーの有無を検知すれば、ユーザーが存在しない場合は後述の各種処理を行う必要がなくなり処理の簡略化が図られる。
【００５０】
Ｓ１２では、前記識別情報検出部３０が、ユーザーのＩＣカードやＩＣタグ等からユーザーの識別情報を検出し、Ｓ１３に進む。
【００５１】
Ｓ１３では、優先順位決定部３２が、前記識別情報検出部３０により検出されたユーザー識別情報と、予約ジョブ記憶部３１に記憶されているユーザーの識別情報とを照合し、その照合の結果、検出した識別情報に対応する識別情報が予約ジョブ記憶部３１に有る場合は（Ｓ１３でＹＥＳ）、Ｓ１４に進む。一方、検出した識別情報に対応する識別情報が予約ジョブ記憶部３１にない場合は（Ｓ１３でＮＯ）は、そのまま処理を終了する。このように前記識別情報検出部３０により検出したユーザーの識別情報と、予約ジョブ記憶部３１に記憶されている識別情報とを照合することにより、ユーザーがジョブを予約していない場合には、その後の処理が進行しないので処理の簡略化が図れる。
【００５２】
Ｓ１４では、識別情報検出部３０に識別情報が検出され、かつそれに対応する識別情報が予約ジョブ記憶部３１に記憶されているユーザーが複数存在する場合において、ユーザーの優先順位を決定し、Ｓ１５に進む。
【００５３】
Ｓ１５では、前記ユーザー認識部２１によりユーザーの顔を認識し、Ｓ１６に進む。
【００５４】
Ｓ１６では、前記目検出部２２が、前述の検出方法により、前記ユーザー認識部２１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出し、Ｓ１７に進む。
【００５５】
Ｓ１７では、前記口置検出部２３が、前述の検出方法により、前記ユーザー認識部２１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出し、Ｓ１８に進む。
【００５６】
Ｓ１８では、前記位置判定部が、前述の判定方法により、前記目検出部２２および口検出部２３により検出したユーザーの目および口に基づいてユーザーの顔の位置を判定し、Ｓ１９に進む。
【００５７】
Ｓ１９では、前記表示方向決定部２５が、前述の決定方法により、前記位置判定部２４により判定したユーザーの顔の位置に応じて、ユーザーに対応する画像の表示方向を決定し、Ｓ２０に進む。
【００５８】
Ｓ２０では、前記主制御部２６が、前記画像記憶部２９に記憶されている画像を用い、表示方向決定部２５により決定された各ユーザーに対応する画像の表示方向と、前記優先順位決定部３２により決定されたユーザーの優先順位とに基づいて、図９の表示例１〜表示例３に示すような画像を生成し、Ｓ２１に進む。
【００５９】
Ｓ２１では、前記主制御部２６が、生成した画像を前記表示部２８に表示させるように制御して、処理を終了する。
【００６０】
この実施形態によれば、ジョブを予約しているユーザーが複数いる場合であっても、それら複数のユーザーに対して最適な表示方向または表示位置で最適な画像を表示することができる。
【００６１】
なお、この実施形態では、ユーザーの顔の位置をもってユーザーの位置を判定するものとしたが、ユーザーのその他の身体部位の位置をもってユーザーの位置を判定するものとしてもよい。
［実施形態３］
次にこの発明に係る第３の実施形態について説明する。
【００６２】
この実施形態は、図１に示した画像表示装置１００において、表示部に対するユーザーの顔の位置に応じて画像の表示位置を切り替えるものである。
【００６３】
図１１は、この実施形態に係る画像表示装置４００の電気的構成を示すブロック図である。
【００６４】
この画像表示装置３００は、ユーザーの顔を認識するユーザー認識部４１と、ユーザーの目を検出する目検出部４２と、ユーザーの口を検出する口検出部４３と、ユーザーの顔の位置を判定する顔位置判定部４４と、表示部４８に表示する画像の表示位置を決定する表示位置決定部４５と、各部の統括的制御および演算を行う主制御部４６と、ユーザーを検知するユーザー検知部４７と、画像を表示する表示部４８と、表示位置を切り替える前の画像を記憶する画像記憶部とを備えてなる。
【００６５】
なお、前記ユーザー認識部４１、目検出部４２、口検出部４３、ユーザー検知部４７、表示部４８、および画像記憶部４９については図２に示した前記画像表示装置１００のものと機能が同一なのでその説明を省略する。
【００６６】
前記顔位置判定部４４は、前記目検出部４２および口検出部４３により検出したユーザーの目および口に基づいてユーザーの顔の位置を判定するものである。この実施形態においても、実施形態２の画像表示装置２００の位置判定部２４と同様に、図８（ａ）に示すように、画像表示装置４００の表示部４８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部４８の右側を正（＋Ｘ）、座標原点から表示部４８の左側を負（−Ｘ）としてユーザーの顔の横方向の位置を判定する。また、図８（ｂ）に示すように、前述と同じく表示部４８の中央点の真正面の位置を座標原点に設定し、その座標原点から表示部４８の上側を正（＋Ｙ）、座標原点から表示部４８の下側を負（−Ｙ）としてユーザーの顔の縦方向の位置を判定する。そして、図８（ｃ）に示すように、ユーザーの顔の横方向および縦方向の位置から表示部４８に対するユーザーの顔の位置を判定する。
【００６７】
前記表示位置決定部４５は、前記顔位置判定部４４により判定したユーザーの顔の位置に基づいて画像の表示位置を決定するものである。例えば、ユーザーの顔の位置が表示部４８の真正面（座標［０，０］）にあると判定した場合、画像の表示位置を表示部４８の中央部に決定する。また、ユーザーの顔の位置が表示部４８の左上部（座標［−Ｘ，＋Ｙ］）にあると判定した場合、表示位置を表示部４８の左上部に決定する。さらにユーザーの顔の位置が表示部４８の右下部（座標［＋Ｘ，−Ｙ］）にあると判定した場合、表示位置を表示部４８の右下部に決定する。
【００６８】
前記主制御部４６は、前記画像記憶部に記憶されている画像を用い、前記表示位置決定部４５により決定された表示位置で画像を生成する画像生成機能を有している。例えば、前記主制御部４６は、前記表示位置決定部４５により画像の表示位置を表示部４８の中央部に決定した場合、図１２（ａ）に示すように、表示部４８の中央部に表示される画像を生成する。また、前記表示位置決定部４５により画像の表示位置を表示部４８の左上部に決定した場合、図１２（ｂ）に示すように、表示部４８の左上部に表示される画像を生成する。また、前記表示位置決定部４５により画像の表示位置を表示部４８の右下部に決定した場合、図１２（ｃ）に示すように、表示部４８の右下部に表示される画像を生成する。前記主制御部４６は、この画像生成機能により生成した画像を前記表示部４８に表示させるように制御する。
【００６９】
これによれば、画像表示装置の表示部に対するユーザーの顔の位置に応じて画像を表示するので、ユーザーの顔の位置に関わらず視認性の高い画像を常に表示することができ、ユーザーは様々な方向から画像を閲覧することが可能となる。
【００７０】
なお、この実施形態では、画像表示装置５００を情報端末装置に適用したが、画像形成装置などその他の装置に適用してもよい。
【００７１】
［実施形態４］
次にこの発明に係る第４の実施形態について説明する。
【００７２】
この実施形態は、図１の画像表示装置１００において、表示部の表示面が横方向に湾曲したものであり、この湾曲状態を考慮して画像の表示を見易いように補正するものである。。
【００７３】
図１３は、この実施形態に係る画像表示装置５００の電気的構成を示すブロック図である。
【００７４】
この画像表示装置５００は、ユーザーの顔を認識するユーザー認識部５１と、ユーザーの目を検出する目検出部５２と、ユーザーの口を検出する口検出部５３と、ユーザーの顔方向を判定する顔方向判定部５４と、前記表示部５８に表示する画像の表示方向を決定する表示方向決定部５５と、各部の統括的制御および演算を行う主制御部５６と、ユーザーを検知するユーザー検知部５７と、横方向に湾曲した表示面を有する表示部５８と、表示方向を切り替える前の画像を記憶すると画像記憶部と、表示部５８の表示面の湾曲情報を記憶する湾曲情報記憶部６０とを備えてなる。
【００７５】
なお、ユーザー認識部５１、目検出部５２、口検出部５３、顔方向判定部５４、表示方向決定部５５、ユーザー検知部５７、および画像記憶部５９については、図２に示した前記画像表示装置１００と機能が同一なのでその説明を省略する。
【００７６】
前記主制御部５６は、前記画像表示装置１００の主制御部６の機能のほかに、前記湾曲情報記憶部６０に記憶されている湾曲情報に基づいて画像を補正する画像補正機能を有する。例えば、表示部５８の表示面が横方向に湾曲している場合は、図１４（ａ）に示すように、表示部５８に表示される画像「春夏秋冬」も湾曲した状態となり、画像を視認しにくいことがある。そこで、あらかじめ表示部５８の表示面の湾曲情報を湾曲情報記憶部６０に記憶しておいて、図１４（ｂ）に示すように、湾曲情報記憶部６０に記憶されている湾曲情報に基づいて湾曲状態の画像を視認性の高い画像に補正する。
【００７７】
これによれば、表示部５８の表示面が湾曲している場合であっても、ユーザーに対して常に視認性の良い画像を表示することができる。
【００７８】
次に上記画像表示装置５００の動作について図１５および図１６に示すフローチャートを用いて説明する。
【００７９】
まず、Ｓ３１において、前記主制御部５６が、前記ユーザー検知部５７により前記画像表示装置５００を使用しているユーザーが存在するか否を判定し、前記ユーザー検知部５７によりユーザーを検知してユーザーが存在すると判定した場合は（Ｓ３１でＹＥＳ）、Ｓ３２に進む。一方、前記ユーザー検知部５７によりユーザーを検知せずユーザーが存在しないと判定した場合は（Ｓ３１でＮＯ）、処理を終了する。このように、あらかじめユーザーの有無を検知すれば、ユーザーが存在しない場合は後述の各種処理を行う必要がなくなり処理の簡略化が図られる。
【００８０】
Ｓ３２では、前記ユーザー認識部５１がユーザーの顔を認識し、Ｓ３３に進む。
【００８１】
Ｓ３３では、前記目検出部５２が、前述の検出方法により、前記ユーザー認識部５１により得た情報（ユーザーの顔情報）に基づいてユーザーの目を検出し、Ｓ３４に進む。
【００８２】
Ｓ３４では、前記口検出部５３が、前述の検出方法により、前記ユーザー認識部５１により得た情報（ユーザーの顔情報）に基づいてユーザーの口を検出し、Ｓ３５に進む。
【００８３】
Ｓ３５では、前記顔方向判定部５４が、前述の判定方法により、前記目検出部５２および口検出部５３により検出したユーザーの目および口に基づいてユーザーの顔方向を判定し、Ｓ３６に進む。
【００８４】
Ｓ３６では、前記表示方向決定部５が、前述の決定方法により、前記顔方向判定部５４により判定したユーザーの顔の方向に応じて、表示部５８に表示する画像の表示方向θを決定し、Ｓ３７に進む。
【００８５】
Ｓ３７では、前記主制御部５６が、画像記憶部５９に記憶されている画像を用い、前記表示方向決定部５５により決定された表示方向θで画像を生成し、Ｓ３８に進む。
【００８６】
Ｓ３８では、前記主制御部５６が、前記湾曲情報記憶部６０に表示部５８の湾曲情報が記憶されているか否かを判定し、湾曲情報が記憶されていると判定した場合は（Ｓ３８でＹＥＳ）、Ｓ３９に進む。一方、湾曲情報が記憶されていないと判定した場合は（Ｓ３８でＮＯ）、そのままＳ４０に進む。
【００８７】
Ｓ３９では、前記主制御部５６が、画像補正機能により、前記湾曲情報記憶部６０に記憶されている表示部５８の表示面の湾曲情報に基づいて、前記画像生成機能により生成した画像を補正し、Ｓ４０に進む。
【００８８】
Ｓ４０では、前記主制御部５６が、表示部５８に既に画像が表示されているか否かを判定し、既に画像が表示されていると判定した場合は（Ｓ４０でＹＥＳ）、Ｓ４１に進む。一方、未だ画像が表示されていないと判定した場合は（Ｓ４０でＮＯ）、Ｓ４２に進む。
【００８９】
Ｓ４１では、前記主制御部５６が、表示部５８に既に表示されている画像をメイン画面とし、画像補正機能により補正した画像をサブ画面として前記表示部５８に表示せしめ、処理を終了する。
【００９０】
Ｓ４２では、前記主制御部５６が、画像補正機能により補正した画像をメイン画面として前記表示部５８に表示せしめ、処理を終了する。
【００９１】
なお、この実施形態では、画像表示装置５００を情報端末装置に適用したが、画像形成装置などその他の装置に適用してもよい。
【００９２】
【発明の効果】
この発明によれば、画像形成装置の表示手段に対するユーザーの位置に応じて、視認性の良い画像を表示することができる。
【００９３】
しかも、ジョブを予約している複数のユーザーに対して最適な表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を表示するので、いずれのユーザーに対しても視認性の良い画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施形態に係る画像表示装置の正面図である。
【図２】図１の画像表示装置の電気的構成を示すブロック図である。
【図３】図１の画像表示装置における画像の表示例を示す図である。
【図４】図１の画像表示装置の動作を示すフローチャートである。
【図５】この発明の第２の実施形態に係る画像形成装置を適用した画像形成装置の概略上面図である。
【図６】図５の画像形成装置の概略正面図である。
【図７】図５の画像形成装置に適用された画像表示装置の電気的構成を示すブロック図である。
【図８】ユーザーの顔の位置を判定するための座標を示す図である。
【図９】図７の画像表示装置における画像の表示例を示す図である。
【図１０】図７の画像表示装置の動作を示すフローチャートである。
【図１１】この発明の第３の実施形態に係る画像表示装置の電気的構成を示すブロック図である。
【図１２】図１１の画像表示装置における画像の表示例を示す図である。
【図１３】この発明の第４の実施形態に係る画像表示装置の電気的構成を示すブロック図である。
【図１４】図１３の画像表示装置における画像の表示例を示す図である。
【図１５】図１３の画像表示装置の動作を示すフローチャート（前半）である。
【図１６】図１３の画像表示装置の動作を示すフローチャート（後半）である。
【符号の説明】
１・・・ユーザー認識部
２・・・目検出部
３・・・口検出部
４・・・顔方向判定部
５・・・表示方向決定部
６・・・主制御部
７・・・ユーザー検知部
８・・・表示部
Claims (2)
- 画像を表示する表示手段と、
ユーザーが存在しているか否かを検知する検知手段と、
前記検知手段によって検知されたユーザーの識別情報を検出する識別情報検出手段と、
ユーザーが予約したジョブを、ユーザーの識別情報に関連付けて記憶する予約ジョブ記憶手段と、
前記識別情報検出手段により検出されたユーザーの識別情報と、前記予約ジョブ記憶手段に記憶されているユーザーの識別情報とを照合する識別情報照合手段と、
ユーザーの位置を判定する判定手段と、
前記検知手段によって複数のユーザーが検知され、前記識別情報照合手段による照合の結果、識別情報検出手段により検出された各ユーザーの識別情報に対応する予約ジョブがある場合に、各ユーザーの位置に応じた表示方向または表示位置で各ユーザーに対応する予約ジョブの状態を示す画像を前記表示手段にそれぞれ表示させる表示制御手段と、
を備えてなることを特徴とする画像形成装置。 - さらに、各ユーザーの優先順位を決定する優先順位決定手段を備え、
前記優先順位決定手段で決定された優先順位に基づいて、前記表示制御手段は表示方向または表示位置を制御する請求項１に記載の画像形成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001382194A JP3864776B2 (ja) | 2001-12-14 | 2001-12-14 | 画像形成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001382194A JP3864776B2 (ja) | 2001-12-14 | 2001-12-14 | 画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003186462A JP2003186462A (ja) | 2003-07-04 |
| JP3864776B2 true JP3864776B2 (ja) | 2007-01-10 |
Family
ID=27592643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001382194A Expired - Fee Related JP3864776B2 (ja) | 2001-12-14 | 2001-12-14 | 画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3864776B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100556856B1 (ko) | 2003-06-14 | 2006-03-10 | 엘지전자 주식회사 | 이동통신 단말기에서 화면 제어 방법 및 장치 |
| FI117217B (fi) * | 2003-10-01 | 2006-07-31 | Nokia Corp | Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi |
| WO2006126310A1 (ja) * | 2005-05-27 | 2006-11-30 | Sharp Kabushiki Kaisha | 表示装置 |
| JP2007235581A (ja) * | 2006-03-01 | 2007-09-13 | Funai Electric Co Ltd | テレビジョン受信装置 |
| US20100045705A1 (en) * | 2006-03-30 | 2010-02-25 | Roel Vertegaal | Interaction techniques for flexible displays |
| JP5453717B2 (ja) * | 2008-01-10 | 2014-03-26 | 株式会社ニコン | 情報表示装置 |
| JP2009171259A (ja) * | 2008-01-16 | 2009-07-30 | Nec Corp | 顔認証による画面切替装置、方法、プログラム及び携帯電話機 |
| JP5527797B2 (ja) * | 2009-08-06 | 2014-06-25 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 電子機器 |
| JP5397081B2 (ja) * | 2009-08-12 | 2014-01-22 | 富士通モバイルコミュニケーションズ株式会社 | 携帯端末 |
| JP2011054069A (ja) * | 2009-09-04 | 2011-03-17 | Sharp Corp | 表示装置及びプログラム |
| JP2011101289A (ja) * | 2009-11-09 | 2011-05-19 | Nec Corp | 画像表示装置及び画像表示方法 |
| WO2011104837A1 (ja) * | 2010-02-25 | 2011-09-01 | 富士通株式会社 | 携帯端末、動作間隔設定方法及びプログラム |
| JP5464661B2 (ja) * | 2010-03-12 | 2014-04-09 | Ｋｄｄｉ株式会社 | 情報端末装置 |
| JP2012004798A (ja) * | 2010-06-16 | 2012-01-05 | Sharp Corp | 情報処理装置、情報表示用プログラムおよび情報処理装置の制御方法 |
| US8593558B2 (en) * | 2010-09-08 | 2013-11-26 | Apple Inc. | Camera-based orientation fix from portrait to landscape |
| EP2505223A1 (en) * | 2011-03-31 | 2012-10-03 | Alcatel Lucent | Method and device for displaying images |
| JP2012253440A (ja) * | 2011-05-31 | 2012-12-20 | Toshiba Corp | 表示装置及び表示制御方法 |
| US8665236B2 (en) * | 2011-09-26 | 2014-03-04 | Apple Inc. | Electronic device with wrap around display |
| JP5845783B2 (ja) * | 2011-09-30 | 2016-01-20 | カシオ計算機株式会社 | 表示装置、表示制御方法及びプログラム |
| JP2013061988A (ja) * | 2013-01-04 | 2013-04-04 | Fujitsu Ltd | 表示制御装置、表示制御方法および表示制御プログラム |
| JPWO2015151387A1 (ja) * | 2014-04-04 | 2017-04-13 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5771720B2 (ja) * | 2014-04-16 | 2015-09-02 | オリンパス株式会社 | 情報機器、情報機器の制御方法、およびプログラム |
| USD841016S1 (en) | 2014-12-31 | 2019-02-19 | Sony Corporation | Display panel or screen with graphical user interface |
| WO2016113951A1 (ja) * | 2015-01-15 | 2016-07-21 | 株式会社ソニー・インタラクティブエンタテインメント | 頭部装着型表示装置、及び映像表示システム |
| JP6661282B2 (ja) * | 2015-05-01 | 2020-03-11 | パラマウントベッド株式会社 | 制御装置、画像表示システム及びプログラム |
| JP6608208B2 (ja) * | 2015-07-24 | 2019-11-20 | 国立大学法人静岡大学 | 画像表示装置 |
| JP2018138373A (ja) * | 2017-02-24 | 2018-09-06 | シャープ株式会社 | 画像形成装置、制御プログラムおよび制御方法 |
| JPWO2019111553A1 (ja) * | 2017-12-06 | 2020-12-24 | ソニー株式会社 | 表示装置 |
| JP7113045B2 (ja) * | 2020-06-10 | 2022-08-04 | パラマウントベッド株式会社 | 表示制御装置 |
-
2001
- 2001-12-14 JP JP2001382194A patent/JP3864776B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003186462A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3864776B2 (ja) | 画像形成装置 | |
| JP4477426B2 (ja) | 移動通信端末機の画像傾き自動補正装置及びその方法 | |
| US10114458B2 (en) | Apparatus and method of controlling mobile terminal based on analysis of user's face | |
| JP5857257B2 (ja) | 表示装置及び表示方向切替方法 | |
| US9691125B2 (en) | Transformation of image data based on user position | |
| US20110032220A1 (en) | Portable electronic device and method for adjusting display orientation of the portable electronic device | |
| US20150154439A1 (en) | Electronic mirror device | |
| TW200928860A (en) | Method and device for adjusting output frame | |
| CN111045577A (zh) | 一种横竖屏切换方法、可穿戴设备和具有存储功能的装置 | |
| JP2000097676A (ja) | 顔向き検出方法及びその装置 | |
| JP2011150225A (ja) | 画像表示装置及び画像表示方法 | |
| JP2010181556A (ja) | 画像表示装置及び方法 | |
| JP6201282B2 (ja) | 携帯電子機器、その制御方法及びプログラム | |
| JPH11296304A (ja) | 画面表示入力装置及び視差補正方法 | |
| JP3796019B2 (ja) | 視線検出装置 | |
| US20180053490A1 (en) | Display device and method of displaying image on display device | |
| JP2009282699A (ja) | 画像における顔の器官の画像に対応する器官領域の検出 | |
| JP6757114B2 (ja) | 入力表示装置 | |
| JP4985510B2 (ja) | 対象画像における顔の画像に対応する顔領域の設定 | |
| JP2009237857A (ja) | 画像における顔の器官の画像に対応する器官領域の設定 | |
| WO2020095400A1 (ja) | 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体 | |
| KR101782476B1 (ko) | 사용자 시선 기반 디스플레이 출력 자동 회전 방법 | |
| JP3200642B2 (ja) | 情報認識装置 | |
| JP2009237618A (ja) | 画像における顔領域の検出 | |
| US11775063B1 (en) | Display device and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040927 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060407 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060925 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |