JP3868896B2 - 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム - Google Patents
自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム Download PDFInfo
- Publication number
- JP3868896B2 JP3868896B2 JP2002355380A JP2002355380A JP3868896B2 JP 3868896 B2 JP3868896 B2 JP 3868896B2 JP 2002355380 A JP2002355380 A JP 2002355380A JP 2002355380 A JP2002355380 A JP 2002355380A JP 3868896 B2 JP3868896 B2 JP 3868896B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration plate
- color correction
- unit
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Manipulator (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、取得した画像に基づいて自己の移動を自律的に制御する移動体に備え付けられた撮像装置に係わり、特に撮像装置の較正を自律的に行うことができる自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラムに関する。
【０００２】
【従来の技術】
従来から周囲の環境をカメラで撮像し、得られた画像に対して画像処理を施すことによって、周囲の目標物や障害物を抽出しながら自己の移動経路を決定して自律的に移動する移動ロボットが知られている。
カメラによって周囲環境を撮像する場合、環境光が撮像結果に影響することが多い。照明から発せられる光は、自然の太陽光とは異なり、蛍光灯の光には緑の、白熱灯にはオレンジの色が付いている。このような照明光のもとで画像を撮像すると、被写体には微妙な色が付いてしまい、実際と異なった色みになる。このような現象を防ぐために、色を補正するための機能としてホワイトバランス調整が知られている。通常カメラには、ホワイトバランス調整が固定されているもの、自動で調整されるもの、手動で調整するものなどがあるが、自動で調整されるもののなかには、補正が強すぎて本来の色に写らないということもある。また、手動で調整するものであれば、自由に設定することが可能であるという特徴を有している。
【０００３】
ところで、自律的に移動するロボットは、昼夜を問わず、あらゆる場所へ移動する必要があるが、可視光のカメラを用いて周囲の環境認識の精度を向上させるためには、環境光の変化による影響を最小限にしなければならず、環境光の状態が変化する度にホワイトバランス調整を行なわなければならないという問題がある。また、作業者がホワイトバランス調整を必要とするタイミングを計るのは困難であるという問題もある。
このような問題を解決するカメラとして、被写体の服の色や室内の壁の色等の影響を受けることなく、良好なホワイトバランス調整を実現する撮像装置が知られている（特許文献１）。この撮像装置は、撮像用レンズの前面に電動で開閉する半透明のレンズカバーを装填し、電源投入時や外部から指示が出された時に、半透明のレンズカバーを通して撮影し、色の補正をした後に半透明のカバーを開いて撮影するものである。また、撮影時の光源下で得られた色調を青空光源下で撮影したときの色調に変換すると共に、人間の眼の順応特性に応じた色調で出力する電子カメラも知られている（特許文献２）。
【０００４】
【特許文献１】
特開平６−１２１３２１号公報（第２図、第３図）
【特許文献２】
特開平１０−４５５８号公報（第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１の撮像装置は、白濁した半透明のレンズカバーを透過した環境光によってホワイトバランス調整を行うものであるため、レンズカバーにおける光の波長（色）毎の透過特性によってホワイトバランス調整の結果が決定されてしまい、必ずしも環境光の影響を除去することができない。また、透過光によってホワイトバランス調整を行うため、環境認識を行う状況に近い状態でホワイトバランス調整が行われるとは限らない。自律移動ロボットが周囲の環境を認識するには、物体の表面における環境光の反射光を撮像することが原則であるため、レンズカバーの透過光に基づいてホワイトバランス調整を行っても適切な色補正が行えないという問題がある。
一方、特許文献２の電子カメラは、得られた画像を人間が見たときに自然に見えるように補正するためにホワイトバランス調整を行うものであるため、自律移動ロボットが周囲の環境を認識するために最適な色補正が行われるとは限らない。自律移動ロボットが周囲の環境を認識するには、周囲の物体が持っている色が自然に見えるようにすることより、物体の認識結果が環境光の変化によらず一定に保たれることが重要であるため、得られた画像を人間が見たときに自然な色に見えるようにホワイトバランス調整を行っても環境認識に適切な色補正が行なわれるとは限らないという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、撮像装置の較正を自律的に行うことができる自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置において、前記撮像装置は、前記画像撮像手段で得られた画像から色検出する画像処理手段と、前記画像撮像手段の色補正を行うための白色較正板と、前記較正板を前記画像撮像手段の視野内に移動する較正板制御手段とからなり、周囲環境光の変化に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする。
請求項２に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置において、前記撮像装置は、前記画像撮像手段で得られた画像から色検出する画像処理手段と、前記画像撮像手段の色補正を行うための白色較正板と、前記較正板を前記画像撮像手段の視野内に移動する較正板制御手段とからなり、行動範囲を定めた地図上の現在位置または時刻に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする。
請求項３に記載の発明は、周囲環境の画像を撮像する画像撮像手段（例えば、実施形態におけるカメラ１）と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段（例えば、実施形態における画像処理部２）とを持つ自律移動体に備えられる撮像装置において、前記撮像装置は、前記画像撮像手段で得られた画像から色検出する画像処理手段（例えば、実施形態における画像処理部２）と、前記画像撮像手段の色補正を行うための白色較正板（例えば、実施形態における較正板３）と、前記較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御手段（例えば、実施形態における較正板制御部４）とからなり、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正（例えば、実施形態におけるホワイトバランス調整）を実施する（例えば、実施形態における制御部５）ことを特徴とする。
この発明によれば、画像撮像手段で得られた画像が色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
【０００８】
請求項４に記載の発明は、前記色検出判断は、周囲環境光の変化に基づいて行うことを特徴とする。
この発明によれば、色検出判断を環境光の変化に応じて行うようにしたため、環境光の変化が生じたタイミングで適切な較正を効率よく行なうことができるという効果が得られる。
【０００９】
請求項５に記載の発明は、前記色検出判断は、行動範囲を定めた地図上の現在位置または時刻に基づいて行うことを特徴とする。
この発明によれば、色検出判断を行動範囲を定めた地図上の現在位置または時刻に基づいて行うようにしたため、予め決められた場所や時刻において適切な較正を効率よく行なうことができるという効果が得られる。
【００１０】
請求項６に記載の発明は、前記色検出判断は、指示者からの指示に基づいて行うことを特徴とする。
この発明によれば、色検出判断を指示者からの指示に基づいて実施するようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。。
【００１１】
請求項７に記載の発明は、前記色検出判断は、前記画像処理手段において色検出ができか否かに基づいて行うことを特徴とする。
この発明によれば、色検出ができたか否かを判断するようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正を効率よく行なうことができるという効果が得られる。
【００１２】
請求項８に記載の発明は、前記自律移動体用撮像装置は、前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶手段（例えば、実施形態における記憶部６）と、前記記憶部に記憶された時刻または場所に基づいて、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段（例えば、実施形態における制御部５）とをさらに備えたことを特徴とする。
この発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００１３】
請求項９に記載の発明は、前記自律移動体用撮像装置は、マイクで集音された指示の音声を認識して、認識結果を出力する音声認識手段（例えば、実施形態における音声認識部１２）と、前記音声認識手段における音声認識の結果が、前記画像撮像手段の色補正を行う指示である場合に、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段（例えば、実施形態における制御部５）とをさらに備えたことを特徴とする。
この発明によれば、マイクで集音された指示の音声を認識して、音声認識の結果が、画像撮像手段の色補正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００１４】
請求項１０に記載の発明は、前記自律移動体用撮像装置は、前記画像撮像手段で撮像された画像から人間の動作を認識して、認識結果を出力する指示認識手段（例えば、実施形態における指示認識部２２）と、前記指示認識手段における動作認識の結果が、前記画像撮像手段の較正を行う指示である場合に、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段（例えば、実施形態における制御部５）とをさらに備えたことを特徴とする。
この発明によれば、画像撮像手段で撮像された画像から人間の動作を認識して、動作認識の結果が、画像撮像手段の較正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００１５】
請求項１１に記載の発明は、前記移動体は、２足歩行の人型ロボットであり、前記較正板は、人型ロボットの腕部分に取り付けられたことを特徴とする。
この発明によれば、較正板を人型ロボットの腕部分に取り付けられたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【００１６】
請求項１２に記載の発明は、前記移動体は、２足歩行の人型ロボットであり、前記較正板は、人型ロボットが携帯したことを特徴とする。
この発明によれば、較正板を人型ロボットが携帯するようにしたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【００１７】
請求項１３に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正方法であって、前記画像撮像手段で得られた画像から色検出する画像処理過程と、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記画像撮像手段の色補正を行うための白色較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御過程と、前記較正板が前記画像撮像手段の視野内にある時に、該画像撮像手段の色補正を行う較正過程とを有することを特徴とする。
この発明によれば、色検出ができない場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に、画像撮像手段の色補正を行うようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。
【００１８】
請求項１４に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正方法であって、前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶過程と、前記記憶された時刻または場所に基づいて、前記画像撮像手段の色補正を行うための白色の較正板を前記画像撮像手段の視野内へ移動させる較正板制御過程と、前記較正板が前記画像撮像手段の視野内にある時に、前記画像撮像手段の色補正を行う較正過程とを有することを特徴とする。
この発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００１９】
請求項１５に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正プログラムであって、前記画像撮像手段で得られた画像から色検出する画像色検出処理と、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記画像撮像手段の色補正を行うための白色較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御処理と、前記較正板が記画像撮像手段の視野内にある時に、該画像撮像手段の色補正を行う較正処理とをコンピュータに行わせることを特徴とする。
この発明によれば、色検出ができない場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に、画像撮像手段の色補正を行うようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。
【００２０】
請求項１６に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正プログラムであって、前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶処理と、前記記憶された時刻または場所に基づいて、前記画像撮像手段の色補正を行うための白色の較正板を前記画像撮像手段の視野内へ移動させる較正板制御処理と、前記較正板が前記画像撮像手段の視野内にある時に、前記画像撮像手段の色補正を行う較正処理とをコンピュータに行わせることを特徴とする。
この発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００２１】
【発明の実施の形態】
以下、本発明の第１の実施形態による自律移動体用撮像装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、２台のカラーＣＣＤカメラで構成されたステレオカメラ（以下、単にカメラと称する）であり、外部からの信号に基づいてホワイトバランス調整を行うことが可能である。符号２は、カメラ１で撮像された画像に対して標本化及び量子化を施して得られた画像を処理して、移動体が自律移動するための周囲環境認識を行う画像処理部である。符号３は、カメラ１のホワイトバランス調整を行うときにカメラ１の視野内を覆う較正板であり、この較正板は望ましくは、白色の完全拡散反射体の平板であるが、つやのない白色の塗料が塗布された平板でもよい。符号４は、較正板３がカメラ１の視野内を覆うように較正板３の位置を制御する較正板制御部である。符号５は、カメラ１のホワイトバランス調整を行う制御部である。符号６は、ホワイトバランス調整を行う場合に必要な情報が記憶される記憶部である。符号２３は、画像処理部２において得られた周囲環境の情報に基づいて、この自律移動体用撮像装置が搭載された移動体（図示せず）の自律移動を制御する移動制御部である。
【００２２】
次に、図１に示す装置の動作を説明する。初めに、移動体を制御する動作を簡単に説明する。まず、２台のカメラ１は、移動体の周囲の環境を撮像し、得られた画像を画像処理部２へ送る。これを受けて、画像処理部２は、送られた画像に対して画像処理を施し、物体形状の抽出を行うとともに、ステレオ画像から得られる物体までの距離を求め、ここで得られた結果を移動制御部２３へ送る。移動制御部２３は、画像処理部２から送られた物体形状と距離に基づいて、移動経路を求めて自律移動を行う。この動作を繰り返し実行することにより移動体は自律移動が可能となる。
【００２３】
次に、図２を参照して、移動体が自律移動中にカメラ１のホワイトバランス調整を行う動作を説明する。図２は、カメラ１のホワイトバランス調整を行う動作を示すフローチャートである。まず、画像処理部２は、カメラ１で撮像されたカラー画像から色検出を行う（ステップＳ１）。そして、画像処理部２は、色検出ができたか否かを判定する（ステップＳ２）。この判定は、想定される物体のＲＧＢそれぞれの濃淡値が予め定められた範囲内であるか否かによって判定する。
【００２４】
この判定の結果において色検出ができた場合、画像処理部２は、色検出ができたことを制御部５へ通知する。これを受けて、制御部５は、現状の状態を保持する。一方、色検出ができない場合、画像処理部２は、色検出ができないことを制御部５へ通知する。これを受けて、制御部５は、較正板制御部４に対して、較正板３をカメラ１の前に移動するように指示を出す。このとき、制御部５は、記憶部６に記憶されているカメラ１と較正板３との位置関係を読み出し、較正板３の移動量を求め、この移動量を較正板制御部４へ通知する。これを受けて、較正板制御部４は、較正板３をカメラ１の前へ移動する（ステップＳ３）。これにより、２台のカメラ１の視野内を較正板３が覆うこととなる。
【００２５】
次に、制御部５は、カメラ１に対して、ホワイトバランス調整を行うように指示を出す。これを受けて、２台のカメラ１は、視野内を較正板３が覆っている間にホワイトバランス調整を行う（ステップＳ４）。これによって、ホワイトバランス調整が行われることとなり、色検出ができるようになるため、適切な周囲環境認識が行えるようになる。特に、較正板３に周囲環境光が照射されるようにするため、較正板３とカメラ１との距離を一定距離だけ離すようにして、かつカメラ１の視野全てを較正板３によって覆い、較正板３表面における環境光の反射光を用いてホワイトバランス調整を行うようにしたため、周囲環境認識を行う場合の状態に近い状態でホワイトバランス調整を行うことができる。これにより、現在置かれている状況においてホワイトバランス調整が行われるため、色検出の精度を向上させることが可能となる。
【００２６】
ここで、図１０〜１３を参照して、ホワイトバランス調整を行う動作の具体例を挙げて説明する。図１０において、符号Ｒ１は、自律移動体用撮像装置が搭載される筐体型の自律移動ロボットである。自律移動ロボットＲ１は、カメラ１で撮像した画像に基づいて移動経路を決定し、自律移動を行う。そして、自律移動中に色検出ができなくなった場合、較正板３をスライドさせてカメラ１の視野内を覆うようにしてホワイトバランス調整を行う。
【００２７】
また、図１１において、符号Ｒ２は、２足歩行の人型自律移動ロボットである。この例は、較正板３を人型自律移動ロボットＲ２の腕（手首と肘の間）の部分に取り付け、ホワイトバランス調整が必要なときに、較正板３が取り付けられた腕の部分をカメラ１の視野内（図１１の２点鎖線で示す位置）に移動するようにしたものである。較正板制御部４は、ホワイトバランス調整が必要なときに、制御部５から較正板３の移動制御指示を受け取ると、較正板３をカメラ１の前（図１２）に出すように人型自律移動ロボットＲ２の腕を制御する。この場合、較正板３は、図１１、１２に示すように腕に取り付けられていてもよいが、人型自律移動ロボットＲ２の腕そのものが平面部分を有しており、この平面部分につやのない白色の塗料が塗布されていてもよい。なお、白色塗料を塗布する部分は、平面であることが望ましいが、ホワイトバランス調整時の画像内に影ができなければ曲面であってもよい。また、人型自律移動ロボットＲ２の腕の一部が較正板３となっていてもよい。また、人型自律移動ロボットＲ２の頭部にスライド機構を有した較正板３を備えておき、ホワイトバランス調整が必要となった場合に、スライドした較正板３がカメラ１の視野内全てを覆うようにしてもよい。
【００２８】
また、図１３において、符号Ｒ３は、２足歩行の人型自律移動ロボットが較正板３を携帯し、ホワイトバランス調整を行う必要がある時に取り出して、カメラ１の前へ出すようにしたものである。較正板３は、人型自律移動ロボットＲ３が所定の作業を行う場合に起こす動作の妨げにならない位置に着脱可能な状態で装備すればよい。例えば、二の腕（肩と肘の間）、腹部、腰、尻、背中、脚等に較正板３を装備しておき、ホワイトバランス調整が必要なときに、人型自律移動ロボットＲ３自身の手によって、この較正板３を取り外し、ホワイトバランス調整を実施後、元の位置に戻すという動作が実現可能である。このようにすることによって、較正板３が経年劣化した場合などにおいて、簡単に取り替えができる。
【００２９】
このように、自律移動ロボットＲ１、Ｒ２、Ｒ３に較正板３を備え、ホワイトバランス調整を行う必要があるときに、備えた較正板３をカメラ１の前へ出すようにして移動中にホワイトバランス調整を行うことができるようにしたため、周囲の環境の変化が急激であっても適切な色補正が行え、適切な周囲環境認識を行うことができる。
【００３０】
次に、第２の実施形態による自律移動体用撮像装置を図面を参照して説明する。図３は第２の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態によるの装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が第１の実施形態の装置と異なる点は、周囲の環境光の色情報を含む測光量を取得する測光部１３を新たに備え、測光部１３が画像処理部２に代わって、色検出処理（ステップＳ１）と色検出ができたか否かの判定処理（ステップＳ２）を行うようにした点である。測光部１３は、所定の時間間隔（例えば、３分間）で周囲環境光を測定し、直前に実施したホワイトバランス調整時の測光量と比較して、差があった場合に、周囲環境光に変化が生じたものと見なして色検出実施に不充分と判定し、この判定結果を制御部５へ通知する。この判定は、前述した処理と同様に想定される物体のＲＧＢそれぞれの濃淡値が予め定められた範囲内であるか否かによって判定する。
この判定処理以降の処理動作は、前述した第１の実施形態におけるステップＳ３、Ｓ４と同様であるので、ここでは詳細な説明を省略する。
【００３１】
次に、第３の実施形態による自律移動体用撮像装置を図面を参照して説明する。図４は第３の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態によるの装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が第１の実施形態の装置と異なる点は、タイマ７、通信部８、９、管理ホスト１０が設けられている点である。タイマ７は、現在時刻を制御部５へ通知する。通信部８は、移動体に備えられた無線によって通信を行う通信部である。通信部９は、通信部８へ無線通信によって管理ホスト１０から出力される情報を送信する。通信部９は、通信部８と無線によって通信が行える位置に設置される。
【００３２】
次に、図５を参照して、図４に示す自律移動体用撮像装置の動作を説明する。まず、管理ホスト１０は、カメラ１のホワイトバランス調整に関する情報を通信部９を介して、通信部８に対して送信する。ここでいうホワイトバランス調整に関する情報とは、ホワイトバランス調整を行う条件であり、移動体の行動範囲内の地図情報、この地図上におけるホワイトバランス調整を行う位置及び時刻である。
【００３３】
これを受けて、通信部８は、管理ホスト１０から送信された情報を記憶部６へダウンロードする（ステップＳ１１）。続いて、制御部５は、記憶部６に記憶された条件を読み出す（ステップＳ１２）。ここで読み出される条件は、移動体の行動範囲内の地図情報、この地図上におけるホワイトバランス調整を行う位置及び時刻である。
【００３４】
次に、制御部５は、画像処理部２から出力される周囲環境認識情報に基づいて、記憶部６から読み出した地図情報と照合して、この地図上の現在位置を求めるとともに、タイマ７の出力を読み込む。そして、制御部５は、ホワイトバランス調整を行う条件を満たしているかを判断する（ステップＳ１３）。ここでは、現在時刻が記憶されていた時刻になったか否かと、現在位置が記憶されていた位置に達したか否かを判断し、いずれか一方または両方が満たされたときに条件を満たしたものとする。
【００３５】
この判断の結果、条件を満たしていなければ満たすまで待機する。一方、条件を満たしていれば、制御部５は、較正板制御部４に対して、較正板３をカメラ１の前に移動するように指示を出す。このとき、制御部５は、記憶部６に記憶されているカメラ１と較正板３との位置関係を読み出し、較正板３の移動量を求め、この移動量を較正板制御部４へ通知する。これを受けて、較正板制御部４は、較正板３をカメラ１の前へ移動する（ステップＳ１４）。これにより、２台のカメラ１の視野内を較正板３が覆うこととなる。
【００３６】
次に、制御部５は、カメラ１に対して、ホワイトバランス調整を行うように指示を出す。これを受けて、２台のカメラ１は、視野内を較正板３が覆っている間にホワイトバランス調整を行う（ステップＳ１５）。これによって、ホワイトバランス調整が行われることとなり、適切な周囲環境認識が行えるようになる。
【００３７】
ここで、図６、７を参照して、管理ホスト１０から指示された時刻及び場所において、ホワイトバランス調整を行う動作の具体例を挙げて説明する。図６は、日射の影響がある場合とない場合でホワイトバランス調整を実施するタイミングが異なること示す図である。図６の２つの図のうち、上部の図は、太陽が高い位置にある場合を示しており、下部の図は太陽が低い位置にある場合を示している。図６において、●で示した位置は、必ずホワイトバランス調整を実施する位置を示しており、○で示した位置は、時刻によってホワイトバランス調整を実施するか否かが決まる位置を示している。
【００３８】
太陽が高い位置にある場合は、窓から屋内へ差し込む光が照射されるエリアは小さいため、屋内の通路を移動する場合は、Ｐ１地点でホワイトバランス調整を行い、屋内を移動中はＰ１地点以外でホワイトバランス調整を実施しない。そして、屋内から屋外に出た位置（Ｐ２地点）で新たにホワイトバランス調整を実施する。
【００３９】
一方、太陽が傾いて低い位置にある場合は、窓から屋内へ差し込む光が照射されるエリアは大きくなるため、屋内の通路を移動する場合は、Ｐ３地点でホワイトバランス調整を実施し、Ｐ４地点では、現在時刻を参照し、現在時刻が太陽が傾いている時刻であれば、ホワイトバランス調整を実施する。そして、日射の影響が無くなる場所（Ｐ５地点）では、Ｐ４地点でホワイトバランス調整が行われたか否かに基づいてホワイトバランス調整を実施する。また、Ｐ６地点は、屋内から屋外へ出た位置であるため必ずホワイトバランス調整を実施する。さらに、Ｐ７地点は、太陽が低い場合には日陰になる位置であるため、現在時刻が太陽が傾いている時刻であれば、ホワイトバランス調整を実施する。
【００４０】
図７は、屋内において使用される照明の種類の違いによって、ホワイトバランス調整を実施するタイミングが異なることを示す図である。建造物の屋内においては、その場所がどのような用途で使用されるかによって使用される照明の色が選択されて設置されていることが多い。図７では、２階のフロアは、昼白色の蛍光灯が用いられ、階段においては、昼光色の蛍光灯が用いられ、１階のフロアでは、白熱灯が用いられている例を示している。制御部５は、地図情報を参照しながら、各照明の影響が最も大きく影響する場所（照明器具の直下）に到達したとき（Ｐ８、Ｐ９、Ｐ１０の地点）にホワイトバランス調整を実施する。
【００４１】
このように、移動体の行動範囲内の地図情報と、この地図上におけるホワイトバランス調整を行う位置及び時刻に関する情報をダウンロードして、この情報に基づいてホワイトバランス調整を実施するようにしたため、確実にその場所に適したホワイトバランス調整を実施することが可能となる。
【００４２】
次に、第４の実施形態による自律移動体用撮像装置を図面を参照して説明する。図８は第４の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態によるの装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が第１の実施形態の装置と異なる点は、マイク１１と音声認識部１２が設けられている点である。マイク１１は、ホワイトバランス調整を行うように指示を出す者が発した音声を集音する。音声認識部１２は、マイク１１で集音した指示の音声の内容を認識して、この認識結果を制御部５へ出力する。また、画像処理部２には、色検出を行う色検出部２１に加え、ホワイトバランス調整を行うように指示を出す者の身振り手振りを認識する指示認識部が設けられている。
【００４３】
次に、図９を参照して、図８に示す自律移動体用撮像装置の動作を説明する。まず、音声認識部１２は、マイク１１で集音した指示の音声を受け取る。一方、指示認識部２２は、カメラ１で撮像した作業者の身振り手振りで行った指示の画像を受け取る（ステップＳ２１）。そして、音声認識部１２は、受け取った音声がホワイトバランス調整を行う指示の音声であるかの認識を行い、この認識結果を制御部５へ通知する。また、指示認識部２２は、得られた画像の内容がホワイトバランス調整を行う指示の身振り手振りであるかの認識を行い、この認識結果を制御部５へ通知する（ステップＳ２２）。
【００４４】
次に、制御部５は、ホワイトバランス調整を行うために出された指示を、音声認識部１２または指示認識部２２において認識できたか否かの判定を行う（ステップＳ２３）。この判定の結果、未だ認識できない場合は、認識できるまで待機する。一方、音声または身振り手振りによる指示が認識できた場合、制御部５は、較正板制御部４に対して、較正板３をカメラ１の前に移動するように指示を出す。このとき、制御部５は、記憶部６に記憶されているカメラ１と較正板３との位置関係を読み出し、較正板３の移動量を求め、この移動量を較正板制御部４へ通知する。これを受けて、較正板制御部４は、較正板３をカメラ１の前へ移動する（ステップＳ２４）。これにより、２台のカメラ１の視野内を較正板３が覆うこととなる。
【００４５】
次に、制御部５は、カメラ１に対して、ホワイトバランス調整を行うように指示を出す。これを受けて、２台のカメラ１は、視野内を較正板３が覆っている間にホワイトバランス調整を行う（ステップＳ２５）。これによって、ホワイトバランス調整が行われることとなり、適切な周囲環境認識が行えるようになる。
【００４６】
なお、指示認識部２２は、ホワイトバランス調整実施を示すマーキングが自律移動中にカメラ１で撮像された画像中に含まれていた場合にホワイトバランス調整を行うようにしてもよい。このとき、ホワイトバランス調整実施を示すマーキング近傍に較正板３を設け、移動体は、この較正板３がカメラ１の視野を覆うようになるまで接近してホワイトバランス調整を行うようにしてもよい。
【００４７】
このように、外部からの指示に応じてホワイトバランス調整を行うようにしたため、任意のタイミングでホワイトバランス調整を実施することができる。また、ホワイトバランス調整実施を必要とする場所に予めマーキングをしておくことにより、ホワイトバランス調整を行う必要性の判断を自律的に行う必要がなくなるため、制御部５の処理負荷を低減することができる。
【００４８】
また、制御部５は、（１）画像処理部２、測光部１３が色検出を行っている場合、（２）ホワイトバランス調整実施中や較正板３の移動中において、移動体を駆動するためのバッテリ機能が低下した場合、（３）カメラ１が破損した場合などにおいて、ホワイトバランス調整を実施する制御を停止するようにしてもよい。
【００４９】
なお、図２、５、９に示す処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより色補正処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５１】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、周囲環境光の変化に応じて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、環境光の変化が生じたタイミングで適切な較正を効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
請求項２に記載の発明によれば、行動範囲を定めた地図上の現在位置または時刻に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、予め決められた場所や時刻において適切な較正を効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
請求項３に記載の発明によれば、画像撮像手段で得られた画像が色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
【００５２】
請求項４に記載の発明によれば、色検出判断を環境光の変化に応じて行うようにしたため、環境光の変化が生じたタイミングで適切な較正を効率よく行なうことができるという効果が得られる。
【００５３】
請求項５に記載の発明によれば、色検出判断を行動範囲を定めた地図上の現在位置または時刻に基づいて行うようにしたため、予め決められた場所や時刻において適切な較正を効率よく行なうことができるという効果が得られる。
【００５４】
請求項６に記載の発明によれば、色検出判断を指示者からの指示に基づいて実施するようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００５５】
請求項７、１３、１５に記載の発明によれば、色検出ができない場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に、画像撮像手段の色補正を行うようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。
【００５６】
請求項８、１４、１６に記載の発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００５７】
請求項９に記載の発明によれば、マイクで集音された指示の音声を認識して、音声認識の結果が、画像撮像手段の色補正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００５８】
請求項１０に記載の発明によれば、画像撮像手段で撮像された画像から人間の動作を認識して、動作認識の結果が、画像撮像手段の較正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００５９】
請求項１１に記載の発明によれば、較正板を人型ロボットの腕部分に取り付けられたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【００６０】
請求項１２に記載の発明によれば、較正板を人型ロボットが携帯するようにしたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態の構成を示すブロック図である。
【図２】 図１に示す装置の動作を示すフローチャートである。
【図３】 本発明の第２の実施形態の構成を示すブロック図である。
【図４】 本発明の第３の実施形態の構成を示すブロック図である。
【図５】 図２に示す装置の動作を示すフローチャートである。
【図６】 ホワイトバランス調整を実施するタイミングを示す説明図である。
【図７】 ホワイトバランス調整を実施するタイミングを示す説明図である。
【図８】 本発明の第４の実施形態の構成を示すブロック図である。
【図９】 図４に示す装置の動作を示すフローチャートである。
【図１０】 移動体の一例を示す説明図である。
【図１１】 移動体の動作の一例を示す説明図である。
【図１２】 移動体の一例を示す説明図である。
【図１３】 移動体の一例を示す説明図である。
【符号の説明】
１・・・カメラ
２・・・画像処理部
２１・・・色検出部
２２・・・指示認識部
３・・・較正板
４・・・較正板制御部
５・・・制御部
６・・・記憶部
７・・・タイマ
８、９・・・通信部
１０・・・管理ホスト
１１・・・マイク
１２・・・音声認識部
１３・・・測光部
Ｒ１、Ｒ２、Ｒ３・・・自律移動ロボット（移動体）
【発明の属する技術分野】
本発明は、取得した画像に基づいて自己の移動を自律的に制御する移動体に備え付けられた撮像装置に係わり、特に撮像装置の較正を自律的に行うことができる自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラムに関する。
【０００２】
【従来の技術】
従来から周囲の環境をカメラで撮像し、得られた画像に対して画像処理を施すことによって、周囲の目標物や障害物を抽出しながら自己の移動経路を決定して自律的に移動する移動ロボットが知られている。
カメラによって周囲環境を撮像する場合、環境光が撮像結果に影響することが多い。照明から発せられる光は、自然の太陽光とは異なり、蛍光灯の光には緑の、白熱灯にはオレンジの色が付いている。このような照明光のもとで画像を撮像すると、被写体には微妙な色が付いてしまい、実際と異なった色みになる。このような現象を防ぐために、色を補正するための機能としてホワイトバランス調整が知られている。通常カメラには、ホワイトバランス調整が固定されているもの、自動で調整されるもの、手動で調整するものなどがあるが、自動で調整されるもののなかには、補正が強すぎて本来の色に写らないということもある。また、手動で調整するものであれば、自由に設定することが可能であるという特徴を有している。
【０００３】
ところで、自律的に移動するロボットは、昼夜を問わず、あらゆる場所へ移動する必要があるが、可視光のカメラを用いて周囲の環境認識の精度を向上させるためには、環境光の変化による影響を最小限にしなければならず、環境光の状態が変化する度にホワイトバランス調整を行なわなければならないという問題がある。また、作業者がホワイトバランス調整を必要とするタイミングを計るのは困難であるという問題もある。
このような問題を解決するカメラとして、被写体の服の色や室内の壁の色等の影響を受けることなく、良好なホワイトバランス調整を実現する撮像装置が知られている（特許文献１）。この撮像装置は、撮像用レンズの前面に電動で開閉する半透明のレンズカバーを装填し、電源投入時や外部から指示が出された時に、半透明のレンズカバーを通して撮影し、色の補正をした後に半透明のカバーを開いて撮影するものである。また、撮影時の光源下で得られた色調を青空光源下で撮影したときの色調に変換すると共に、人間の眼の順応特性に応じた色調で出力する電子カメラも知られている（特許文献２）。
【０００４】
【特許文献１】
特開平６−１２１３２１号公報（第２図、第３図）
【特許文献２】
特開平１０−４５５８号公報（第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１の撮像装置は、白濁した半透明のレンズカバーを透過した環境光によってホワイトバランス調整を行うものであるため、レンズカバーにおける光の波長（色）毎の透過特性によってホワイトバランス調整の結果が決定されてしまい、必ずしも環境光の影響を除去することができない。また、透過光によってホワイトバランス調整を行うため、環境認識を行う状況に近い状態でホワイトバランス調整が行われるとは限らない。自律移動ロボットが周囲の環境を認識するには、物体の表面における環境光の反射光を撮像することが原則であるため、レンズカバーの透過光に基づいてホワイトバランス調整を行っても適切な色補正が行えないという問題がある。
一方、特許文献２の電子カメラは、得られた画像を人間が見たときに自然に見えるように補正するためにホワイトバランス調整を行うものであるため、自律移動ロボットが周囲の環境を認識するために最適な色補正が行われるとは限らない。自律移動ロボットが周囲の環境を認識するには、周囲の物体が持っている色が自然に見えるようにすることより、物体の認識結果が環境光の変化によらず一定に保たれることが重要であるため、得られた画像を人間が見たときに自然な色に見えるようにホワイトバランス調整を行っても環境認識に適切な色補正が行なわれるとは限らないという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、撮像装置の較正を自律的に行うことができる自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置において、前記撮像装置は、前記画像撮像手段で得られた画像から色検出する画像処理手段と、前記画像撮像手段の色補正を行うための白色較正板と、前記較正板を前記画像撮像手段の視野内に移動する較正板制御手段とからなり、周囲環境光の変化に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする。
請求項２に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置において、前記撮像装置は、前記画像撮像手段で得られた画像から色検出する画像処理手段と、前記画像撮像手段の色補正を行うための白色較正板と、前記較正板を前記画像撮像手段の視野内に移動する較正板制御手段とからなり、行動範囲を定めた地図上の現在位置または時刻に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする。
請求項３に記載の発明は、周囲環境の画像を撮像する画像撮像手段（例えば、実施形態におけるカメラ１）と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段（例えば、実施形態における画像処理部２）とを持つ自律移動体に備えられる撮像装置において、前記撮像装置は、前記画像撮像手段で得られた画像から色検出する画像処理手段（例えば、実施形態における画像処理部２）と、前記画像撮像手段の色補正を行うための白色較正板（例えば、実施形態における較正板３）と、前記較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御手段（例えば、実施形態における較正板制御部４）とからなり、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正（例えば、実施形態におけるホワイトバランス調整）を実施する（例えば、実施形態における制御部５）ことを特徴とする。
この発明によれば、画像撮像手段で得られた画像が色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
【０００８】
請求項４に記載の発明は、前記色検出判断は、周囲環境光の変化に基づいて行うことを特徴とする。
この発明によれば、色検出判断を環境光の変化に応じて行うようにしたため、環境光の変化が生じたタイミングで適切な較正を効率よく行なうことができるという効果が得られる。
【０００９】
請求項５に記載の発明は、前記色検出判断は、行動範囲を定めた地図上の現在位置または時刻に基づいて行うことを特徴とする。
この発明によれば、色検出判断を行動範囲を定めた地図上の現在位置または時刻に基づいて行うようにしたため、予め決められた場所や時刻において適切な較正を効率よく行なうことができるという効果が得られる。
【００１０】
請求項６に記載の発明は、前記色検出判断は、指示者からの指示に基づいて行うことを特徴とする。
この発明によれば、色検出判断を指示者からの指示に基づいて実施するようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。。
【００１１】
請求項７に記載の発明は、前記色検出判断は、前記画像処理手段において色検出ができか否かに基づいて行うことを特徴とする。
この発明によれば、色検出ができたか否かを判断するようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正を効率よく行なうことができるという効果が得られる。
【００１２】
請求項８に記載の発明は、前記自律移動体用撮像装置は、前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶手段（例えば、実施形態における記憶部６）と、前記記憶部に記憶された時刻または場所に基づいて、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段（例えば、実施形態における制御部５）とをさらに備えたことを特徴とする。
この発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００１３】
請求項９に記載の発明は、前記自律移動体用撮像装置は、マイクで集音された指示の音声を認識して、認識結果を出力する音声認識手段（例えば、実施形態における音声認識部１２）と、前記音声認識手段における音声認識の結果が、前記画像撮像手段の色補正を行う指示である場合に、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段（例えば、実施形態における制御部５）とをさらに備えたことを特徴とする。
この発明によれば、マイクで集音された指示の音声を認識して、音声認識の結果が、画像撮像手段の色補正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００１４】
請求項１０に記載の発明は、前記自律移動体用撮像装置は、前記画像撮像手段で撮像された画像から人間の動作を認識して、認識結果を出力する指示認識手段（例えば、実施形態における指示認識部２２）と、前記指示認識手段における動作認識の結果が、前記画像撮像手段の較正を行う指示である場合に、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段（例えば、実施形態における制御部５）とをさらに備えたことを特徴とする。
この発明によれば、画像撮像手段で撮像された画像から人間の動作を認識して、動作認識の結果が、画像撮像手段の較正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００１５】
請求項１１に記載の発明は、前記移動体は、２足歩行の人型ロボットであり、前記較正板は、人型ロボットの腕部分に取り付けられたことを特徴とする。
この発明によれば、較正板を人型ロボットの腕部分に取り付けられたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【００１６】
請求項１２に記載の発明は、前記移動体は、２足歩行の人型ロボットであり、前記較正板は、人型ロボットが携帯したことを特徴とする。
この発明によれば、較正板を人型ロボットが携帯するようにしたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【００１７】
請求項１３に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正方法であって、前記画像撮像手段で得られた画像から色検出する画像処理過程と、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記画像撮像手段の色補正を行うための白色較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御過程と、前記較正板が前記画像撮像手段の視野内にある時に、該画像撮像手段の色補正を行う較正過程とを有することを特徴とする。
この発明によれば、色検出ができない場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に、画像撮像手段の色補正を行うようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。
【００１８】
請求項１４に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正方法であって、前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶過程と、前記記憶された時刻または場所に基づいて、前記画像撮像手段の色補正を行うための白色の較正板を前記画像撮像手段の視野内へ移動させる較正板制御過程と、前記較正板が前記画像撮像手段の視野内にある時に、前記画像撮像手段の色補正を行う較正過程とを有することを特徴とする。
この発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００１９】
請求項１５に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正プログラムであって、前記画像撮像手段で得られた画像から色検出する画像色検出処理と、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記画像撮像手段の色補正を行うための白色較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御処理と、前記較正板が記画像撮像手段の視野内にある時に、該画像撮像手段の色補正を行う較正処理とをコンピュータに行わせることを特徴とする。
この発明によれば、色検出ができない場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に、画像撮像手段の色補正を行うようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。
【００２０】
請求項１６に記載の発明は、周囲環境の画像を撮像する画像撮像手段と、前記画像を処理して周囲の目標物・障害物を検出する物体検出手段とを持つ自律移動体に備えられる撮像装置の較正プログラムであって、前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶処理と、前記記憶された時刻または場所に基づいて、前記画像撮像手段の色補正を行うための白色の較正板を前記画像撮像手段の視野内へ移動させる較正板制御処理と、前記較正板が前記画像撮像手段の視野内にある時に、前記画像撮像手段の色補正を行う較正処理とをコンピュータに行わせることを特徴とする。
この発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００２１】
【発明の実施の形態】
以下、本発明の第１の実施形態による自律移動体用撮像装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、２台のカラーＣＣＤカメラで構成されたステレオカメラ（以下、単にカメラと称する）であり、外部からの信号に基づいてホワイトバランス調整を行うことが可能である。符号２は、カメラ１で撮像された画像に対して標本化及び量子化を施して得られた画像を処理して、移動体が自律移動するための周囲環境認識を行う画像処理部である。符号３は、カメラ１のホワイトバランス調整を行うときにカメラ１の視野内を覆う較正板であり、この較正板は望ましくは、白色の完全拡散反射体の平板であるが、つやのない白色の塗料が塗布された平板でもよい。符号４は、較正板３がカメラ１の視野内を覆うように較正板３の位置を制御する較正板制御部である。符号５は、カメラ１のホワイトバランス調整を行う制御部である。符号６は、ホワイトバランス調整を行う場合に必要な情報が記憶される記憶部である。符号２３は、画像処理部２において得られた周囲環境の情報に基づいて、この自律移動体用撮像装置が搭載された移動体（図示せず）の自律移動を制御する移動制御部である。
【００２２】
次に、図１に示す装置の動作を説明する。初めに、移動体を制御する動作を簡単に説明する。まず、２台のカメラ１は、移動体の周囲の環境を撮像し、得られた画像を画像処理部２へ送る。これを受けて、画像処理部２は、送られた画像に対して画像処理を施し、物体形状の抽出を行うとともに、ステレオ画像から得られる物体までの距離を求め、ここで得られた結果を移動制御部２３へ送る。移動制御部２３は、画像処理部２から送られた物体形状と距離に基づいて、移動経路を求めて自律移動を行う。この動作を繰り返し実行することにより移動体は自律移動が可能となる。
【００２３】
次に、図２を参照して、移動体が自律移動中にカメラ１のホワイトバランス調整を行う動作を説明する。図２は、カメラ１のホワイトバランス調整を行う動作を示すフローチャートである。まず、画像処理部２は、カメラ１で撮像されたカラー画像から色検出を行う（ステップＳ１）。そして、画像処理部２は、色検出ができたか否かを判定する（ステップＳ２）。この判定は、想定される物体のＲＧＢそれぞれの濃淡値が予め定められた範囲内であるか否かによって判定する。
【００２４】
この判定の結果において色検出ができた場合、画像処理部２は、色検出ができたことを制御部５へ通知する。これを受けて、制御部５は、現状の状態を保持する。一方、色検出ができない場合、画像処理部２は、色検出ができないことを制御部５へ通知する。これを受けて、制御部５は、較正板制御部４に対して、較正板３をカメラ１の前に移動するように指示を出す。このとき、制御部５は、記憶部６に記憶されているカメラ１と較正板３との位置関係を読み出し、較正板３の移動量を求め、この移動量を較正板制御部４へ通知する。これを受けて、較正板制御部４は、較正板３をカメラ１の前へ移動する（ステップＳ３）。これにより、２台のカメラ１の視野内を較正板３が覆うこととなる。
【００２５】
次に、制御部５は、カメラ１に対して、ホワイトバランス調整を行うように指示を出す。これを受けて、２台のカメラ１は、視野内を較正板３が覆っている間にホワイトバランス調整を行う（ステップＳ４）。これによって、ホワイトバランス調整が行われることとなり、色検出ができるようになるため、適切な周囲環境認識が行えるようになる。特に、較正板３に周囲環境光が照射されるようにするため、較正板３とカメラ１との距離を一定距離だけ離すようにして、かつカメラ１の視野全てを較正板３によって覆い、較正板３表面における環境光の反射光を用いてホワイトバランス調整を行うようにしたため、周囲環境認識を行う場合の状態に近い状態でホワイトバランス調整を行うことができる。これにより、現在置かれている状況においてホワイトバランス調整が行われるため、色検出の精度を向上させることが可能となる。
【００２６】
ここで、図１０〜１３を参照して、ホワイトバランス調整を行う動作の具体例を挙げて説明する。図１０において、符号Ｒ１は、自律移動体用撮像装置が搭載される筐体型の自律移動ロボットである。自律移動ロボットＲ１は、カメラ１で撮像した画像に基づいて移動経路を決定し、自律移動を行う。そして、自律移動中に色検出ができなくなった場合、較正板３をスライドさせてカメラ１の視野内を覆うようにしてホワイトバランス調整を行う。
【００２７】
また、図１１において、符号Ｒ２は、２足歩行の人型自律移動ロボットである。この例は、較正板３を人型自律移動ロボットＲ２の腕（手首と肘の間）の部分に取り付け、ホワイトバランス調整が必要なときに、較正板３が取り付けられた腕の部分をカメラ１の視野内（図１１の２点鎖線で示す位置）に移動するようにしたものである。較正板制御部４は、ホワイトバランス調整が必要なときに、制御部５から較正板３の移動制御指示を受け取ると、較正板３をカメラ１の前（図１２）に出すように人型自律移動ロボットＲ２の腕を制御する。この場合、較正板３は、図１１、１２に示すように腕に取り付けられていてもよいが、人型自律移動ロボットＲ２の腕そのものが平面部分を有しており、この平面部分につやのない白色の塗料が塗布されていてもよい。なお、白色塗料を塗布する部分は、平面であることが望ましいが、ホワイトバランス調整時の画像内に影ができなければ曲面であってもよい。また、人型自律移動ロボットＲ２の腕の一部が較正板３となっていてもよい。また、人型自律移動ロボットＲ２の頭部にスライド機構を有した較正板３を備えておき、ホワイトバランス調整が必要となった場合に、スライドした較正板３がカメラ１の視野内全てを覆うようにしてもよい。
【００２８】
また、図１３において、符号Ｒ３は、２足歩行の人型自律移動ロボットが較正板３を携帯し、ホワイトバランス調整を行う必要がある時に取り出して、カメラ１の前へ出すようにしたものである。較正板３は、人型自律移動ロボットＲ３が所定の作業を行う場合に起こす動作の妨げにならない位置に着脱可能な状態で装備すればよい。例えば、二の腕（肩と肘の間）、腹部、腰、尻、背中、脚等に較正板３を装備しておき、ホワイトバランス調整が必要なときに、人型自律移動ロボットＲ３自身の手によって、この較正板３を取り外し、ホワイトバランス調整を実施後、元の位置に戻すという動作が実現可能である。このようにすることによって、較正板３が経年劣化した場合などにおいて、簡単に取り替えができる。
【００２９】
このように、自律移動ロボットＲ１、Ｒ２、Ｒ３に較正板３を備え、ホワイトバランス調整を行う必要があるときに、備えた較正板３をカメラ１の前へ出すようにして移動中にホワイトバランス調整を行うことができるようにしたため、周囲の環境の変化が急激であっても適切な色補正が行え、適切な周囲環境認識を行うことができる。
【００３０】
次に、第２の実施形態による自律移動体用撮像装置を図面を参照して説明する。図３は第２の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態によるの装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が第１の実施形態の装置と異なる点は、周囲の環境光の色情報を含む測光量を取得する測光部１３を新たに備え、測光部１３が画像処理部２に代わって、色検出処理（ステップＳ１）と色検出ができたか否かの判定処理（ステップＳ２）を行うようにした点である。測光部１３は、所定の時間間隔（例えば、３分間）で周囲環境光を測定し、直前に実施したホワイトバランス調整時の測光量と比較して、差があった場合に、周囲環境光に変化が生じたものと見なして色検出実施に不充分と判定し、この判定結果を制御部５へ通知する。この判定は、前述した処理と同様に想定される物体のＲＧＢそれぞれの濃淡値が予め定められた範囲内であるか否かによって判定する。
この判定処理以降の処理動作は、前述した第１の実施形態におけるステップＳ３、Ｓ４と同様であるので、ここでは詳細な説明を省略する。
【００３１】
次に、第３の実施形態による自律移動体用撮像装置を図面を参照して説明する。図４は第３の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態によるの装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が第１の実施形態の装置と異なる点は、タイマ７、通信部８、９、管理ホスト１０が設けられている点である。タイマ７は、現在時刻を制御部５へ通知する。通信部８は、移動体に備えられた無線によって通信を行う通信部である。通信部９は、通信部８へ無線通信によって管理ホスト１０から出力される情報を送信する。通信部９は、通信部８と無線によって通信が行える位置に設置される。
【００３２】
次に、図５を参照して、図４に示す自律移動体用撮像装置の動作を説明する。まず、管理ホスト１０は、カメラ１のホワイトバランス調整に関する情報を通信部９を介して、通信部８に対して送信する。ここでいうホワイトバランス調整に関する情報とは、ホワイトバランス調整を行う条件であり、移動体の行動範囲内の地図情報、この地図上におけるホワイトバランス調整を行う位置及び時刻である。
【００３３】
これを受けて、通信部８は、管理ホスト１０から送信された情報を記憶部６へダウンロードする（ステップＳ１１）。続いて、制御部５は、記憶部６に記憶された条件を読み出す（ステップＳ１２）。ここで読み出される条件は、移動体の行動範囲内の地図情報、この地図上におけるホワイトバランス調整を行う位置及び時刻である。
【００３４】
次に、制御部５は、画像処理部２から出力される周囲環境認識情報に基づいて、記憶部６から読み出した地図情報と照合して、この地図上の現在位置を求めるとともに、タイマ７の出力を読み込む。そして、制御部５は、ホワイトバランス調整を行う条件を満たしているかを判断する（ステップＳ１３）。ここでは、現在時刻が記憶されていた時刻になったか否かと、現在位置が記憶されていた位置に達したか否かを判断し、いずれか一方または両方が満たされたときに条件を満たしたものとする。
【００３５】
この判断の結果、条件を満たしていなければ満たすまで待機する。一方、条件を満たしていれば、制御部５は、較正板制御部４に対して、較正板３をカメラ１の前に移動するように指示を出す。このとき、制御部５は、記憶部６に記憶されているカメラ１と較正板３との位置関係を読み出し、較正板３の移動量を求め、この移動量を較正板制御部４へ通知する。これを受けて、較正板制御部４は、較正板３をカメラ１の前へ移動する（ステップＳ１４）。これにより、２台のカメラ１の視野内を較正板３が覆うこととなる。
【００３６】
次に、制御部５は、カメラ１に対して、ホワイトバランス調整を行うように指示を出す。これを受けて、２台のカメラ１は、視野内を較正板３が覆っている間にホワイトバランス調整を行う（ステップＳ１５）。これによって、ホワイトバランス調整が行われることとなり、適切な周囲環境認識が行えるようになる。
【００３７】
ここで、図６、７を参照して、管理ホスト１０から指示された時刻及び場所において、ホワイトバランス調整を行う動作の具体例を挙げて説明する。図６は、日射の影響がある場合とない場合でホワイトバランス調整を実施するタイミングが異なること示す図である。図６の２つの図のうち、上部の図は、太陽が高い位置にある場合を示しており、下部の図は太陽が低い位置にある場合を示している。図６において、●で示した位置は、必ずホワイトバランス調整を実施する位置を示しており、○で示した位置は、時刻によってホワイトバランス調整を実施するか否かが決まる位置を示している。
【００３８】
太陽が高い位置にある場合は、窓から屋内へ差し込む光が照射されるエリアは小さいため、屋内の通路を移動する場合は、Ｐ１地点でホワイトバランス調整を行い、屋内を移動中はＰ１地点以外でホワイトバランス調整を実施しない。そして、屋内から屋外に出た位置（Ｐ２地点）で新たにホワイトバランス調整を実施する。
【００３９】
一方、太陽が傾いて低い位置にある場合は、窓から屋内へ差し込む光が照射されるエリアは大きくなるため、屋内の通路を移動する場合は、Ｐ３地点でホワイトバランス調整を実施し、Ｐ４地点では、現在時刻を参照し、現在時刻が太陽が傾いている時刻であれば、ホワイトバランス調整を実施する。そして、日射の影響が無くなる場所（Ｐ５地点）では、Ｐ４地点でホワイトバランス調整が行われたか否かに基づいてホワイトバランス調整を実施する。また、Ｐ６地点は、屋内から屋外へ出た位置であるため必ずホワイトバランス調整を実施する。さらに、Ｐ７地点は、太陽が低い場合には日陰になる位置であるため、現在時刻が太陽が傾いている時刻であれば、ホワイトバランス調整を実施する。
【００４０】
図７は、屋内において使用される照明の種類の違いによって、ホワイトバランス調整を実施するタイミングが異なることを示す図である。建造物の屋内においては、その場所がどのような用途で使用されるかによって使用される照明の色が選択されて設置されていることが多い。図７では、２階のフロアは、昼白色の蛍光灯が用いられ、階段においては、昼光色の蛍光灯が用いられ、１階のフロアでは、白熱灯が用いられている例を示している。制御部５は、地図情報を参照しながら、各照明の影響が最も大きく影響する場所（照明器具の直下）に到達したとき（Ｐ８、Ｐ９、Ｐ１０の地点）にホワイトバランス調整を実施する。
【００４１】
このように、移動体の行動範囲内の地図情報と、この地図上におけるホワイトバランス調整を行う位置及び時刻に関する情報をダウンロードして、この情報に基づいてホワイトバランス調整を実施するようにしたため、確実にその場所に適したホワイトバランス調整を実施することが可能となる。
【００４２】
次に、第４の実施形態による自律移動体用撮像装置を図面を参照して説明する。図８は第４の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態によるの装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が第１の実施形態の装置と異なる点は、マイク１１と音声認識部１２が設けられている点である。マイク１１は、ホワイトバランス調整を行うように指示を出す者が発した音声を集音する。音声認識部１２は、マイク１１で集音した指示の音声の内容を認識して、この認識結果を制御部５へ出力する。また、画像処理部２には、色検出を行う色検出部２１に加え、ホワイトバランス調整を行うように指示を出す者の身振り手振りを認識する指示認識部が設けられている。
【００４３】
次に、図９を参照して、図８に示す自律移動体用撮像装置の動作を説明する。まず、音声認識部１２は、マイク１１で集音した指示の音声を受け取る。一方、指示認識部２２は、カメラ１で撮像した作業者の身振り手振りで行った指示の画像を受け取る（ステップＳ２１）。そして、音声認識部１２は、受け取った音声がホワイトバランス調整を行う指示の音声であるかの認識を行い、この認識結果を制御部５へ通知する。また、指示認識部２２は、得られた画像の内容がホワイトバランス調整を行う指示の身振り手振りであるかの認識を行い、この認識結果を制御部５へ通知する（ステップＳ２２）。
【００４４】
次に、制御部５は、ホワイトバランス調整を行うために出された指示を、音声認識部１２または指示認識部２２において認識できたか否かの判定を行う（ステップＳ２３）。この判定の結果、未だ認識できない場合は、認識できるまで待機する。一方、音声または身振り手振りによる指示が認識できた場合、制御部５は、較正板制御部４に対して、較正板３をカメラ１の前に移動するように指示を出す。このとき、制御部５は、記憶部６に記憶されているカメラ１と較正板３との位置関係を読み出し、較正板３の移動量を求め、この移動量を較正板制御部４へ通知する。これを受けて、較正板制御部４は、較正板３をカメラ１の前へ移動する（ステップＳ２４）。これにより、２台のカメラ１の視野内を較正板３が覆うこととなる。
【００４５】
次に、制御部５は、カメラ１に対して、ホワイトバランス調整を行うように指示を出す。これを受けて、２台のカメラ１は、視野内を較正板３が覆っている間にホワイトバランス調整を行う（ステップＳ２５）。これによって、ホワイトバランス調整が行われることとなり、適切な周囲環境認識が行えるようになる。
【００４６】
なお、指示認識部２２は、ホワイトバランス調整実施を示すマーキングが自律移動中にカメラ１で撮像された画像中に含まれていた場合にホワイトバランス調整を行うようにしてもよい。このとき、ホワイトバランス調整実施を示すマーキング近傍に較正板３を設け、移動体は、この較正板３がカメラ１の視野を覆うようになるまで接近してホワイトバランス調整を行うようにしてもよい。
【００４７】
このように、外部からの指示に応じてホワイトバランス調整を行うようにしたため、任意のタイミングでホワイトバランス調整を実施することができる。また、ホワイトバランス調整実施を必要とする場所に予めマーキングをしておくことにより、ホワイトバランス調整を行う必要性の判断を自律的に行う必要がなくなるため、制御部５の処理負荷を低減することができる。
【００４８】
また、制御部５は、（１）画像処理部２、測光部１３が色検出を行っている場合、（２）ホワイトバランス調整実施中や較正板３の移動中において、移動体を駆動するためのバッテリ機能が低下した場合、（３）カメラ１が破損した場合などにおいて、ホワイトバランス調整を実施する制御を停止するようにしてもよい。
【００４９】
なお、図２、５、９に示す処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより色補正処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５１】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、周囲環境光の変化に応じて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、環境光の変化が生じたタイミングで適切な較正を効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
請求項２に記載の発明によれば、行動範囲を定めた地図上の現在位置または時刻に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、予め決められた場所や時刻において適切な較正を効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
請求項３に記載の発明によれば、画像撮像手段で得られた画像が色検出実施に不充分と判断された場合に較正板を画像撮像手段の視野内に移動し、色補正を実施するようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。また、較正板に周囲の環境光が照射されており、この環境光の較正板表面における反射光を用いて色補正を行うようにしたため、周囲環境認識を行う場合の状態に近い状態で色補正を行うことができる。これにより、画像撮像手段が現在置かれている状況において色補正が行われるため、色検出の精度を向上させることが可能となる。
【００５２】
請求項４に記載の発明によれば、色検出判断を環境光の変化に応じて行うようにしたため、環境光の変化が生じたタイミングで適切な較正を効率よく行なうことができるという効果が得られる。
【００５３】
請求項５に記載の発明によれば、色検出判断を行動範囲を定めた地図上の現在位置または時刻に基づいて行うようにしたため、予め決められた場所や時刻において適切な較正を効率よく行なうことができるという効果が得られる。
【００５４】
請求項６に記載の発明によれば、色検出判断を指示者からの指示に基づいて実施するようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００５５】
請求項７、１３、１５に記載の発明によれば、色検出ができない場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に、画像撮像手段の色補正を行うようにして、色検出の状況に応じて色補正が行えるようにしたため、適切な較正が効率よく行なうことができるという効果が得られる。
【００５６】
請求項８、１４、１６に記載の発明によれば、予め記憶された時刻または場所に基づいて、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、予め決められた場所や時刻に到達した場合に色補正を行えるようにしたため、環境変化に応じた較正を効率よく行うことができるという効果が得られる。
【００５７】
請求項９に記載の発明によれば、マイクで集音された指示の音声を認識して、音声認識の結果が、画像撮像手段の色補正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００５８】
請求項１０に記載の発明によれば、画像撮像手段で撮像された画像から人間の動作を認識して、動作認識の結果が、画像撮像手段の較正を行う指示である場合に、画像撮像手段の色補正を行うための白色の較正板を画像撮像手段の視野内へ移動させ、較正板が画像撮像手段の視野内にある時に画像撮像手段の色補正を行うようにして、外部からの指示に応じて色補正を行えるようにしたため、任意のタイミングで較正を効率よく行うことができるという効果が得られる。
【００５９】
請求項１１に記載の発明によれば、較正板を人型ロボットの腕部分に取り付けられたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【００６０】
請求項１２に記載の発明によれば、較正板を人型ロボットが携帯するようにしたため、任意の場所において任意のタイミングで画像撮像手段の視野内を較正板で覆うことができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態の構成を示すブロック図である。
【図２】 図１に示す装置の動作を示すフローチャートである。
【図３】 本発明の第２の実施形態の構成を示すブロック図である。
【図４】 本発明の第３の実施形態の構成を示すブロック図である。
【図５】 図２に示す装置の動作を示すフローチャートである。
【図６】 ホワイトバランス調整を実施するタイミングを示す説明図である。
【図７】 ホワイトバランス調整を実施するタイミングを示す説明図である。
【図８】 本発明の第４の実施形態の構成を示すブロック図である。
【図９】 図４に示す装置の動作を示すフローチャートである。
【図１０】 移動体の一例を示す説明図である。
【図１１】 移動体の動作の一例を示す説明図である。
【図１２】 移動体の一例を示す説明図である。
【図１３】 移動体の一例を示す説明図である。
【符号の説明】
１・・・カメラ
２・・・画像処理部
２１・・・色検出部
２２・・・指示認識部
３・・・較正板
４・・・較正板制御部
５・・・制御部
６・・・記憶部
７・・・タイマ
８、９・・・通信部
１０・・・管理ホスト
１１・・・マイク
１２・・・音声認識部
１３・・・測光部
Ｒ１、Ｒ２、Ｒ３・・・自律移動ロボット（移動体）
Claims (16)
- 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置において、
前記撮像装置は、
前記画像撮像手段で得られた画像から色検出する画像処理手段と、
前記画像撮像手段の色補正を行うための白色較正板と、
前記較正板を前記画像撮像手段の視野内に移動する較正板制御手段と、
からなり、
周囲環境光の変化に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする自律移動体用撮像装置。 - 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置において、
前記撮像装置は、
前記画像撮像手段で得られた画像から色検出する画像処理手段と、
前記画像撮像手段の色補正を行うための白色較正板と、
前記較正板を前記画像撮像手段の視野内に移動する較正板制御手段と、
からなり、
行動範囲を定めた地図上の現在位置または時刻に基づいて、前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする自律移動体用撮像装置。 - 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置において、
前記撮像装置は、
前記画像撮像手段で得られた画像から色検出する画像処理手段と、
前記画像撮像手段の色補正を行うための白色較正板と、
前記較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御手段と、
からなり、
前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記較正板で色補正を実施することを特徴とする自律移動体用撮像装置。 - 前記色検出判断は、周囲環境光の変化に基づいて行うことを特徴とする請求項３に記載の自律移動体用撮像装置。
- 前記色検出判断は、行動範囲を定めた地図上の現在位置または時刻に基づいて行うことを特徴とする請求項３に記載の自律移動体用撮像装置。
- 前記色検出判断は、指示者からの指示に基づいて行うことを特徴とする請求項３に記載の自律移動体用撮像装置。
- 前記色検出判断は、前記画像処理手段において色検出ができか否かに基づいて行うことを特徴とする請求項３に記載の自律移動体用撮像装置。
- 前記自律移動体用撮像装置は、
前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶手段と、
前記記憶部に記憶された時刻または場所に基づいて、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段と、
をさらに備えたことを特徴とする請求項２または５のいずれかに記載の自律移動体用撮像装置。 - 前記自律移動体用撮像装置は、
マイクで集音された指示の音声を認識して、認識結果を出力する音声認識手段と、
前記音声認識手段における音声認識の結果が、前記画像撮像手段の色補正を行う指示である場合に、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段と、
をさらに備えたことを特徴とする請求項６に記載の自律移動体用撮像装置。 - 前記自律移動体用撮像装置は、
前記画像撮像手段で撮像された画像から人間の動作を認識して、認識結果を出力する指示認識手段と、
前記指示認識手段における動作認識の結果が、前記画像撮像手段の較正を行う指示である場合に、前記較正板制御手段に対して前記較正板の移動を指示するとともに、前記画像撮像手段に対して色補正を行う指示を出力する制御手段と、
をさらに備えたことを特徴とする請求項６に記載の自律移動体用撮像装置。 - 前記移動体は、２足歩行の人型ロボットであり、
前記較正板は、人型ロボットの腕部分に取り付けられたことを特徴とする請求項１ないし１０のいずれかに記載の自律移動体用撮像装置。 - 前記移動体は、２足歩行の人型ロボットであり、
前記較正板は、人型ロボットが携帯したことを特徴とする請求項１ないし１０のいずれかに記載の自律移動体用撮像装置。 - 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置の較正方法であって、
前記画像撮像手段で得られた画像から色検出する画像処理過程と、
前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記画像撮像手段の色補正を行うための白色較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御過程と、
前記較正板が前記画像撮像手段の視野内にある時に、該画像撮像手段の色補正を行う較正過程と
を有することを特徴とする撮像装置較正方法。 - 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置の較正方法であって、
前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶過程と、
前記記憶された時刻または場所に基づいて、前記画像撮像手段の色補正を行うための白色の較正板を前記画像撮像手段の視野内へ移動させる較正板制御過程と、
前記較正板が前記画像撮像手段の視野内にある時に、前記画像撮像手段の色補正を行う較正過程と
を有することを特徴とする撮像装置較正方法。 - 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置の較正プログラムであって、
前記画像撮像手段で得られた画像から色検出する画像色検出処理と、
前記画像撮像手段で得られた画像が前記色検出実施に不充分と判断された場合に前記画像撮像手段の色補正を行うための白色較正板に対して周囲環境光が照射されるように前記画像撮像手段から離れ、かつ前記画像撮像手段の視野内全てを覆う位置に前記較正板を移動する較正板制御処理と、
前記較正板が記画像撮像手段の視野内にある時に、該画像撮像手段の色補正を行う較正処理と
をコンピュータに行わせることを特徴とする撮像装置較正プログラム。 - 周囲環境の画像を撮像する画像撮像手段と、
前記画像を処理して周囲の目標物・障害物を検出する物体検出手段と
を持つ自律移動体に備えられる撮像装置の較正プログラムであって、
前記画像撮像手段の色補正を行う時刻または場所を予め記憶しておく記憶処理と、
前記記憶された時刻または場所に基づいて、前記画像撮像手段の色補正を行うための白色の較正板を前記画像撮像手段の視野内へ移動させる較正板制御処理と、
前記較正板が前記画像撮像手段の視野内にある時に、前記画像撮像手段の色補正を行う較正処理と
をコンピュータに行わせることを特徴とする撮像装置較正プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002355380A JP3868896B2 (ja) | 2002-01-23 | 2002-12-06 | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム |
| US10/349,166 US7825956B2 (en) | 2002-01-23 | 2003-01-23 | Imaging device for autonomously movable body, calibration method therefor, and calibration program therefor |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-14545 | 2002-01-23 | ||
| JP2002014545 | 2002-01-23 | ||
| JP2002355380A JP3868896B2 (ja) | 2002-01-23 | 2002-12-06 | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003289546A JP2003289546A (ja) | 2003-10-10 |
| JP3868896B2 true JP3868896B2 (ja) | 2007-01-17 |
Family
ID=27759627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002355380A Expired - Fee Related JP3868896B2 (ja) | 2002-01-23 | 2002-12-06 | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7825956B2 (ja) |
| JP (1) | JP3868896B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000232653A (ja) * | 1999-02-08 | 2000-08-22 | Fuji Photo Film Co Ltd | 撮影装置 |
| US7061614B2 (en) * | 2001-10-16 | 2006-06-13 | Therma-Wave, Inc. | Measurement system with separate optimized beam paths |
| JP4424088B2 (ja) * | 2004-06-25 | 2010-03-03 | 株式会社日立製作所 | 撮像装置 |
| US7840308B2 (en) | 2004-09-10 | 2010-11-23 | Honda Motor Co., Ltd. | Robot device control based on environment and position of a movable robot |
| US20060146330A1 (en) * | 2005-01-04 | 2006-07-06 | Selvan Maniam | Color measurements of ambient light |
| JP4591325B2 (ja) * | 2005-01-28 | 2010-12-01 | カシオ計算機株式会社 | 撮像装置及びプログラム |
| US8983663B2 (en) * | 2006-10-17 | 2015-03-17 | General Electric Company | Self-guided portable medical diagnostic system |
| KR100834577B1 (ko) * | 2006-12-07 | 2008-06-02 | 한국전자통신연구원 | 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치 |
| US7446303B2 (en) * | 2007-01-31 | 2008-11-04 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd | Ambient light sensing using a color sensor |
| JP5134528B2 (ja) * | 2008-12-25 | 2013-01-30 | ブラザー工業株式会社 | 画像読取装置 |
| KR101310216B1 (ko) * | 2009-12-21 | 2013-09-24 | 한국전자통신연구원 | 촬영된 영상의 컬러 변환 장치 및 방법 |
| KR20140035713A (ko) * | 2012-09-14 | 2014-03-24 | 한국전자통신연구원 | 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치 |
| US9573277B2 (en) * | 2013-04-15 | 2017-02-21 | Alan Rosen | Intelligent visual humanoid robot and computer vision system programmed to perform visual artificial intelligence processes |
| JP6263829B2 (ja) * | 2014-09-17 | 2018-01-24 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | ホワイトバランス調整方法及び撮像システム |
| JP6353766B2 (ja) * | 2014-10-23 | 2018-07-04 | 株式会社プレックス | 外観検査装置 |
| TWI578787B (zh) * | 2016-03-18 | 2017-04-11 | 圓展科技股份有限公司 | 具有自動白平衡功能的攝影裝置與自動白平衡的校正方法 |
| TWI592020B (zh) * | 2016-08-23 | 2017-07-11 | 國立臺灣科技大學 | 投影機的影像校正方法及影像校正系統 |
| JP6840530B2 (ja) | 2016-12-22 | 2021-03-10 | 東芝テック株式会社 | 画像処理装置及び画像処理方法 |
| US10635116B2 (en) * | 2017-10-19 | 2020-04-28 | Ford Global Technologies, Llc | Video calibration with illumination invariant image |
| JP6765065B2 (ja) * | 2017-11-15 | 2020-10-07 | パナソニックＩｐマネジメント株式会社 | 車載カメラ装置 |
| CN109702747A (zh) * | 2019-01-21 | 2019-05-03 | 广东康云科技有限公司 | 一种机器狗系统及其实现方法 |
| JP2022053417A (ja) * | 2020-09-24 | 2022-04-05 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 制御装置、撮像装置、移動体、制御方法、及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06121321A (ja) | 1992-10-07 | 1994-04-28 | Canon Inc | 撮像装置 |
| JP3829363B2 (ja) | 1996-06-14 | 2006-10-04 | コニカミノルタホールディングス株式会社 | 電子カメラ |
| JPH11265249A (ja) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | 情報入力装置および情報入力方法および記録媒体 |
| US7286166B2 (en) * | 1999-05-27 | 2007-10-23 | Intel Corporation | Calibrating digital cameras for varying ambient light conditions |
| JP2001322079A (ja) | 2000-05-15 | 2001-11-20 | Sony Corp | 脚式移動ロボット及びその動作教示方法 |
| JP2002144260A (ja) | 2000-11-13 | 2002-05-21 | Sony Corp | 脚式移動ロボット及びその制御方法 |
| JP4624577B2 (ja) * | 2001-02-23 | 2011-02-02 | 富士通株式会社 | 複数のセンサによるヒューマンインタフェースシステム |
| JP4600310B2 (ja) * | 2006-02-16 | 2010-12-15 | エプソンイメージングデバイス株式会社 | 電気光学装置、駆動回路及び電子機器 |
-
2002
- 2002-12-06 JP JP2002355380A patent/JP3868896B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-23 US US10/349,166 patent/US7825956B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003289546A (ja) | 2003-10-10 |
| US20030160877A1 (en) | 2003-08-28 |
| US7825956B2 (en) | 2010-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3868896B2 (ja) | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム | |
| JP6302554B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
| EP2354843B1 (en) | Calibration of a Lense Device | |
| CN104954681B (zh) | 一种关闭激光对焦模式的方法及终端 | |
| US10574876B2 (en) | Photography environment control | |
| EP3977073B1 (en) | Method for estimating chlorophyll content of a leaf | |
| US20190116301A1 (en) | Photography Lighting Control | |
| KR20110061962A (ko) | 촬상장치, 촬상장치용 발광장치 및 촬상장치 제어방법 | |
| US20230269844A1 (en) | Intelligent lighting control system | |
| JP6810299B2 (ja) | 画像処理装置、方法、及びプログラム並びに撮像装置 | |
| CN104469173A (zh) | 一种图像信息获取方法及终端 | |
| JP2024036370A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体 | |
| JP2016143951A (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
| KR102184295B1 (ko) | 다중 광도 영상 획득 장치 및 방법 | |
| US20030169365A1 (en) | Photographing apparatus and photographing method | |
| CN105578069A (zh) | 移动终端进行拍照的方法和装置 | |
| JP2009260801A (ja) | 撮像装置 | |
| JP2016085248A (ja) | 露出演算装置 | |
| WO2012140884A1 (ja) | 撮影装置、撮影方法及び撮影プログラム | |
| KR100797417B1 (ko) | 커스텀 화이트밸런스 조정장치 및 방법 | |
| CN208299828U (zh) | 一种手机 | |
| CN105759851A (zh) | 一种电子设备及控制方法 | |
| TWI279641B (en) | Digital image capturing device with the capability of adjusting exposure time automatically | |
| KR20060131155A (ko) | 화상 통신 단말기의 프리셋 화이트 밸런스 조정 장치 및방법 | |
| JP5842319B2 (ja) | 撮像装置および撮像制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061011 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |