JPH05505044A - ティーチャブルカメラ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ティーチャプルカメラ 発明の背景 発明の技術分野 本発明は、撮影者が望み通りに写真を撮影するよう教示できるカメラ、より具体 的には、撮影者の好みを学習することができるニューラルネットワークが、撮影 者の要望に合うようにカメラ制御アルゴリズムを変更するカメラに関する。

関連技術の説明 自動化された電子カメラにおいては、カメラ内のセンサ及び回路が撮影される光 景を訂価し、種々のパラメータのうち特に、適切な焦点、フラッシュを作動させ るかどうか、露出時間等を確定する。上記のものを確定するのに、カメラは、カ メラ内に搭載された固定結線プログラムあるいソフトウェアアルゴリズムを使用 している。これらのアルゴリズムは、カメラ設二１者により開発されており、ア マチュアの写真家の写真をランダムに集めた多くの写真の統計的な調査に基づい ている。この方法の主な欠点は、カメラのアルゴリズムは、平均的には妥当なも のの、それそ′れ個々の使用者や状況に対して全般的に最適なわけではない。米 国一ドのようなカメラの部品を換えるというのは、手動のカメラを持つのと同様 である。この第２の方法の欠点は、撮影者がカメラとカメラアルゴリズムについ てだけでなく、写真撮影についても技術的に知識がなければならない。この方法 ではまた、撮影者は、小数の固定したカメラアルゴリズムに限定されてしまう。

発明の概要 きるようにすることである。

本発明の更なる目的は、望ましい写真撮影の方法を学習するカメラを提供するこ とである。

本発明の目的としては、また、ニューラルネットワークによって制御されるカメ ラを提供することが挙げられる。

上記の目的は、望ましい写真の特性に関する使用者の入力に基づいた、カメラ撮 影アルゴリズムを変更するニューラルネットワークを含むカメラによって達成及 び請求する構造及び操作の中にあり、同様の数字が類似の部品を示している本発 明の一部を形成する添付の図を？照のこと。

図面の簡単な説明 図１は本発明に従うティーチャプルカメラの構造を示す。

図２はカメラ焦点を変更するための設計を示す。

図３は焦点変更のためのテンプレートマツチングニューラルネットワークを示す 。

図４はＦストップ又は絞り選択のための設計を示す。

図５はＦストフグ選択のためのテンプレートマツチングニューラルネットワーク を示す。

図６はニューラルネットワーク制御のカメラを示す。

好適な実施態様の説明 ある。

ティーチャプルカメラは、同一の入力に対して多くの異なった出力を生成できる ものである。本カメラは一定の状況において好ましいカメラ設定を行うよう学習 する。この動作は、脳の動作に似ている。

オートフォーカスを搭載したカメラではすべて、最も鮮明な焦点を生成するのが 可能となるようレンズが設定されている。しかしながら、クローズアップの人物 写真を撮影する場合、ソフトフォーカスが得られる方が好ましく、この場合カメ ラのレンズはわずかに焦点から外れて設定されなければならない。以下の例では 、クローズアップの人物写真を撮影する際はいつでも、像がわずかに焦点から外 れるように焦点が変更されるよう、カメラがどのように変更されなければならな いかを示す。

図１は、従来型のマイクロプロセッサ１０を含むカメラ８のブロックダイアダラ ムを示し、このマイクロプロセッサ１０は、モトローラ社より入手可能で、カメ ラ８を制御できる８ｆ１８Ｃ８０５ＢＢがあげられ、これは、カメラのアルゴリ ズムか保存される不揮発性プログラマブルメモリを有するものである。従来型の マイクロプロセッサｌＯは、従来型の焦点センサ１２、従来型の露出センサ１４ 、従来型のフィルムスピードインジケータ１６、従来型のフラッシュ制御装置１ ８、従来型のモーンヨンセンサ２０及び従来型のフィルムタイプインジケータ２ ２から入力を受け取る。従来型のカメラでは、マイクロプロセッサ１０は、これ らの装置からの入力及び従来型のカメラの写真撮影アルゴリズムの結果に基づい て、写真特性装置を制御する。

よってはカメラに付属のフィルタ３２等を含むものである。しかしながら、本発 明される。ユーザインタフェース４４は、通例、今日のより高度なカメラに搭載 されび絞り装置を制御するネットワークサブシステムは、共通の入力を含む。焦 点変ンサ１２は、被写体の距離を２別する４ビツトの２進コードを出力する。そ の他のビットのコードはＶＬＳＩニューラルネットワーク回路５０に供与される 。本回路はクローズアップ距離にある。わずかに焦点を外す条件を生成するのに 必要なアルゴリズムは、次のようになる。１．焦点センサ１２からの２つの最有 効ビット（ビット２及び３）がゼロ（論理積関数）の場合、１が距離値（ｒａｎ ｇｅ　ｖａｌｕｅ）に加算される。２．その他のすべての場合、ゼロを加算する 。このように、ニューラルネットワーク５０の関数は、図２に示したように、２ つの最有効ビットがゼロするア六ログ電圧に変換される。この例では１を距離値 に加算したが、距離値かルネットワーク（Ａｎａｌｏｇ　Ｅｌｅｃｔｒｏｎｉｃ 　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　）　Ｊ　（ＪＥＥＲＣ１ｒｃｕｉｔｓ　ａ ｎｄ　Ｄｅｖｉｃｅｓ　Ｍａｇａｚｉｎｅ　ｐ、　４４−５５．　Ｊｕｌｙ　１ ９ｇ９）に記載されているような、テンプレートマ・ｌチング型二二−ラルネッ トワークである。しかしながら、ここで望まれるテンプレートマツチング型に対 し、本技術では通常の技術の範囲内で別の型のニューラルネットワークが十分代 用できる。オートフォーカスセンサＩ２からの４つのビットはネットワーク５１ でインバーテイングバッファ５２〜５８に接続され、これらの出力はＮＭＯ８Ｉ −ランジスタロ０〜６６に供与される。トランジスタ６０〜６６のすべての出力 は、共通の接続点及び従来型のシグモイド相互コンダクタンス増幅器Ｂ８に接続 する。それぞれのトランジスタのゲートは、マイクロプロセッサ５０によって制 御される。後により詳しく説明する教示段階の間、指示はマイクロプロセッサメ モリに保存され、２つの最有効ビットのゲートが高くバイアス、すなわちターン オンされ、２つの最下位ビットのゲートは低くバイアスされるよう指示する。こ こでトランジスタがフローティングゲート型の場合、教示段階中にプログラムさ れる。トランジスタの共通の接続点が相互コンダクタンス増幅器６８の入力に接 続されているため、とット２及び３の両者がゼロの場合、ＮＭＯＳトランジスタ ６０及び８２の両者が増幅器６８への入力電流に寄与する。増幅器６８に供給さ れる電流が高いときは常に増幅器６８は出力を生成しく“１”）、電流が低いと きは出力を生成しない（Ｏ“）。しかしながら、どちらかのビットがゼロでない 場合に型のものである。図３のテンプレートマツチングネットワークは、高順位 のビットが両者とも０である場合は、値１を生成し、それらのビットのうち１つ またはったテンプレートでは、１ビツトを減算したり２ビツトを加算するといっ た別のアルゴリズムを実行することも可能である。

ディジタル回路の設計に精通した者ならば、上記のアルゴリズムを同等に実行す る別の回路を容易に見い出すことができる。ニューラルネットワークだけが、カ メラのアルゴリズムを変更する唯一の方法ではない。しかしながら、ニューラル ネットワークはカメラの制御において変更を実行するには望ましい方法である。

その理由は、ニューラルネットワークの２つの最も基本的な特性がバタンマソチ ーンにマツチするパターンマツチング機能を除去する外部デフォルトスイッチが ゼロの値が生成し、本発明のテンプレートマツチング及び焦点アルゴリズム変更 は必要なコードをそれ自体のメモリに書き込む。

影者への質問を生成し、答えを編集するのに使用することができるが、後に述べ に表示することができ、カメラはそれぞれの写真毎に設定を保存する必要がない ログラムは現在利用が可能で、一般に人工知能のルールに基づいたタイプのプロ グラムである。これらは、引用例にあるバール（Ｂａｒ　）他著「人工知能のハ ンドブック（ｔｈｅ　Ｈａｎｄｂｏｏｋ　ｏｒ　Ａｒｔｌｆｌｃｉａｌ　Ｉｎｔ ｅｌｌｉｇｅｎｃｅ　）　Ｊ　（スタンフォード：ハリス・テクニカル・プレス （Ｓｔａｎｒｏｒｄ：　Ｈｕｒｔｓ　Ｔｅｃｈｎｉｃａｌ　Ｐｒｅｓｓ　）　、 １９８０年刊、第２巻、１７７〜１９２頁）に記載されているように、医療診断 等のより複雑な作業を含む様々な状況で用いられている。たとえば医療診断にお いては、本発明の状況と同様に、プログラムは研究室のデータ及び医師の観察及 び患者の症状についての説明といった実際の事実を受け取るが、これらは通常非 常に明白であるというわけではない。引用例にあるバール（Ｂａｒ　）他著「人 工知能のハンドブック（ｔｈｅ　Ｈａｎｄｂｏｏｋ　ｏｆ　Ａｒｔｊｆｉｃｊａ ｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　）　Ｊ　（スタンフォード、ハリス・テクニカ ル・プレス（Ｓｔａｎｆｏｒｄ：　Ｈｕｒｉｓ　Ｔｅｃｈｎｉｃａｌ　Ｐｒｅｓ ｓ　）　、１９８１年刊、第１巻、１９０〜１９１頁）に記載されているような 確信度係数によって増大するルールのブロダクンヨンといった、様々なタイプの アルゴリズムのうちの１つに従うことにより、プログラムは、診断に到達する。

撮影者がカメラ８をコンピュータ７０に接続し、適切なプログラムを読み込んだ 後、コンピュータ７０と撮影者の間で次のようなやりとりが行われる。コンピュ ータ：１番目の写真には満足ですか？。撮影者：いいえ。するとコンピュータは １番目の写真のカメラの設定を調べ、焦点が人物写真の条件に一致する被写体の 距離を示すのを見い出す。コンピュータ：写真中央の被写体は人物ですか、それ とも物体ですか。撮影者二人物です。もしこれが人物でない場合には、コンピュ ータは写真が受け入れられなかった理由として、別の推測をしなければならない 。

コンピュータ二人物の顔はぼやけていますか、それともブしていますか？。撮影 者：いいえ。もし撮影者がはいと答えると、コンピュータはフラッシュ時間に比 べて露出時間が長過ぎたかどうか調べなければならないが、この場合はカメラが 不調であることを示す。そうでない場合、コンピュータは、撮影中に撮影者かカ メラを振り動かしたのではないかと推測し、このような写真を再び撮影する際に は三脚の使用を勧めて応答する。コンピュータ：顔だちはすべてはっきりと見え ますか？。撮影者：はい。コンピュータ：まつ毛やその他の願の毛がはっきり見 えますか？。撮影者：はい。コンピュータ・小じわや毛穴が見えますか。撮影者 。

はい。コンピュータ：これらがはっきり見えない方がいいですか？。撮影者：ハ イ。この時点でプログラムは、マイクロプロセッサ１０のメモリが必要なデータ と共に読み込まれ、次回に人物写真を撮影する状況が生じた場合にニューラルネ ットワーク出力Ｍが１つの値を受け取るようにカメラのマイクロプロセッサ１０ に指示をダウンロードするための充分な情報を得たことになる。

上記の例では単一のセンサからの入力に基づいてカメラ写真撮影アルゴリズムの 出力を変更するのか特徴であった。しかしながら前述したように、複数のセンサ に基づいてカメラ写真撮影の出力を修正することも可能である。例えば、写真家 が人物を普通に入れて自然の風景を撮影する場合を考えてみる。この条件では、 撮影者は、自然の風景を撮影する時はいつも被写体も背景或いは他の自然物体も 両方とも焦点に合うように、可能な限り最小の絞り、すなわち最高のＦストップ を使用するよう、カメラに教示しなければならない。絞りの設定及びシャッター スピードを確定するために、カメラ８のマイクロプロセッサ１０は方程式Ｂ−（ ＫＡｓ＊２）／　（ＴＳ）に対するすべての可能な解を見い出す。ここで、Ｂは 光センサによって確定されるフートランベルト（ｆｌ）で表される光景の明るさ 、Ｋは定数、ＡはＦストップ、すなわちＦ／１１に対してはＩＬ　Ｔは秒で表さ れるシャッタースピード、モしてＳはフィルムのＡＳＡ数である。マイクロプロ セッサは、特定のカメラについて、上記方程式を満たすＡとＴのすべての可能な 組み合わせを見い出すことができる。Ｋの値が３．９１．ＡＳＡが１００、そし て最高のＦストップが３２のカメラでは、算出されるＡとＴの組み合わせは、（ ２，８，ｌ／６０）。

（４，１／３ｆ））、　（５，８，１／１５）、　（８，，１２５）、　（Ｉｌ 、　、２５０）、　（１Ｂ、　、２５）、　（２２，１）、yび （３２，２）である。

自然の風景を見分ける特徴として使えるのは、これらのうち高い明るさのレベル にあるものであるが、これは通常２５０フートランベルトを越える。教示プロセ スの間、マイクロプロセッサｌＯは、露出計の読みか例えば２５５フートランベ ルトを越えた場合に必ずＥＥＰＲＯＭに最高のＦストップを、対応するシャッタ ースピードと共に保存するように指示される。反対に、撮影者の目的が被写体を 鮮明な焦点て、背景をぼかしたい場合、マイクロプロセッサ１０は可能な限り最 小のＦストップをマイクロプロセッサのメモリに読み込む。これらの作業を行う ための装置のブロックダイアグラムは図４に示す。

操作中、図５に示したように、１０２８種類の明るさのレベルに相当する露出計 １４からの１２ビツトワードは、２つのグループに分かれる。グループ０〜７よ りなる最初のビットは、８ビツトＡＮＤゲート（論理積ゲート）８６の機能を実 行するバッファ、トランジスタ及び増幅器を含むテンプレートマツチングネット ワークに入力される。この機能は、図５のビット２及び３の論理積演算を実行す るのと同様に、バッファ等を反転することによって実行される。その他のビット ８〜１１は、５つの入力ＯＲゲート（論理和ゲート）８８の機能を実行するネッ トワークに入力される。このように、明るさのレベルが２５５以上の場合（テン プレートマツチングネットワークによりマツチされるバタン）　、ＡＮＤゲート （論理積ゲート）又はＯＲゲート（論理和ゲート）のどちらかが１となる。これ により、２つのＮＭＯＳトランジスタ９０及び９２のうち、少なくとも１つが導 電し、ングモイド増幅器９４の入力をゼロにする。更にこれにより、インバータ ９６及び９８を介して、伝送ゲート１００を導電状態とし、伝送ゲート１０２を オフ状態に保つ。このように、シャッタードライバに伝達されるＡの絞り値、及 びＴのシャッタースピード値は、算出された最高のＦストップ及び対応するシャ ッタースピードを有する、ＥＥＰＲＯＭＩＯから送られる値になる。露出計１４ による出力の数が２５５未満ならば、ＮＭＯＳトランジスタ９０及び９２は両方 ともオフとなるため、増幅器９４が高まり、その結果伝送ゲート１０２を導電状 態とし、マイクロプロセッサ１０によって確定されたＡ及びＴの値をシャッター ドライバに伝達する。この状態における教示プロセスでは、保存される〔ストッ プ／シャッタースピードの組み合わせが、撮影者が背景を鮮明にしたいと望むと きは最大のｆストップに、背景をぼかしたい時は最小のｆストップに基づくよう マイクロプロセッサ１０に指示する。

図５の実施！！３様を更にもう１段階取ると、最大のｆストップが算出されたｆ ストップにマツチするかどうか確定し、もしマツチしない場合は、前述した距離 設定を増加するのと同様に、ｆストップを１段階上げ、シャッタースピードを１ 段階下げる、追加のテンプレートマツチングセグメントを提供することが可能と なる。これにより、カメラはｆストップの最大値未満で、背景の構成要素の鮮明 度をわずかに低減させる程度に：Ａ節することができる。

図６は本発明のもう１つの実施態様を示す。この実施態様では、パターンマツチ ングニューラルネットワーク１１０が図１のマイクロプロセッサ１０及びネット ワーク４０の代わりに使用されている。この実施態様では、マイクロプロセッサ ｌＯのそれぞれの写真撮影アルゴリズムに対するパターンマツチングセグメント は、ネットワーク４０の特徴に相当するパータンマツチングセグメントと同様に 提供される。

可変ニューラルネットワークを付加した、そのニューラルネットワークにより完 全に制御される従来型のフィルム又は電子カメラと、コンピュータへのインタフ ェースと、そしてカメラへのインタフェースを受け取ることのできる、コンピュ ータに内蔵される人工知能型ソフトウェアを含むコンピュータとを有するカメラ 装置について説明してきた。このカメラ装置はアマチュアの写真家に最もよく使 われるであろう。しかしながら、この概念は、カメラのアルゴリズムを変更し、 撮影する光景に合わせてそれらを最適化する知識のある写真家による使用や、ス タジオ又は同様の環境で、すべてのカメラ設定を手動で行わなくてしよいように 、コンピュータに与える指示に基づいてコンピュータにすべてのカメラ設定をさ せるプロによる使用にも拡大することができる。可変ネットワークの構造及び関 連する回路のダイアグラムモして人工知能プログラムの説明では、ソフトフォー カスの人物写真及び風景写真が撮影される例を紹介した。しかしながら、本発明 をアマチュアの写真家をより満足させる写真を撮影するのに使用できるような状 況は他にも多くある。例えば、露出及びダイレクトとバウンス（ｂｏｕｎｃｅ） のフラッシュアルゴリズムを変更することにより、顔色は実際の色調よりも暗く なったり明るくなったりする。カメラの制御はニューラルネットワークを使用し て実行されるため、カメラ設定を計算するための時間は、マイクロプロセッサに よって制御されるカメラに比べて低減され、これは素早く動く物体を撮影しよう とする時等の多くの場合に有益である。前述したように、本発明はフィルム又は 電子の静止又はムービーカメラのどれにも使用できる。電子カメラでは、アルゴ リズムの変更は、捕らえた画像をテレビ画面で見ることにより、写真を撮影しな がらパーソナルコンピュータを使用してその直後にネットワークを変更するとい うやり方で、動的に行うことができる。

本発明の特徴及び利益は詳細な明細書から明らかであり、従って添付のフレイム では、本発明の真の精神及び範囲の中にあるこのような特徴及び利益をすべて網 羅することを意図する。更に、数々の修正及び変更は、当業者によって容易１こ 行えるため、本発明を、図解及び説明したそのままの構造及び操作に限定するこ とを望むものではない。従って、適切な修正及び同等のものはすべて本発明の範 囲内にあるものとする。

図１ 出力 スチッパモータ及びレンズへ μＰ及びＥＥＦＲＯＭからの人力 ンヤッタードライバへ 図６ 要約帯 ティーチャプルカメラ 発明の背景 開示内容の要約 かを決定するパー′パルコンピュータ７０１こお（Ｘで実行される、ルールエキ スパートシステムによって変更される。

国際調査報告 国際調査報告 ；］：：＝＝？：′、０４−二７４二”＃　’１″：二；ｍｌ：＠二！ｊｌｆｉ ｌ　０ｆｆｉｃｅ”ｔ１シ１：フ：”′°”“−Ｉｓ　−ａ氏g°′”°“°′ “’ｎ；７Ｔｉ７Ｆ”””　”−“獣Ｔ−＊ｗｒａ鴫−ｅ−１陶ｍｍａｌｌｌａ ｍｌ曾１＋＋Ｍ−書１ｕｌｌｓＩｓｒ＊ｗｗｅ＋＋ｌｅｗｎｒｗｍ−条ｃｍｅｒ ｗｍｒ１−）ｆｗ高翌■窒獅盾翌香{＋−イｍ咽−１〒１替１ｉ＋＋ｘ

Claims (11)

【特許請求の範囲】
1. １．入力センサ及び撮影される写真の特性を調節する写真特性装置を含むカメラ 用の制御システムにおいて、 入力センサからの入力を受信し、写真特性装置への出力を決定する手段と、前記 写真特性装置への出力を使用者により与えられる望ましい写真特性に応じて修正 する修正手段と を有することを特徴とするカメラ用制御システム。
2. ２．請求項１に記載のシステムにおいて、前記修正手段が、入力センサ、前記受 信する手段及び写真特性装置に接続されたニューラルネットワークを有すること を特徴とするカメラ用制御システム。
3. ３．請求項２に記載のシステムが、更に、所望の写真特性に応じて前記ニューラ ルネットワークを修正するための教示手段を有することを特徴とするカメラ用制 御システム。
4. ４．請求項１に記載のシステムにおいて、前記入力センサが焦点設定を行う焦点 センサを有し、前記修正手段が、前記焦点センサに接続され、かつ、焦点設定が 目標の焦点に合った時に焦点設定を変更するテンプレートマッチングニューラル ネットワークを有することを特徴とするカメラ用制御システム。
5. ５．請求項に１記載のシステムにおいて、入力センサが露出計を有し、 前記受信する手段が、算出絞り設定と、算出シャッタースピード設定と、所望の 写真特性に最適な、最適絞り設定及び最適シャッタースピードを生成し、前記修 正手段が、露出計が最適な写真特性が要望されていることを示した時に、最適シ ャッタースピード設定及び最適絞り設定を選択するためのテンプレートマッチン グニューラルネットワークを有することを特徴とするカメラ用制御システム。
6. ６．ティーチャブルカメラにおいて、 焦点、露出、フィルムスピード、フラッシュ、モーション及びフィルムタイプ用 の入力センサと、 フラッシュ、シャッタースピード、レンズ焦点、絞り及びフィルタを調節する出 力装置と、 前記入力センサに接続され、焦点、シャッタースピード及び絞り調節信号を生成 するマイクロプロセッサと、 前記マイクロプロセッサ、前記焦点用の入力センサ及びレンズ焦点を調節する前 記出力装置に接続され、焦点用の前記出力装置に印加される焦点調節信号を修正 する焦点調節テンプレートマッチングニューラルネットワークと、前記マイクロ プロセッサ、焦点用前記入力センサ及びシャッタースピードと絞りを調節する前 記出力装置に接続され、シャッタースピードと絞りを調節する前記出力装置に印 加されるシャッタースピードと絞り調節信号を修正する絞り調節テンプレートマ ッチングニューラルネットワークとを有することを特徴とするティーチャブルカ メラ。
7. ７．請求項６に記載のカメラが、更に、使用者の所望の写真特性に応じて、前記 焦点調節テンプレートマッチングニューラルネットワーク及び前記絞り調節テン プレートマッチングニューラルネットワークを変更するための学習手段を有する ことを特徴とするティーチャブルカメラ。
8. ８．ティーチャブルカメラにおいて、 焦点、露出、フィルムスピード、フラッシュ、モーション及びフィルムタイプ用 の入力センサと、 フラッシュ、シャッタースピード、レンズ焦点、絞り及びフィルタを調節する出 力装置と、 前記入力センサに接続され、出力装置調節信号を発生するマイクロプロセッサと 、 前記入力センサ、前記出力装置及び前記マイクロプロセッサに接続されたニュー ラルネットワークと、 前記ニューラルネットワークに入力センサからの視覚的な光景の特性を識別する よう教示する学習手段と、前記特性が認識された際に調節信号を修正する前記ニ ューラルネットワークと を有することを特徴とするティーチャプルカメラ。
9. ９．請求項８記載のカメラにおいて、前記ニューラルネットワークが使用者の望 む写真特性に応じて教示されることを特徴とするティーチャブルカメラ。
10. １０．ティーチャブルカメラにおいて、光景の光景特性を感知する入力センサと 、光景の写真の写真特性を調節する出力装置と、前記入力センサ及び前記出力装 置に接続され、光景の特性に応じて写真特性を決定するニューラルネットワーク と を有することを特徴とするティーチャブルカメラ。
11. １１．所望の特性の写真の撮影の仕方をカメラに教示する方法において、（ａ） 写真撮影の際のカメラ設定を記録する工程と、（ｂ）所望の写真特性に関して、 使用者からの回答を引き出す工程と、（ｃ）カメラのニューラルネットワークに その設定を認識させ、所望の特性に応じてその設定を変更するよう教示する工程 とを有することを特徴とする方法。