JP7386792B2 - 電子機器及び固体撮像装置 - Google Patents

電子機器及び固体撮像装置 Download PDF

Info

Publication number
JP7386792B2
JP7386792B2 JP2020539604A JP2020539604A JP7386792B2 JP 7386792 B2 JP7386792 B2 JP 7386792B2 JP 2020539604 A JP2020539604 A JP 2020539604A JP 2020539604 A JP2020539604 A JP 2020539604A JP 7386792 B2 JP7386792 B2 JP 7386792B2
Authority
JP
Japan
Prior art keywords
unit
image data
processing
electronic device
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020539604A
Other languages
English (en)
Other versions
JPWO2020045598A1 (ja
Inventor
良仁 浴
卓 青木
竜太 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020045598A1 publication Critical patent/JPWO2020045598A1/ja
Application granted granted Critical
Publication of JP7386792B2 publication Critical patent/JP7386792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本開示は、電子機器及び固体撮像装置に関する。
近年、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機等に搭載される小型カメラ等の撮像装置の高性能化に伴い、露出を自動で調整するオート露光（ＡＥ）機能や、焦点を自動で調整するオートフォーカス（ＡＦ）機能や、シャッタ動作を自動で行なうオートシャッタ機能や、被写体やシーンに応じてカラーマトリクスを自動で調整するオート色補正機能等を搭載する撮像装置が開発されている。
特開２０１８－０６１２９０号公報 特開２０１７－１８３７７５号公報
しかしながら、従来では、オート露光やオートフォーカスやオートシャッタやオート色補正機能等の付加的な機能を実行するために、１～数フレーム分の画像データに対する画像処理が必要であった。そのため、機能実現のための処理時間や消費電力が増大してしまうという課題が存在した。
そこで本開示では、機能実現に伴う処理時間や消費電力の増大を抑制することが可能な電子機器及び固体撮像装置を提案する。
上記の課題を解決するために、本開示に係る一形態の電子機器は、画像データを生成する撮像部と、前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、前記処理の結果に基づいて、所定の機能を実行する機能実行部と、変位を検出する検出部とを備え、前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する。
第１の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係るＤＳＰを処理部として機能させた際のイメージセンサの動作例を示すフローチャートである。 １フレーム分の画像データの一例を示す図である。 第１の実施形態に係るＤＳＰが実行する演算処理の流れを説明するための図である。 第１の実施形態に係る演算処理の結果を利用して付加的な機能を実行する際の動作の一例を示すフローチャートである。 第２の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第３の実施形態に係る電子機器の概略構成例を示すブロック図である。 第３の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第４の実施形態に係る電子機器の概略構成例を示すブロック図である。 第４の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第５の実施形態に係る電子機器の概略構成例を示すブロック図である。 第５の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第６の実施形態に係る電子機器の概略構成例を示すブロック図である。 第６の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第７の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第８の実施形態に係る電子機器の概略動作例を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
１． 第１の実施形態
１．１ 電子機器の概略構成例
１．２ 処理部の動作
１．２．１ 演算動作の具体例
１．３ 演算結果を利用した付加的な機能の実行
１．４ 作用・効果
２． 第２の実施形態
２．１ 動作例
２．２ 作用・効果
３． 第３の実施形態
３．１ 電子機器の概略構成例
３．２ 動作例
３．３ 作用・効果
４． 第４の実施形態
４．１ 電子機器の概略構成例
４．２ 動作例
４．３ 作用・効果
５． 第５の実施形態
５．１ 電子機器の概略構成例
５．２ 動作例
５．３ 作用・効果
６． 第６の実施形態
６．１ 電子機器の概略構成例
６．２ 動作例
６．３ 作用・効果
７． 第７の実施形態
７．１ 動作例
７．２ 作用・効果
８． 第８の実施形態
８．１ 動作例
８．２ 作用・効果
９．移動体への応用例
１０．内視鏡手術システムへの応用例
１． 第１の実施形態
まず、第１の実施形態について、図面を参照して詳細に説明する。
１．１ 電子機器の概略構成例
図１は、第１の実施形態に係る電子機器の概略構成例を示すブロック図である。図１に示すように、電子機器１は、固体撮像装置であるイメージセンサ１０と、アプリケーションプロセッサ２０とを備える。イメージセンサ１０は、撮像部１１と、コントロール部１２と、信号処理部１３と、ＤＳＰ（Digital Signal Processor）１４と、メモリ１５と、セレクタ（出力部ともいう）１６とを備えている。
コントロール部１２は、例えば、ユーザの操作や設定された動作モードに従い、イメージセンサ１０内の各部を制御する。
撮像部１１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系１０４と、フォトダイオードなどの受光素子（光電変換部ともいう）を含む単位画素が２次元マトリクス状に配列した構成を備える画素アレイ部１０１とを備える。外部から入射した光は、光学系１０４を介することで、画素アレイ部１０１における受光素子が配列した受光面に結像される。画素アレイ部１０１の各単位画素は、その受光素子に入射した光を電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
信号処理部１３は、撮像部１１の各単位画素から読み出された画素信号に対して、種々の信号処理を実行する。例えば、信号処理部１３は、画素アレイ部１０１の各単位画素から読み出されたアナログの画素信号をデジタル値の画像データに変換する。また、信号処理部１３は、例えば、画像データがカラー画像である場合、この画像データをＹＵＶの画像データやＲＧＢの画像データなどにフォーマット変換する。さらに、信号処理部１３は、例えば、画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部１３は、画像データに対し、ＤＳＰ１４がその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。
ＤＳＰ１４は、例えば、メモリ１５に格納されているプログラムを読み出して実行することで、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習によって作成された学習済みモデルを用いて各種処理を実行する処理部として機能する。例えば、ＤＳＰ１４は、メモリ１５に記憶されている学習済みモデルに基づいた演算処理を実行することで、メモリ１５に記憶されている辞書係数と画像データとを掛け合わせる処理を実行する。このような演算処理により得られた結果（演算結果）は、メモリ１５及び／又はセレクタ１６へ出力される。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、演算結果に基づいて加工された画像データや、画像データから得られた各種情報（画像における一部の領域を示す領域情報等。以下、メタデータという）等が含まれ得る。また、ＤＳＰ１４には、メモリ１５へのアクセスを制御するメモリコントローラが組み込まれていてもよい。
演算処理には、例えば、ニューラルネットワーク計算モデルの一例である学習済みの学習モデルを利用したものが存在する。例えば、ＤＳＰ１４は、学習済みの学習モデルを用いて、各種処理であるＤＳＰ処理を実行することもできる。例えば、ＤＳＰ１４は、メモリ１５から画像データを読み出して学習済みの学習モデルに入力し、学習済みモデルの出力結果として顔の輪郭や顔画像の領域などである顔位置を取得する。そして、ＤＳＰ１４は、画像データのうち、抽出された顔位置に対して、マスキング、モザイク、アバター化などの処理を実行して、加工画像データを生成する。その後、ＤＳＰ１４は、生成した加工された画像データ（加工画像データ）をメモリ１５に格納する。
また、学習済みの学習モデルには、学習データを用いて、人物の顔位置の検出などを学習したＤＮＮやサポートベクタマシンなどが含まれる。学習済みの学習モデルは、判別対象のデータである画像データが入力されると、判別結果すなわち顔位置を特定するアドレスなどの領域情報を出力する。なお、ＤＳＰ１４は、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで学習モデルを更新したり、複数の学習モデルを用意しておき演算処理の内容に応じて使用する学習モデルを変更したり、外部の装置から学習済みの学習モデルを取得または更新したりして、上記演算処理を実行することができる。
なお、ＤＳＰ１４が処理対象とする画像データは、画素アレイ部１０１から通常に読み出された画像データであってもよいし、この通常に読み出された画像データの画素を間引くことでデータサイズが縮小された画像データであってもよい。若しくは、画素アレイ部１０１に対して画素を間引いた読み出しを実行することで通常よりも小さいデータサイズで読み出された画像データであってもよい。なお、ここでの通常の読み出しとは、画素を間引かずに読み出すことであってよい。
このような学習モデルによる顔位置の抽出や加工処理により、画像データの顔位置がマスキングされた加工画像データ、画像データの顔位置がモザイク処理された加工画像データ、または、画像データの顔位置がキャラクターに置き換えられてアバター化された加工画像データなどを生成することができる。
メモリ１５は、ＤＳＰ１４で得られた演算結果等を必要に応じて記憶する。また、メモリ１５は、ＤＳＰ１４が実行する学習済みの学習モデルのアルゴリズムをプログラム及び辞書係数として記憶する。学習済みの学習モデルのプログラム及び辞書係数は、例えば、外部のクラウドサーバ３０等で作成されたものがネットワーク４０を介して電子機器１にダウンロードされてメモリ１５に格納されてもよいし、電子機器１の出荷前にメモリ１５に格納されてもよい。
セレクタ１６は、例えばコントロール部１２からの選択制御信号に従うことで、信号処理部１３から出力された画像データと、ＤＳＰ１４から出力された演算結果とを選択的に出力する。なお、ＤＳＰ１４は、演算処理により得られた演算結果を直接、セレクタ１６へ出力してもよいし、一旦メモリ１５に格納した後、メモリ１５から読み出してセレクタ１６へ出力してもよい。
以上のようにしてセレクタ１６から出力された画像データや演算結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ２０に入力される。アプリケーションプロセッサ２０は、例えば、ＣＰＵ（Central Processing Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ２０には、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ２０は、入力された画像データや演算結果に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク４０を介して外部のクラウドサーバ３０へ送信したりする。
また、電子機器１には、イメージセンサ１０から出力された画像データや機能設定／実行のための各種メニューを表示するためのディスプレイ１７が設けられている。このディスプレイ１７は、例えば、ビューファインダとしても機能するし、アプリケーションプロセッサ２０が実行するオペレーティングシステムやアプリケーションソフトウエアのＧＵＩ（Graphical User Interface）画面を表示するディスプレイとしても機能する。なお、ディスプレイ１７は、ユーザインタフェースとしても機能するタッチスクリーンであってもよい。
なお、所定のネットワーク４０には、例えば、インターネットや、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮや、移動体通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、種々のネットワークを適用することができる。また、画像データや演算結果の送信先は、クラウドサーバ３０に限定されず、単一で動作するサーバや、各種データを保管するファイルサーバや、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置（システム）であってよい。
１．２ 処理部の動作
次に、本実施形態において処理部として機能するＤＳＰ１４の動作について、以下に図面を参照して詳細に説明する。
本実施形態に係るＤＳＰ１４は、上述したように、メモリ１５に格納されている学習済みの学習モデルを読み出して実行することで、ＤＮＮを利用した処理部として機能する。図２に、ＤＳＰ１４を処理部として機能させた際のイメージセンサ１０の動作例を示す。
図２に示すように、本動作では、まず、ＤＳＰ１４がメモリ１５から学習済みの学習モデルを読み出して実行する（ステップＳ１２１）。これにより、ＤＳＰ１４が処理部として機能する。
次に、コントロール部１２が撮像部１１からのフレーム読出しを開始する（ステップＳ１２２）。このフレーム読出しでは、例えば、１フレーム分の画像データが水平ライン単位（行単位ともいう）で順次読み出される。
次に、１フレームにおける所定ライン数の画像データが読み出されると（ステップＳ１２３のＹＥＳ）、ＤＳＰ１４は、読み出された所定ライン数分の画像データに対して、ＣＮＮ（Convolution Neural Network）を利用した演算処理を実行する（ステップＳ１２４）。すなわち、ＤＳＰ１４は、所定ライン数の画像データを単位領域として、学習済みの学習モデルを用いた演算処理を実行する。また、ＣＮＮを利用した演算処理では、例えば、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やペット検出やシーン認識や状態検出や回避対象物認識等が実行される。
ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き（動物体）検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン（海や山等）を認識する処理である。状態検出とは、画像データに含まれる人物等の状態（通常の状態か異常の状態か等）を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。
ＣＮＮを利用した演算処理に成功した場合（ステップＳ１２５のＹＥＳ）、本動作はステップＳ１２９へ進む。一方、ＣＮＮを利用した演算処理に失敗した場合（ステップＳ１２５のＮＯ）、撮像部１１から次の所定ライン数の画像データが読み出されるのを待機する（ステップＳ１２６のＮＯ）。
なお、本説明において、演算処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、演算処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
次に、ステップＳ１２６において、次の所定ライン数の画像データ（単位領域）が読み出されると（ステップＳ１２６のＹＥＳ）、ＤＳＰ１４は、読み出された所定ライン数の画像データに対して、ＲＮＮ（Recurrent Neural Network）を利用した演算処理を実行する（ステップＳ１２７）。ＲＮＮを利用した演算処理では、例えば、同一フレームの画像データに対してこれまでに実行したＣＮＮ又はＲＮＮを利用した演算処理の結果も利用される。
ＲＮＮを利用した演算処理に成功した場合（ステップＳ１２８のＹＥＳ）、本動作はステップＳ１２９へ進む。
ステップＳ１２９では、ステップＳ１２４又はＳ１２７で成功した演算結果が、例えば、ＤＳＰ１４からセレクタ１６を介してアプリケーションプロセッサ２０へ出力されるか、又は、メモリ１５へ格納される。
また、ステップＳ１２７において、ＲＮＮを利用した演算処理に失敗した場合（ステップＳ１２８のＮＯ）、１フレーム分の画像データの読出しが完了したか否かが判定され（ステップＳ１３０）、完了していない場合（ステップＳ１３０のＮＯ）、ステップＳ１２６へリターンして、次の所定ライン数の画像データに対する処理が実行される。
一方、１フレーム分の画像データの読出しが完了している場合（ステップＳ１３０のＹＥＳ）、例えば、コントロール部１２は、本動作を終了するか否かを判定し（ステップＳ１３１）、終了しない場合（ステップＳ１３１のＮＯ）、ステップＳ１２２へリターンし、次のフレームに対して同様の動作を実行する。また、終了する場合（ステップＳ１３１のＹＥＳ）、本動作が終了する。
なお、次のフレームへ移行するか否か（ステップＳ１３１）は、例えば、アプリケーションプロセッサ２０等の外部から終了の指示が入力されたか否かに基づいて判断されてもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて判断されてもよい。
また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やシーン認識や状態検出等の演算処理を連続して行なう場合、直前の演算処理に失敗している場合には、次の演算処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
１．２．１ 演算動作の具体例
つづいて、図２を用いて説明した処理部の動作を、具体例を用いて説明する。なお、以下では、ＤＮＮを利用して顔検出を実行する場合を例示する。
図３は、１フレーム分の画像データの一例を示す図である。図４は、本実施形態に係るＤＳＰが実行する演算処理の流れを説明するための図である。
図３に示すような画像データに対して演算処理により顔検出を実行する場合、図４（ａ）に示すように、ＤＳＰ１４には、まず、所定ライン数分の画像データが入力される（図２のステップＳ１２３に相当）。ＤＳＰ１４は、入力された所定ライン数分の画像データに対してＣＮＮを利用した演算処理を実行することで、顔検出を実行する（図２のステップＳ１２４に相当）。ただし、図４（ａ）の段階では、未だ顔全体の画像データが入力されていないため、ＤＳＰ１４は、顔検出に失敗する（図２のステップＳ１２５のＮＯに相当）。
つづいて、図４（ｂ）に示すように、ＤＳＰ１４には、次の所定ライン数分の画像データが入力される（図２のステップＳ１２６に相当）。ＤＳＰ１４は、図４（ａ）で入力された所定ライン数分の画像データに対して実行したＣＮＮを利用した演算処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してＲＮＮを利用した演算処理を実行することで、顔検出を実行する（図２のステップＳ１２７に相当）。
図４（ｂ）の段階では、図４（ａ）の段階で入力された所定ライン数分のが総データと合せて、顔全体の画像データが入力されている。したがって、図４（ｂ）の段階において、ＤＳＰ１４は、顔検出に成功する（図２のステップＳ１２８のＹＥＳに相当）。すると、本動作では、次以降の画像データ（図４（ｃ）～（ｆ）の画像データ）が読み出されることなく、顔検出の結果が出力される（図２のステップＳ１２９に相当）。
このように、所定ライン数ずつの画像データに対してＤＮＮを利用した演算処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
なお、所定ライン数は、学習済みの学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は１ラインである。
また、撮像部１１から読み出される画像データは、列方向及び／又は行方向に間引かれた画像データであってもよい。その場合、例えば、列方向に１行置きに画像データを読み出す場合には、２（Ｎ－１）（Ｎは１以上の整数）ライン目の画像データが読み出される。
また、学習済みの学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、１×１画素や５×５画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、ＤＳＰ１４が演算処理を実行する単位領域の画像データとして、ＤＳＰ１４に入力されてもよい。
さらに、上述では、ＤＮＮの例としてＣＮＮとＲＮＮとを例示したが、これらに限定されず、例えば、ＧＡＮ（Generative Adversarial Network）等、他の学習モデルを利用することも可能である。
１．３ 演算結果を利用した付加的な機能の実行
次に、ＤＳＰ１４が実行した演算処理の結果を利用して付加的な機能を実行する際の動作について、図面を参照して詳細に説明する。なお、以下では、演算結果を利用して実行する付加的な機能として、オート露光（ＡＥ）機能、オートフォーカス（ＡＦ）機能、オートシャッタ（ＡＳ）機能、及び、オート色補正機能を例示するが、これらの機能に限定されず、種々の機能を適用することが可能である。
図５は、本実施形態に係る演算処理の結果を利用して付加的な機能を実行する際の動作の一例を示すフローチャートである。図５に示すように、本動作では、例えば、ユーザによる電源投入により電子機器１が起動すると、まず、イメージセンサ１０が起動される（ステップＳ１０１）。これにより、電子機器１のビューファインダとして機能するディスプレイ１７への、イメージセンサ１０により得られた画像の表示が開始される。
次に、図２を用いて説明した動作を実行することで、演算処理による検出処理や認識処理等が実行される（ステップＳ１０２）。例えば、オート露光機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、撮像部１１に映り込んだ人や物等（以下、被写体という）の明度が検出される。また、オートフォーカス機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、被写体までの距離が検出される。さらに、オートシャッタ機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、被写体の表情や姿勢や動き等が検出される。さらにまた、オート色補正機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、シーンや被写体が検出される。なお、シーンには、海や山などの風景に加え、晴れや曇りなどの天気等も含まれ得る。
次に、ＤＳＰ１４による演算に成功したか否か、すなわち、演算処理によって一定の検出結果や認識結果等が得られたか否かが判定される（ステップＳ１０３）。演算に成功していた場合（ステップＳ１０３のＹＥＳ）、例えば、ユーザによって有効と設定された機能が実行される（ステップＳ１０４）。
例えば、オート露光機能が有効と設定されていた場合であって、ユーザが電子機器１のシャッタボタンを押下している場合には、ＤＳＰ１４が実行した演算処理により得られた被写体の明度に応じて、コントロール部１２（機能実行部の一形態）が、絞りやシャッタスピードを自動的に制御する。
また、オートフォーカス機能が有効と設定されていた場合には、ＤＳＰ１４が実行した演算処理により得られた被写体までの距離に応じて、コントロール部１２（機能実行部の一形態）が、光学系１０４の焦点距離を自動的に制御する。
さらに、オートシャッタ機能が有効と設定されていた場合には、ＤＳＰ１４が実行した演算処理により得られた被写体の表情や姿勢や動き等に応じて、コントロール部１２（機能実行部の一形態）が、シャッタ動作を自動的に実行する。
さらにまた、オート色補正機能が有効と設定されていた場合には、ＤＳＰ１４が実行した演算処理により検出されたシーンや被写体に応じて、アプリケーションプロセッサ２０（機能実行部の一形態）が、カラーマトリクスを自動的に変更する。なお、カラーマトリクスは、画像全体に対して変更されるだけでなく、被写体が映り込んでいる領域ごとに変更されてもよい。例えば、人物が映り込んでいる領域に対しては、人物用のカラーマトリクスが使用され、リンゴやミカンなどの物体が映り込んできる領域には、その物体に応じたカラーマトリクスが使用されてもよい。
その後、ステップＳ１０５において、本動作を終了するか否かが判定され、終了する場合（ステップＳ１０５のＹＥＳ）、イメージセンサ１０を停止し（ステップＳ１０６）、本動作を終了する。一方、終了しない場合（ステップＳ１０５のＮＯ）、ステップＳ１０２へリターンし、以降の動作を繰返し実行する。
１．４ 作用・効果
以上のように、本実施形態によれば、所定ライン数ずつの画像データに対して演算処理を実行することで、演算処理に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
また、所定ライン数ずつの画像データに対して実行した演算処理の結果に基づいて付加的な機能を実行する構成とすることで、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
さらに、短時間でシーンや被写体を検出してオート露光やオートフォーカスやオート色補正を実行することが可能となるため、シーンや被写体に応じてより綺麗な静止画像や動画像を取得することも可能となる。
さらにまた、オートシャッタを実行する際の反応速度を向上することも可能となるため、より好適なタイミングで自動的にシャッタを切ることも可能となる。
２． 第２の実施形態
次に、第２の実施形態について、図面を参照して詳細に説明する。上述した第１の実施形態では、演算結果の利用形態として、オート露光（ＡＥ）機能、オートフォーカス（ＡＦ）機能、オートシャッタ（ＡＳ）機能、オート色補正機能等の付加的な機能を実行する場合を例示した。これに対し、第２の実施形態では、所定のアプリアプリケーションソフトウエアに対して評価等を自動で入力する場合を例示する。
ユーチューブ（登録商標）やツイッター（登録商標）やフェイスブック（登録商標）やインスタグラム（登録商標）などのソーシャルネットワークサービス（Social Networking Sservice；ＳＮＳ）や、インターネットフォーラムや、ニュースサイトや、ブログなどには、ユーザが投稿した動画や写真や文章などのコンテンツに対して、他のユーザが評価や好感度等を入力するための機能（ソーシャルボタン）が組み込まれている場合が存在する。そこで本実施形態では、これらのコンテンツを閲覧・再生しているユーザの表情等を演算処理により認識し、その結果に基づいて、評価や好感度等を自動で入力する場合について、例を挙げて説明する。
本実施形態に係る電子機器の概略構成例は、第１の実施形態において図１を用いて説明した電子機器１と同様であってよい。ただし、本実施形態に係る電子機器は、スマートフォンやノート型パーソナルコンピュータなど、カメラ機能とコンテンツ閲覧・再生機能とを備えた通信端末である。
２．１ 動作例
図６は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。なお、本説明では、明確化のため、ユーチューブ（登録商標）などで提供される動画像のコンテンツを再生する場合について説明する。
図６に示すように、本動作では、まず、アプリケーションプロセッサ２０が、ユーザが入力した操作に従い、コンテンツ再生用の所定のアプリケーションソフトウエアを起動する（ステップＳ２０１のＹＥＳ）。
次に、アプリケーションプロセッサ２０は、ユーザが入力した操作に従い、指定されたコンテンツの再生を開始する（ステップＳ２０２）。すると、このコンテンツ再生に連動する形で、イメージセンサ１０が起動される（ステップＳ２０３）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、コンテンツを視聴しているユーザに関して、顔検出（ステップＳ２０４）と、視線検出（ステップＳ２０５）と、表情認識（ステップＳ２０６）との演算処理を順次実行し、それにより得られた表情認識の結果に基づいて、ユーザが笑顔や泣き顔や怒り顔などの特定の表情をしているか否かを判定する（ステップＳ２０７）。
コンテンツを視聴しているユーザが特定の表情をしていない場合（ステップＳ２０７のＮＯ）、本動作は、そのままステップＳ２１０へ進む。一方、ユーザが特定の表情をしている場合（ステップＳ２０７のＹＥＳ）、イメージセンサ１０は、ステップＳ２０６において認識された表情に関するメタデータをアプリケーションプロセッサ２０へ出力する（ステップＳ２０８）。これに対し、アプリケーションプロセッサ２０（機能実行部の一形態）は、実行中のアプリケーションソフトウエアにおけるソーシャルボタンを利用して、表情に応じた評価をアプリケーションソフトウエアに入力する（ステップＳ２０９）。その後、本動作は、ステップＳ２１０へ進む。
ステップＳ２１０では、アプリケーションプロセッサ２０が、同一コンテンツの再生が停止又は終了されたか否かを判定し、停止も終了もされていない場合（ステップＳ２１０のＮＯ）、本動作がステップＳ２０４へリターンして、以降の動作を継続する。一方、コンテンツの再生が停止又は終了されていた場合（ステップＳ２１０のＹＥＳ）、アプリケーションプロセッサ２０は、イメージセンサ１０を停止する（ステップＳ２１１）。つづいて、アプリケーションプロセッサ２０は、アプリケーションソフトウエアが終了されたか否かを判定し（ステップＳ２１２）、終了された場合（ステップＳ２１２のＹＥＳ）、本動作が終了する。一方、アプリケーションソフトウエアが終了されていない場合（ステップＳ２１２のＮＯ）、本動作がステップＳ２０２へリターンし、次のコンテンツの再生に対して以降の動作が実行される。
２．２ 作用・効果
以上のように、本実施形態によれば、表情認識に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となるため、コンテンツ閲覧又は再生時の消費電力の増加を抑制しつつ、自動的にコンテンツに対する評価や好感度等を入力することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
３． 第３の実施形態
次に、第３の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、姿勢に応じてディスプレイ１７の表示方向を回転させる機能を備えた電子機器において、特定のアプリケーションソフトウエアを実行中に、演算結果を利用してディスプレイ１７の表示方向を制御する場合を例示する。
３．１ 電子機器の概略構成例
図７は、第３の実施形態に係る電子機器の概略構成例を示すブロック図である。図７に示すように、電子機器３は、第１の実施形態において図１を用いて説明した電子機器１と同様の構成に加え、電子機器３の姿勢の変化（以下、変位という）を検出するための慣性計測装置（Inertial Measurement Unit：ＩＭＵ）３２をさらに備えている。また、電子機器３におけるイメージセンサ１０には、ＩＭＵ３２による検出結果に基づいて電子機器３の姿勢を検出するＣＰＵ（Central Processing Unit）３１がさらに組み込まれている。
ＩＭＵ３２は、例えば、３軸のジャイロと３方向の加速度計とを用いて構成され、３次元の角速度と加速度を検出結果として出力する。
ＣＰＵ３１は、ＩＭＵ３２から出力された検出結果に基づいて、電子機器３が例えば重力方向に対してどのような姿勢であるかを検出する。
アプリケーションプロセッサ２０は、例えば、ＣＰＵ３１で検出された電子機器３の姿勢に応じて、ディスプレイ１７の表示方向を制御する。例えば、演算処理の結果に基づいてディスプレイ１７の表示方向を制御しない場合、アプリケーションプロセッサ２０は、電子機器３における長手方向が水平方向よりも垂直方向に近い状態では、ディスプレイ１７の表示方向を縦方向とし、長手方向が垂直方向よりも水平方向に近い状態では、ディスプレイ１７の表示方向を横方向とする。
一方で、演算処理の結果に基づいてディスプレイ１７の表示方向を制御する場合には、アプリケーションプロセッサ２０は、ＤＳＰ１４による演算処理の結果として得られたユーザの顔の上下方向と、ディスプレイ１７の表示方向とが一致するように、ディスプレイ１７の表示方向を制御する。例えば、電子機器３における長手方向が水平方向よりも垂直方向に近い状態にも関わらず、ユーザの顔の上下方向が垂直方向よりも水平方向に近い状態であれば、アプリケーションプロセッサ２０は、ディスプレイ１７の表示方向をユーザの顔の上下方向と同じ横方向とする。一方、電子機器３における長手方向が垂直方向よりも水平方向に近い状態にも関わらず、ユーザの顔の上下方向が水平方向よりも垂直方向に近い状態であれば、アプリケーションプロセッサ２０は、ディスプレイ１７の表示方向をユーザの顔の上下方向と同じ縦方向とする。
３．２ 動作例
図８は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図８に示すように、本動作では、まず、アプリケーションプロセッサ２０が、ユーザが入力した操作に従い、所定のアプリアプリケーションソフトウエアを起動すると（ステップＳ３０１のＹＥＳ）、ＣＰＵ３１がＩＭＵ３２で検出された情報に基づいて、電子機器３の姿勢の変化（変位）を検出する（ステップＳ３０２）。変位が検出されない場合（ステップＳ３０２のＮＯ）、本動作はステップＳ３０９へ進む。一方、変位が検出された場合（ステップＳ３０２のＹＥＳ）、イメージセンサ１０が起動される（ステップＳ３０３）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、電子機器３を使用しているユーザに関して、顔検出（ステップＳ３０４）と、顔方向検出（ステップＳ３０５）との演算処理を順次実行し、それにより認識された顔方向に基づいて、撮像部１１又はディスプレイ１７に対するユーザの顔の上下方向に関するメタデータをアプリケーションプロセッサ２０へ出力する（ステップＳ３０６）。これに対し、アプリケーションプロセッサ２０（機能実行部の一形態）は、ディスプレイ１７の表示方向を、ユーザの顔の上下方向と一致する方向にロックする（ステップＳ３０７）。そして、イメージセンサ１０が停止される（ステップＳ３０８）。
その後、アプリケーションプロセッサ２０は、アプリケーションソフトウエアが終了されたか否かを判定し（ステップＳ３０９）、終了された場合（ステップＳ３０９のＹＥＳ）、本動作が終了する。一方、アプリケーションソフトウエアが終了されていない場合（ステップＳ３０９のＮＯ）、本動作がステップＳ３０２へリターンし、以降の動作を実行する。
３．３ 作用・効果
以上のように、本実施形態によれば、特定のアプリケーションソフトウエアを実行している際に、処理時間や消費電力が低減された演算処理の結果に基づいて、ディスプレイ１７の表示方向をユーザの顔の上下方向に応じて制御することが可能となる。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
なお、ＩＭＵ３２により得られた検出結果は、例えば、オートシャッタ機能にも活用することができる。具体例としては、例えば、電子機器が静止したことがＩＭＵ３２及びＣＰＵ３１により検出された場合には、自動的にシャッタ動作を実行するようにも構成することが可能である。
また、電子機器として、例えば、ＴｏＦ（Time Of Flight）センサのような、撮像時に光源の動作も伴う電子機器を適用した場合には、ＩＭＵ３２により得られた検出結果に基づき、イメージセンサ１０で撮像を実行するタイミングに合せて光源を駆動することが可能となるため、光源の駆動時間を減らしてより省電力化を実現することが可能である。
４． 第４の実施形態
次に、第４の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、セキュリティ等の理由からディスプレイ１７に表示された画面をロックする機能を搭載した電子機器において、顔認証により画面ロックを解除する際に、演算結果を利用する場合を例示する。
４．１ 電子機器の概略構成例
図９は、第４の実施形態に係る電子機器の概略構成例を示すブロック図である。図９に示すように、電子機器４は、第３の実施形態において図７を用いて説明した電子機器３と同様の構成に加え、不揮発性メモリ４３をさらに備えている。
不揮発性メモリ４３は、例えば、フラッシュメモリなどで構成され、顔認証や虹彩認証などに使用する認証情報を不揮発に記憶する。なお、図９では、不揮発性メモリ４３がイメージセンサ１０のチップ外に設けられた場合を例示しているが、これに限定されず、イメージセンサ１０のチップ内に不揮発性メモリ４３が設けられてもよい。
４．２ 動作例
図１０は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１０に示すように、本動作では、まず、アプリケーションプロセッサ２０によって、電子機器４が画面ロックの状態であるか否かが判定される（ステップＳ４０１）。なお、電子機器４の画面ロックは、例えば、アプリケーションプロセッサ２０により実行される。電子機器４が画面ロックの状態である場合（ステップＳ４０１のＹＥＳ）、ＣＰＵ３１がＩＭＵ３２で検出された情報に基づいて、電子機器１の姿勢の変化（変位）を検出する（ステップＳ４０２）。そして、電子機器４の変位が検出されると（ステップＳ４０２のＹＥＳ）、イメージセンサ１０が起動される（ステップＳ４０３）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、電子機器３を使用しているユーザに関して、顔検出（ステップＳ４０４）と、視線検出（ステップＳ４０５）と、顔認証（ステップＳ４０６）との演算処理を順次実行する。なお、ステップＳ４０６の顔認証では、例えば、イメージセンサ１０から所定ライン数ごとに入力された画像データから特定された顔の情報と、不揮発性メモリ４３に予め格納されている所有者の顔の生体情報とに基づいて、現在電子機器４を操作しているユーザが当該電子機器４の所有者であるか否かが判定される。
ステップＳ４０６の顔認証に失敗した場合、例えば、現在電子機器４を操作しているユーザが当該電子機器４の所有者でないと判定された場合（ステップＳ４０７のＮＯ）、電子機器４の画面ロックが維持されたまま、本動作がステップＳ４０２へリターンする。
一方、ステップＳ４０６の顔認証に成功した場合、例えば、現在電子機器４を操作しているユーザが当該電子機器４の所有者であると判定された場合（ステップＳ４０７のＹＥＳ）、顔認証に成功したことが、イメージセンサ１０からアプリケーションプロセッサ２０へ通知される（ステップＳ４０８）。
顔認証に成功したことが通知されたアプリケーションプロセッサ２０（機能実行部の一形態）は、画面ロックを解除する（ステップＳ４０９）。その後、イメージセンサ１０が停止され（ステップＳ４１０）、本動作が終了する。
４．３ 作用・効果
以上のように、本実施形態によれば、ＩＭＵ３２で電子機器４の変位を検出した際に、処理時間や消費電力が低減された演算処理の結果に基づいて、画面ロックが解除される。また、画面ロック中、常時、イメージセンサ１０を起動しておく必要がなくなるため、待機中の消費電力をより低減することも可能となる。
なお、図１０に示す動作において、ステップＳ４０６における顔認証の代わりに、虹彩認証が実行されてもよい。その場合、不揮発性メモリ４３には、所有者の虹彩に関する生体情報が予め格納される。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
５． 第５の実施形態
次に、第５の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、防犯システムに適用した場合について、例を挙げて説明する。
５．１ 電子機器の概略構成例
図１１は、第５の実施形態に係る電子機器の概略構成例を示すブロック図である。図１１に示すように、電子機器５は、第１の実施形態において図１を用いて説明した電子機器１と同様の構成に加え、不揮発性メモリ４３をさらに備えている。
不揮発性メモリ４３は、例えば、第４の実施形態において例示した不揮発性メモリ４３であってよい。ただし、不揮発性メモリ４３には、例えば、家族や社員等、予め登録された人物に対して生体認証を実行するための生体情報が格納されている。なお、図１１では、不揮発性メモリ４３がイメージセンサ１０のチップ外に設けられた場合を例示しているが、これに限定されず、イメージセンサ１０のチップ内に不揮発性メモリ４３が設けられてもよい。
５．２ 動作例
図１２は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１２に示すように、本動作では、例えば、ユーザによる電源投入により電子機器１が起動すると、まず、イメージセンサ１０が起動される（ステップＳ５０１）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、動き（動物体）検出（ステップＳ５０２）と、人検出（ステップＳ５０３）と、顔検出（ステップＳ５０４）と、顔認証（ステップＳ５０５）との演算処理を順次実行する。
ステップＳ５０５の顔認証に失敗した場合、例えば、イメージセンサ１０で取得された画像データに映り込んだ人物が不揮発性メモリ４３に登録された登録者でないと判定された場合（ステップＳ５０６のＮＯ）、イメージセンサ１０からアプリケーションプロセッサ２０へ撮像画像が出力される（ステップＳ５０７）。これに対し、アプリケーションプロセッサ２０（機能実行部の一形態）は、イメージセンサ１０から出力された撮像画像と、この撮像画像の撮像時刻とを、例えば、不揮発性メモリ４３に保存する（ステップＳ５０８）。なお、アプリケーションプロセッサ２０は、不揮発性メモリ４３への保存に代えて、若しくは、不揮発性メモリ４３への保存とともに、撮像画像と撮像時刻とをネットワーク４０を介して外部のクラウドサーバ３０へ送信してもよい。
その後、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され（ステップＳ５０９）、終了する場合（ステップＳ５０９のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ５１０）、本動作が終了する。一方、終了しない場合（ステップＳ５０９のＮＯ）、本動作がステップＳ５０２へリターンする。
５．３ 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、撮像された人物が不審者であるか否かを判断することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
６． 第６の実施形態
次に、第６の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、例えば、家庭内等の特定の領域内のペットを見守る監視カメラに適用した場合について、例を挙げて説明する。
６．１ 電子機器の概略構成例
図１３は、第６の実施形態に係る電子機器の概略構成例を示すブロック図である。図１３に示すように、電子機器６は、第１の実施形態において図１を用いて説明した電子機器１と同様の構成に加え、動き回るペットを追跡するために、その画角を変更する制御機構２１が搭載されている。
６．２ 動作例
図１４は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１４に示すように、本動作では、例えば、ユーザによる電源投入により電子機器６が起動すると、まず、イメージセンサ１０が起動される（ステップＳ６０１）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、動き（動物体）検出（ステップＳ６０２）と、ペット検出（ステップＳ６０３）との演算処理を順次実行し、それにより検出されたペットが画角の例えば略中心に位置するように制御機構２１（機能実行部の一形態）を駆動することで、電子機器１のロール角、ピッチ角及び／又はヨー角を制御する（ステップＳ６０４）。
その後、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され（ステップＳ６０５）、終了する場合（ステップＳ６０５のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ６０６）、本動作が終了する。一方、終了しない場合（ステップＳ６０５のＮＯ）、本動作がステップＳ６０２へリターンする。
６．３ 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内のペットを見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
７． 第７の実施形態
次に、第７の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、例えば、家庭内等の特定の領域内の子供や老人や要介護者等の人（以下、対象者という）を見守る監視カメラに適用した場合について、例を挙げて説明する。
本実施形態に係る電子機器の概略構成例は、第１の実施形態において図１を用いて説明した電子機器１又は第６の実施形態において図１３を用いて説明した電子機器６と同様であってよい。
７．１ 動作例
図１５は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１５に示すように、本動作では、例えば、ユーザによる電源投入により電子機器１が起動すると、まず、イメージセンサ１０が起動される（ステップＳ７０１）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、人検出（ステップＳ７０２）と、状態検出（ステップＳ７０３）との演算処理を順次実行する。
ステップＳ７０３の状態検出にて対象者の状態異常が検出されなかった場合（ステップＳ７０４のＮＯ）、本動作がステップＳ７０７へ進む。一方、状態異常が検出された場合（ステップＳ７０４のＹＥＳ）、イメージセンサ１０からアプリケーションプロセッサ２０へ状態異常を示すメタデータが出力される（ステップＳ７０５）。なお、状態異常とは、例えば、人が助けを呼ぶしぐさをしていたり、長時間泣き続けていたり、不自然な姿勢で一定時間以上動かなかったり、本来横になる場所でない場所（例えば、キッチンなど）で横になっていたりなど、通常と異なる状態であることであってよい。
このようにして状態異常が通知されたアプリケーションプロセッサ２０（機能実行部の一形態）は、例えば、予め登録された連絡先へ状態異常を検出したことを通知し（ステップＳ７０６）、ステップＳ７０７へ進む。なお、予め登録された連絡先とは、対象者の親族や契約しているサービス会社等の電子メールアドレスや電話番号等であってよいし、ネットワーク４０を介して接続されたクラウドサーバ３０であってもよい。
その後、ステップＳ７０７において、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され、終了する場合（ステップＳ７０７のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ７０８）、本動作が終了する。一方、終了しない場合（ステップＳ７０７のＮＯ）、本動作がステップＳ７０２へリターンする。
７．２ 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内の子供や老人や要介護者等の対象者を見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
８． 第８の実施形態
次に、第８の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、例えば、自動車等の乗り物に搭載される自動運転システムや自律ロボットやドローンなどの自律移動体等に搭載される自律システムに組み込んだ場合について、例を挙げて説明する。
本実施形態に係る電子機器の概略構成例は、第１の実施形態において図１を用いて説明した電子機器１と同様であってよい。ただし、本実施形態において、ネットワーク４０は、例えば、車内ネットワークであり、クラウドサーバ３０は、自動運転システムを構成する情報処理装置である。
８．１ 動作例
図１６は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１６に示すように、本動作では、例えば、運転者による自動車のエンジン始動に連動して、イメージセンサ１０が起動される（ステップＳ８０１）。
起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、一定距離内に存在する物体の検出（ステップＳ８０２）と、検出された物体が回避対象物であるか否かの認識（ステップＳ８０３）との演算処理を順次実行する。
ステップＳ８０３の認識にて物体が回避対象物ではないと認識された場合（ステップＳ８０４のＮＯ）、本動作はステップＳ８０２へリターンする。一方、回避対象物であると認識された場合（ステップＳ８０４のＹＥＳ）、イメージセンサ１０からアプリケーションプロセッサ２０へ、画像データと、この画像データに映り込んでいる物体が回避対象物であることを示すメタデータとが出力される（ステップＳ８０５）。
画像データとメタデータとが入力されたアプリケーションプロセッサ２０は、例えば、入力された画像データを解析することで、回避対象物であると通知された物体が実際に回避対象物であるか否かを再度認識する（ステップＳ８０６）。回避対象物であると通知された物体が回避対象物ではないと認識された場合（ステップＳ８０７のＮＯ）、本動作はそのままステップＳ８０９へ進む。一方、回避対象物であると再度認識された場合（ステップＳ８０７のＹＥＳ）、アプリケーションプロセッサ２０（機能実行部の一形態）は、自動運転システムを構成する情報処理装置へ、回避対象物を回避する回避動作を指示し（ステップＳ８０８）、ステップＳ８０９へ進む。
ステップＳ８０９では、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され、終了する場合（ステップＳ８０９のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ８１０）、本動作が終了する。一方、終了しない場合（ステップＳ８０９のＮＯ）、本動作がステップＳ８０２へリターンする。
８．２ 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて回避対象物を認識することが可能となるため、自動運転システムにおける迅速な回避対象物の認識と消費電力の低減とを実現することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
なお、上述した第１～第８の実施形態では、ＤＳＰ１４を処理部として動作させる場合について例示したが、これに限定されるものではない。すなわち、同様な検出、認識又は認証の結果を得られる処理であれば、学習モデルに基づいた処理に限定されず、種々の処理をＤＳＰ１４に実行させることが可能である。
９．移動体への応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１８は、撮像部１２０３１の設置位置の例を示す図である。
図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術を適用することにより、通信ネットワーク１２００１を介して送受信されるデータ量を削減できるとともに、車外情報検出ユニット１２０３０や統合制御ユニット１２０５０等において処理すべきデータ量を削減することが可能となる。それにより、認識処理や検出処理等の結果をより迅速に取得することが可能となるため、車両１２００の制御や運転者への情報提供等をより的確且つ迅速に行うことが可能となる。
１０．内視鏡手術システムへの応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図１９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図１９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１１２０３は、例えばＬＥＤ（light Emitting Diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
図２０は、図１９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、ＣＣＵ１１２０１等において処理すべきデータ量を削減することが可能となる。それにより、画像処理結果をより迅速に取得することが可能となるため、フレームレートや露出値、倍率、焦点等の撮像条件の設定又は更新やユーザへの情報提供等をより的確且つ迅速に行うことが可能となる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する
電子機器。
（２）
前記機能実行部は、前記電子機器の画面ロックを設定／解除する機能を備え、
前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
前記（１）に記載の電子機器。
（３）
前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
前記（１）又は（２）に記載の電子機器。
（４）
前記処理部は、同一フレームの前記画像データに基づくデータにおける最初に入力された単位領域のデータに対してＣＮＮ（Convolution Neural Network）を利用した処理を実行する前記（１）～（３）の何れか１項に記載の電子機器。
（５）
前記処理部は、前記最初に入力された単位領域のデータに対する前記ＣＮＮを利用した処理に失敗した場合、前記同一フレームの画像データに基づくデータにおける次に入力された単位領域のデータに対してＲＮＮ（Recurrent Neural Network）を利用した処理を実行する前記（４）に記載の電子機器。
（６）
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
前記処理部には、前記ライン単位で前記データが入力される
前記（４）又は（５）に記載の電子機器。
（７）
前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである前記（４）又は（５）に記載の電子機器。
（８）
前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである前記（４）又は（５）に記載の電子機器。
（９）
前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
前記（１）～（８）の何れか１項に記載の電子機器。
（１０）
前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも１つである前記（１）～（９）の何れか１項に記載の電子機器。
（１１）
前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
前記物体検出は、画像データに含まれる物体を検出する処理であり、
前記物体認識は、画像データに含まれる物体を認識する処理であり、
前記動き検出は、画像データに含まれる動物体を検出する処理であり、
前記ペット検出は、画像データに含まれるペットを検出する処理であり、
前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
前記（１０）に記載の電子機器。
（１２）
前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも１つである前記（１）～（１１）の何れか１項に記載の電子機器。
（１３）
前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
前記（１）～（１１）の何れか１項に記載の電子機器。
（１４）
前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
前記（２）、（１０）又は（１１）に記載の電子機器。
（１５）
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む１フレーム分の画像データと前記画像データの撮像時刻とを出力する
前記（１）～（１４）の何れか１項に記載の電子機器。
（１６）
前記撮像部の画角を変更する制御機構をさらに備え、
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
前記（１）～（１５）の何れか１項に記載の電子機器。
（１７）
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
前記（１）～（１６）の何れか１項に記載の電子機器。
（１８）
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第１の回避対象物認識を実行し、
前記機能実行部は、前記処理部による第１の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第２の回避対象物認識を実行し、前記第２の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
前記（１）～（１７）の何れか１項に記載の電子機器。
（１９）
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
前記処理の結果を出力する出力部と、
を備える固体撮像装置。
１、３、４、５、６ 電子機器
１０ イメージセンサ
１１ 撮像部
１０１ 画素アレイ部
１０４ 光学系
１２ コントロール部
１３ 信号処理部
１４ ＤＳＰ
１５ メモリ
１６ セレクタ
１７ ディスプレイ
２０ アプリケーションプロセッサ
２１ 制御機構
３０ クラウドサーバ
３１ ＣＰＵ
３２ ＩＭＵ
４０ ネットワーク
４３ 不揮発性メモリ

Claims (19)

  1. 画像データを生成する撮像部と、
    前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
    前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
    変位を検出する検出部と、
    を備え、
    前記処理部は、
    前記検出部が変位を検出した場合、同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してＣＮＮ（Convolution Neural Network）を利用した前記処理を実行し、
    前記ＣＮＮを利用した前記処理に失敗した場合、前記同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してＲＮＮ（Recurrent Neural Network）を利用した処理を実行する
    電子機器。
  2. 前記処理部は、最初に入力された単位領域のデータに対して前記ＣＮＮを利用した前記処理を実行し、前記ＣＮＮを利用した前記処理に失敗した場合、次に入力された単位領域のデータに対して前記ＲＮＮを利用した処理を実行する
    請求項１に記載の電子機器。
  3. 前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
    前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
    前記処理部には、前記ライン単位で前記データが入力される
    請求項１に記載の電子機器。
  4. 前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである請求項１に記載の電子機器。
  5. 前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである請求項１に記載の電子機器。
  6. 画像データを生成する撮像部と、
    前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
    前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
    変位を検出する検出部と、
    を備え、
    前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
    前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記検出部が変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
    前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
    電子機器。
  7. 画像データを生成する撮像部と、
    前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
    前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
    変位を検出する検出部と、
    を備え、
    前記処理部は、前記検出部が変位を検出した場合、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
    前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む１フレーム分の画像データと前記画像データの撮像時刻とを出力する
    電子機器。
  8. 画像データを生成する撮像部と、
    前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
    前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
    変位を検出する検出部と、
    を備え、
    前記処理部は、前記検出部が変位を検出した場合、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第１の回避対象物認識を実行し、
    前記機能実行部は、前記処理部による第１の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第２の回避対象物認識を実行し、前記第２の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
    電子機器。
  9. 前記機能実行部は、前記電子機器の画面ロックを設定／解除する機能を備え、
    前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
    前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
    請求項１から８のいずれか１項に記載の電子機器。
  10. 前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
    前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
    請求項９に記載の電子機器。
  11. 前記検出部は、前記電子機器の変位を検出し、
    前記機能実行部は、前記所定の機能として前記画像データを加工する処理を実行する
    請求項１から８のいずれか１項に記載の電子機器。
  12. 前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
    前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
    前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
    請求項１から８のいずれか１項に記載の電子機器。
  13. 前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
    前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
    請求項１から８のいずれか１項に記載の電子機器。
  14. 前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも１つである請求項１から８のいずれか１項に記載の電子機器。
  15. 前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
    前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
    前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
    前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
    前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
    前記物体検出は、画像データに含まれる物体を検出する処理であり、
    前記物体認識は、画像データに含まれる物体を認識する処理であり、
    前記動き検出は、画像データに含まれる動物体を検出する処理であり、
    前記ペット検出は、画像データに含まれるペットを検出する処理であり、
    前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
    前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
    前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
    請求項１４に記載の電子機器。
  16. 前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも１つである請求項１から８のいずれか１項に記載の電子機器。
  17. 前記撮像部の画角を変更する制御機構をさらに備え、
    前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
    前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
    請求項１から８のいずれか１項に記載の電子機器。
  18. 前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
    前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
    請求項１から８のいずれか１項に記載の電子機器。
  19. 撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
    前記処理の結果を出力する出力部と、
    を備え、
    前記処理部は、
    同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してＣＮＮ（Convolution Neural Network）を利用した前記処理を実行し、
    前記ＣＮＮを利用した前記処理に失敗した場合、前記同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してＲＮＮ（Recurrent Neural Network）を利用した処理を実行する
    固体撮像装置。
JP2020539604A 2018-08-31 2019-08-29 電子機器及び固体撮像装置 Active JP7386792B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018163700 2018-08-31
JP2019152201 2019-08-22
JP2019152201 2019-08-22
PCT/JP2019/034022 WO2020045598A1 (ja) 2018-08-31 2019-08-29 電子機器及び固体撮像装置

Publications (2)

Publication Number Publication Date
JPWO2020045598A1 JPWO2020045598A1 (ja) 2021-09-24
JP7386792B2 true JP7386792B2 (ja) 2023-11-27

Family

ID=69642811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020539604A Active JP7386792B2 (ja) 2018-08-31 2019-08-29 電子機器及び固体撮像装置

Country Status (7)

Country Link
US (1) US11889177B2 (ja)
EP (1) EP3846442A4 (ja)
JP (1) JP7386792B2 (ja)
KR (1) KR20210052441A (ja)
CN (1) CN112585942B (ja)
TW (1) TWI820194B (ja)
WO (1) WO2020045598A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6638851B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11375968B2 (en) 2020-04-06 2022-07-05 GE Precision Healthcare LLC Methods and systems for user and/or patient experience improvement in mammography
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128967A (ja) 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
WO2007119818A1 (ja) 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2011035771A (ja) 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
JP2011160044A (ja) 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 撮像装置
JP2011203860A (ja) 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
WO2012073421A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US20120235790A1 (en) 2011-03-16 2012-09-20 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP2012252507A (ja) 2011-06-02 2012-12-20 Panasonic Corp 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2013120949A (ja) 2011-12-06 2013-06-17 Sony Corp 画像処理装置、画像処理方法、プログラム
WO2018037521A1 (ja) 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018055138A (ja) 2016-09-26 2018-04-05 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法
JP2018117309A (ja) 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP2018116589A (ja) 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
JP2018133749A (ja) 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP2018136767A (ja) 2017-02-22 2018-08-30 オムロン株式会社 光学センサ、学習装置、及び画像処理システム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
DE60213559T2 (de) 2001-01-22 2007-10-18 Hand Held Products, Inc. Optischer leser mit teilbild-ausschnitt-funktion
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
US20060242434A1 (en) * 2005-04-22 2006-10-26 Tsung-Jen Lee Portable device with motion sensor
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
CN101205772B (zh) * 2006-12-18 2012-06-06 汉王科技股份有限公司 人脸识别无锁孔报警防盗门锁
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
TWI359381B (en) * 2007-12-25 2012-03-01 Htc Corp Method for unlocking a locked computing device and
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP4816768B2 (ja) 2009-06-22 2011-11-16 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
KR101739380B1 (ko) * 2011-04-11 2017-06-08 삼성전자주식회사 디지털 영상 촬영 장치 및 방법
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
WO2014114740A1 (en) 2013-01-25 2014-07-31 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) * 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6338436B2 (ja) 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US10277817B2 (en) 2014-07-23 2019-04-30 Sony Corporation Information processing apparatus and information processing method
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN105373785B (zh) * 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP2017183775A (ja) 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法および撮像素子
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
US10275670B1 (en) * 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128967A (ja) 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
WO2007119818A1 (ja) 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2011035771A (ja) 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
JP2011160044A (ja) 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 撮像装置
JP2011203860A (ja) 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
WO2012073421A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US20120235790A1 (en) 2011-03-16 2012-09-20 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP2012252507A (ja) 2011-06-02 2012-12-20 Panasonic Corp 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2013120949A (ja) 2011-12-06 2013-06-17 Sony Corp 画像処理装置、画像処理方法、プログラム
WO2018037521A1 (ja) 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018055138A (ja) 2016-09-26 2018-04-05 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法
JP2018117309A (ja) 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP2018116589A (ja) 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
JP2018133749A (ja) 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP2018136767A (ja) 2017-02-22 2018-08-30 オムロン株式会社 光学センサ、学習装置、及び画像処理システム

Also Published As

Publication number Publication date
WO2020045598A1 (ja) 2020-03-05
KR20210052441A (ko) 2021-05-10
EP3846442A1 (en) 2021-07-07
EP3846442A4 (en) 2021-09-15
US20210297585A1 (en) 2021-09-23
TWI820194B (zh) 2023-11-01
TW202032968A (zh) 2020-09-01
CN112585942B (zh) 2024-04-26
CN112585942A (zh) 2021-03-30
US11889177B2 (en) 2024-01-30
JPWO2020045598A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI785049B (zh) 成像裝置、固態影像感測器及電子裝置
JP2021093759A (ja) 撮像装置及び撮像装置の制御方法
TWI759433B (zh) 成像設備及電子裝置
JP7386792B2 (ja) 電子機器及び固体撮像装置
US11665442B2 (en) Solid-state imaging device and electronic device
EP3855726A1 (en) Solid-state imaging system, solid-state imaging device, information processing device, image processing method, information processing method, and program
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
JPWO2020170565A1 (ja) 信号処理方法および撮像装置
CN110169051B (zh) 固态摄像元件和电子设备
JP6646347B2 (ja) 固体撮像装置および電子機器
JP2020068302A (ja) 撮像装置
WO2024062813A1 (ja) 撮像装置および電子機器
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
JP2023119701A (ja) 撮像装置および信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231114

R150 Certificate of patent or registration of utility model

Ref document number: 7386792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150