JP7314798B2 - 撮像装置、画像処理装置、及び、画像処理方法 - Google Patents

撮像装置、画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
JP7314798B2
JP7314798B2 JP2019549189A JP2019549189A JP7314798B2 JP 7314798 B2 JP7314798 B2 JP 7314798B2 JP 2019549189 A JP2019549189 A JP 2019549189A JP 2019549189 A JP2019549189 A JP 2019549189A JP 7314798 B2 JP7314798 B2 JP 7314798B2
Authority
JP
Japan
Prior art keywords
unit
image
area
vehicle
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019549189A
Other languages
English (en)
Other versions
JPWO2019077999A1 (ja
Inventor
昌一 粟井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019077999A1 publication Critical patent/JPWO2019077999A1/ja
Application granted granted Critical
Publication of JP7314798B2 publication Critical patent/JP7314798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus

Description

本技術は、撮像装置、画像処理装置、及び、画像処理方法に関し、特に、画像の転送量を削減できるようにした撮像装置、画像処理装置、及び、画像処理方法に関する。
自動運転を行う車両には、周囲の状況を正確かつ詳細に認識するために多数の撮像装置が設けられることが想定される。
一方、近年、撮像装置の解像度やフレームレートが向上しており、処理の高速化やデータ量の増大に対する対策が検討されている（例えば、特許文献１参照）。
特開２００６－１９７１９４号公報
従って、今後、各撮像装置により撮像される画像のデータ量が益々増大し、画像の転送に用いるバス等に必要な容量や転送速度が益々大きくなると予測される。
本技術は、このような状況に鑑みてなされたものであり、画像の転送量を削減できるようするものである。
本技術の第１の側面の撮像装置は、撮像画像の撮像を行う撮像部と、前記撮像画像の全体又は一部の領域である複数の転送領域毎に設定されているフレームレートのうち最も高いフレームレートに合わせて前記撮像部の撮像レートを設定する撮像制御部と、各前記転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部とを備える。
本技術の第１の側面の画像処理方法は、撮像画像の撮像を行う撮像装置が、前記撮像画像の全体又は一部の領域である複数の転送領域毎に設定されているフレームレートのうち最も高いフレームレートに合わせて前記撮像部の撮像レートを設定し、各前記転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う。
本技術の第１の側面においては、撮像画像の全体又は一部の領域である複数の転送領域毎に設定されているフレームレートのうち最も高いフレームレートに合わせて撮像レートが設定され、各前記転送領域内の領域画像が、前記転送領域毎に設定されているフレームレートで送信される。
本技術の第１の側面によれば、画像の転送量を削減することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 本技術を適用した車外情報検出システムの一実施の形態を示すブロック図である。 カメラの制御部により実現される機能の構成例を示すブロック図である。 ホストの制御部により実現される機能の構成例を示すブロック図である。 ホストの処理の第１の実施の形態を説明するためのフローチャートである。 周囲画像の例を模式的に示す図である。 特徴点及び転送領域の例を示す図である。 転送領域のフレームレートの設定方法の例を説明するための図である。 カメラの処理を説明するためのフローチャートである。 転送データの構成例を示す図である。 ホストの処理の第２の実施の形態を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．第１の実施の形態
３．第２の実施の形態
４．変形例
５．その他
＜＜１．車両制御システムの構成例＞＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜＜２．第１の実施の形態＞＞
次に、図２乃至図１０を参照して、本技術の第１の実施の形態について説明する。
なお、この第１の実施の形態は、図１の車両制御システム１００のうち、主にデータ取得部１０２及び車外情報検出部１４１の処理に関連するものである。
＜車外情報検出システムの構成例＞
図２は、本技術を適用した車外情報検出システムの一実施の形態である車外情報検出システム２００の構成例を示すブロック図である。
車外情報検出システム２００は、車外情報検出システム２００が設けられている車両１０の周囲の情報の検出処理を行うシステムである。例えば、車外情報検出システム２００は、車両１０の周囲を撮像した画像（以下、周囲画像と称する）に基づいて、車両１０の周囲の情報の検出処理を行う。そして、車外情報検出システム２００は、検出処理の結果を示すデータを、例えば、図１の自己位置推定部１３２、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、緊急事態回避部１７１等に供給する。
車外情報検出システム２００は、カメラ２０１、車両状態検出部２０２、及び、ホスト２０３を備える。
カメラ２０１は、車両１０の周囲を撮像可能な位置に設置され、撮像の結果得られた周囲画像をホスト２０３に供給する。
カメラ２０１は、イメージセンサ２２１、センサＩ／Ｆ（インタフェース）２２２、画像処理部２２３、色処理部２２４、画像記憶部２２５、バッファ２２６、制御部２２７、領域設定情報記憶部２２８、及び、ホストＩ／Ｆ（インタフェース）２２９を備える。
イメージセンサ２２１は、車両１０の周囲の撮像を行う撮像部であり、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の任意の種類のイメージセンサが用いられる。イメージセンサ２２１は、センサＩ／Ｆ２２２を介した制御部２２７の制御の下に、車両１０の周囲を撮像し、得られた周囲画像をセンサＩ／Ｆ２２２に供給する。
センサＩ／Ｆ２２２は、イメージセンサ２２１と外部との間の通信を行う。
画像処理部２２３は、制御部２２７の制御の下に、周囲画像に対して各種の画像処理を行い、画像処理後の周囲画像を色処理部２２４に供給する。画像処理部２２３が行う画像処理の種類は、例えば、欠陥補正処理、ホワイトバランス調整処理、ノイズ除去処理等の中から必要に応じて選択される。
色処理部２２４は、制御部２２７の制御の下に、周囲画像に対して各種の色処理を行い、色処理後の周囲画像を画像記憶部２２５に記憶させる。色処理部２２４が行う色処理の種類は、例えば、デモザイク処理、解像度変換処理、γ補正処理、ＹＣ変換処理等の中から必要に応じて選択される。
画像記憶部２２５は、例えば、揮発性又は不揮発性のメモリを備え、周囲画像を記憶する。
バッファ２２６は、例えば、揮発性のメモリを備え、周囲画像の全体又は一部の領域（以下、転送領域と称する）内の画像（以下、領域画像と称する）を一時的に記憶する。
なお、以下、転送領域のうち周囲画像の全体の領域を全体領域とも称し、全体領域内の領域画像（すなわち、周囲画像全体）を全体画像とも称する。
制御部２２７は、各種のプロセッサ等を備え、例えば、カメラ２０１の各部の制御、及び、ホスト２０３との間の領域画像等のデータの送受信の制御等を行う。
領域設定情報記憶部２２８は、例えば、揮発性のメモリを備え、ホスト２０３から送信されてくる領域設定情報を記憶する。なお、領域設定情報は、転送領域及び転送領域毎に設定されるフレームレートに関する情報である。
ホストＩ／Ｆ２２９は、ホスト２０３との間の通信インタフェースであり、ホスト２０３のカメラＩ／Ｆとの間で通信を行う。
車両状態検出部２０２は、例えば、図１の車両状態検出部１４３に対応し、車両１０の状態の検出処理を行い、検出処理の結果を示すデータをホスト２０３の画像処理部２５１の制御部２６１に供給する。
ホスト２０３は、カメラ２０１からの領域画像の転送制御や、領域画像に基づいて車両１０の周囲の情報を検出する検出処理等を行う。ホスト２０３は、画像処理部２５１及びカメラＩ／Ｆ（インタフェース）２５２を備える。
画像処理部２５１は、制御部２６１、全体画像記憶部２６２、領域画像記憶部２６３、領域設定情報記憶部２６４、フレームレートＤＢ（データベース）２６５、及び、ドライブデータ記憶部２６６を備える。
制御部２６１は、各種のプロセッサ等を備え、例えば、ホスト２０３の各部の制御、カメラ２０１との間の領域画像等のデータの送受信の制御、及び、車両１０の周囲の情報の検出処理等を行う。また、制御部２６１は、車両１０の周囲の情報の検出処理の結果を示すデータを外部に出力する。
全体画像記憶部２６２は、例えば、揮発性又は不揮発性のメモリを備え、カメラ２０１から送信されてくる領域画像のうち全体画像を記憶する。
領域画像記憶部２６３は、例えば、揮発性又は不揮発性のメモリを備え、カメラ２０１から送信されてくる全体画像以外の領域画像を記憶する。
領域設定情報記憶部２６４は、例えば、揮発性のメモリを備え、制御部２６１により生成される領域設定情報を記憶する。
フレームレートＤＢ２６５は、転送領域内の領域画像を転送するレート（転送速度）を示すフレームレートの設定に用いるデータを格納する。例えば、フレームレートＤＢ２６５は、物体の種類、位置、及び、動き、車両１０の状態、カメラ２０１の取付位置及び取付方向、時刻、天候等の条件に対するフレームレートの設定方法又は設定値等を格納する。
ドライブデータ記憶部２６６は、例えば、不揮発性のメモリを備え、車両１０の走行中の領域画像等のデータを記憶する。
＜カメラの制御部の機能の構成例＞
図３は、カメラ２０１の制御部２２７の機能の構成例を示している。
制御部２２７は、撮像制御部３０１、領域画像生成部３０２、送信制御部３０３、及び、受信制御部３０４を備える。
撮像制御部３０１は、イメージセンサ２２１、画像処理部２２３、及び、色処理部２２４を制御し、周囲画像の撮像を制御する。
領域画像生成部３０２は、領域設定情報記憶部２２８に記憶されている領域設定情報に基づいて、画像記憶部２２５に記憶されている全体画像から領域画像を生成し、バッファ２２６に記憶させる。
送信制御部３０３は、ホストＩ／Ｆ２２９を制御して、領域画像等のデータのホスト２０３への送信を制御する。
受信制御部３０４は、ホストＩ／Ｆ２２９を制御して、領域設定情報等のデータのホスト２０３からの受信を制御する。
＜ホストの制御部の機能の構成例＞
図４は、ホスト２０３の制御部２６１の機能の構成例を示している。
制御部２６１は、特徴点抽出部３３１、物体検出部３３２、領域設定部３３３、フレームレート設定部３３４、送信制御部３３５、受信制御部３３６、及び、記録制御部３３７を備える。
特徴点抽出部３３１は、領域画像内の特徴点の抽出処理を行う。
物体検出部３３２は、領域画像内の物体の検出処理を行う。
領域設定部３３３は、領域画像内の特徴点の抽出結果及び物体の検出結果のうち少なくとも１つに基づいて、転送領域の設定を行う。また、領域設定部３３３は、各転送領域及び各転送領域のフレームレートに関する領域設定情報を生成し、領域設定情報記憶部２６４に記憶させたり、カメラＩ／Ｆ２５２に供給したりする。
フレームレート設定部３３４は、領域画像内の特徴点の抽出結果、領域画像内の物体の検出結果、及び、車両状態検出部２０２による車両１０の状態の検出結果のうち少なくとも１つ、並びに、フレームレートＤＢ２６５に格納されているデータに基づいて、各転送領域のフレームレートを設定する。
送信制御部３３５は、カメラＩ／Ｆ２５２を制御して、領域設定情報等のデータのカメラ２０１への送信を制御する。
受信制御部３３６は、カメラＩ／Ｆ２５２を制御して、領域画像等のデータのカメラ２０１からの受信を制御する。
記録制御部３３７は、車両１０の走行中の領域画像等のデータのドライブデータ記憶部２６６への記録を制御する。
＜ホストの処理＞
次に、図５のフローチャートを参照して、ホスト２０３の処理について説明する。なお、この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１において、ホスト２０３は、撮像開始命令を送信する。具体的には、送信制御部３３５は、カメラ２０１に周囲画像の撮像を開始させるための撮像開始命令を生成し、カメラＩ／Ｆ２５２を介して、カメラ２０１に送信する。
これに対して、カメラ２０１は、後述する図９のステップＳ５１において、撮像開始命令を受信し、ステップＳ５２において、車両１０の周囲を撮像し、ステップＳ５３において、全体画像及びメタデータを送信する。
なお、メタデータには、例えば、カメラ２０１の取付位置、取付方向、画角、露出パラメータ等が含まれる。
ステップＳ２において、ホスト２０３は、全体画像及びメタデータを受信する。具体的には、カメラＩ／Ｆ２５２は、受信制御部３３６の制御の下に、カメラ２０１から送信されてくる全体画像及びメタデータを受信し、全体画像を全体画像記憶部２６２に記憶させるとともに、メタデータを受信制御部３３６に供給する。
ステップＳ３において、特徴点抽出部３３１は、全体画像記憶部２６２に記憶されている全体画像の特徴点を抽出する。
なお、特徴点の抽出方法には、例えば、ハリスコーナー等の任意の手法を用いることができる。
ステップＳ４において、領域設定部３３３は、特徴点に基づいて、転送領域を設定する。例えば、領域設定部３３３は、全体画像内の特徴点のクラスタリングを行う。これにより、全体画像内の特徴点が、１以上のクラスタに分類される。そして、領域設定部３３３は、各クラスタに対応する領域を転送領域に設定する。また、領域設定部３３３は、全体領域を転送領域に設定する。
例えば、図６は、車両１０の前方を撮像した周囲画像４０１の例を模式的に示している。この例では、周囲画像４０１の下方に、車両１０のボンネット４１１が写っている。車両１０の走行車線の左隣の車線の前方に車両４１２乃至車両４１６が写っている。車両１０の走行車線の前方に車両４１７及び車両４１８が写っている。車両４１２の左側に案内標識４１９が写っている。道路の左端にガードレール４２０が写っている。路面上に区画線４２１及び区画線４２２が写っている。道路の左右に林やビル等が写っている。
図７は、図６の周囲画像４０１の特徴点及び転送領域の例を示している。図内の小さな点は特徴点を示している。例えば、車両４１２乃至車両４１８、案内標識４１９、ガードレール４２０、区画線４２１、区画線４２２、及び、道路の左右の林やビル等のエッジ付近等において、多くの特徴点が抽出されている。
また、特徴点をクラスタリングした結果に基づいて、転送領域Ｒ１乃至転送領域Ｒ７が設定されている。転送領域Ｒ１には、車両４１２が含まれている。転送領域Ｒ２には、車両４１３及び車両４１４が含まれている。転送領域Ｒ３には、車両４１４乃至車両４１６及び車両４１８が含まれている。転送領域Ｒ４には、車両４１７及び車両４１８が含まれている。転送領域Ｒ５には、案内標識４１９が含まれている。転送領域Ｒ６には、ガードレール４２０が含まれている。転送領域Ｒ７には、区画線４２２が含まれている。また、周囲画像４０１の全体領域が、転送領域Ｒ０に設定されている。
なお、転送領域は、必ずしも全体画像の周囲の辺に対して平行な辺を持つ矩形の領域に限定されるものではなく、例えば、転送領域Ｒ６及び転送領域Ｒ７のように、全体画像の周囲の辺に対して斜め方向の矩形であってもよい。また、転送領域は、必ずしも矩形でなくてもよい。
ステップＳ５において、物体検出部３３２は、各転送領域内の物体の検出処理を行う。例えば、物体検出部３３２は、各転送領域内の物体の種類、位置、動き等を検出する。
なお、物体の種類、位置、動き等の検出方法は、例えば、セマンティックセグメンテーション等の任意の手法を用いることができる。
ステップＳ６において、フレームレート設定部３３４は、各転送領域のフレームレートを設定する。
具体的には、フレームレート設定部３３４は、車両状態検出部２０２から車両１０の状態の検出結果を取得する。そして、フレームレート設定部３３４は、各転送領域内の物体の検出結果（例えば、物体の種類、位置、及び、動きのうち少なくとも１つ）、車両１０の状態の検出結果、並びに、フレームレートＤＢ２６５に格納されているデータに基づいて、各転送領域のフレームレートを設定する。
例えば、各転送領域のフレームレートは、各転送領域内の物体に注目する必要性（以下、注目必要性と称する）に基づいて設定される。例えば、転送領域内の物体の注目必要性が高いほど、フレームレートが高く設定され、転送領域内の物体の注目必要性が低いほど、フレームレートが低く設定される。
例えば、物体の注目必要性は、物体の種類に基づいて判定される。例えば、動物体は静止物体より注目必要性が高いと判定される。
例えば、図８に示されるように、転送領域Ｒ１乃至転送領域Ｒ７が、動物体を含むか否かによりグループＧ１とグループＧ２に分類される。動物体を含む転送領域Ｒ１乃至転送領域Ｒ４は、グループＧ１に分類される。動物体を含まず、静止物体のみを含む転送領域Ｒ５乃至転送領域Ｒ７は、グループＧ２に分類される。そして、グループＧ１の転送領域の方が、グループＧ２の転送領域よりフレームレートが高く設定される。例えば、グループＧ１の転送領域のフレームレートが１２０ｆｐｓ（frame per second）に設定され、グループＧ２の転送領域のフレームレートが６０ｆｐｓに設定される。
なお、グループＧ０には、全体領域である転送領域Ｒ０が含まれる。転送領域Ｒ０のフレームレートは、他の転送領域のフレームレートのうち最も低いフレームレート以下に設定される。例えば、転送領域Ｒ０のフレームレートは、グループＧ２の転送領域のフレームレートである６０ｆｐｓ以下に設定される。
なお、例えば、車両、自転車、歩行者、道路標識等に物体の種類を細分化して、さらに細かくフレームレートを設定するようにしてもよい。この場合、例えば、転送領域内の物体の一般的な平均速度が速いほど、注目必要性が高いと判定され、フレームレートが高く設定される。一方、転送領域内の物体の一般的な平均速度が遅いほど、注目必要性が低いと判定され、フレームレートが低く設定される。例えば、車両が存在する転送領域＞自転車が存在する転送領域＞歩行者が存在する転送領域＞道路標識が存在する転送領域の順にフレームレートが設定される。
この場合、例えば、物体の平均速度に基づいて、物体が所定の距離（例えば、１０ｃｍ）だけ移動する毎にその物体を含む領域画像が転送されるように、フレームレートが設定される。
なお、例えば、領域画像がＳＬＡＭ等の車両１０の自己位置推定に用いられる場合、自己位置推定に用いられる可能性が高い静止物体の方が、自己位置推定に用いられる可能性が低い動物体より注目必要性が高いと判定される。そして、静止物体のみを含む転送領域の方が、動物体を含む転送領域より、フレームレートが高く設定される。
また、例えば、物体が車両１０に衝突又は接触する危険度（以下、単に物体の危険度と称する）に基づいて、物体の注目必要性を判定するようにしてもよい。
例えば、各物体の危険度は、車両１０に対する物体の位置及び動きのうち少なくとも１つに基づいて判定される。例えば、車両１０に接近する方向の相対速度が速い物体ほど、危険度が高いと判定される。一方、車両１０に接近する方向の相対速度が遅い物体ほど、或いは、車両１０から遠ざかる方向の相対速度が速い物体ほど、危険度が低いと判定される。
また、例えば、物体が車両１０に衝突又は接触する可能性がある場合、衝突予測時間に基づいて、各物体の危険度を判定するようにしてもよい。すなわち、衝突予測時間が短い物体ほど、危険度が高いと判定され、衝突予測時間が長い物体ほど、危険度が低いと判定される。
そして、例えば、転送領域内の物体の危険度が高いほど、フレームレートが高く設定され、転送領域内の物体の危険度が低いほど、フレームレートが低く設定される。
この場合、例えば、車両１０に接近している物体については、物体が車両１０に所定の第１の距離（例えば、１０ｃｍ）だけ近づく毎にその物体を含む領域画像が転送されるように、フレームレートが設定される。一方、車両１０から遠ざかる物体については、物体が車両１０から第１の距離より長い第２の距離（例えば、２０ｃｍ）だけ遠ざかる毎にその物体を含む領域画像が転送されるように、フレームレートが設定される。
ステップＳ７において、ホスト２０３は、領域設定情報を生成し、送信する。具体的には、領域設定部３３３は、各転送領域の周囲画像内の位置及び形状、並びに、各転送領域のフレームレートを含む領域設定情報を生成する。領域設定部３３３は、生成した領域設定情報を領域設定情報記憶部２６４に記憶させる。また、領域設定部３３３は、生成した領域設定情報を、カメラＩ／Ｆ２５２を介して、カメラ２０１に送信する。
これに対して、カメラ２０１は、後述する図９のステップＳ５４において、領域設定情報を受信し、ステップＳ５７において、領域設定情報に基づいて、領域画像を生成し、送信する。
ステップＳ８において、ホスト２０３は、領域画像を受信する。具体的には、カメラＩ／Ｆ２５２は、受信制御部３３６の制御の下に、カメラ２０１から送信されてきた領域画像を受信する。
また、カメラＩ／Ｆ２５２は、受信した領域画像が全体画像である場合、その全体画像を全体画像記憶部２６２に記憶させる。このとき、例えば、全体画像記憶部２６２に記憶されている古い全体画像が、新しい全体画像により上書きされる。一方、カメラＩ／Ｆ２５２は、受信した領域画像が全体画像でない場合、その領域画像を領域画像記憶部２６３に記憶させる。このとき、例えば、領域画像記憶部２６３に記憶されている領域画像のうち、所定の時間以上前の領域画像が領域画像記憶部２６３から削除される。
ステップＳ９において、ホスト２０３は、必要に応じて、領域画像を用いた処理を行う。例えば、物体検出部３３２は、全体画像記憶部２６２に記憶されている全体画像、及び、領域画像記憶部２６３に記憶されている領域画像のうち少なくとも１つに基づいて、車両１０の周囲の物体の検出処理を行う。物体検出部３３２は、車両１０の周囲の物体の検出処理の結果を示すデータを、例えば、図１の自己位置推定部１３２、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、緊急事態回避部１７１等に供給する。
ステップＳ１０において、ホスト２０３は、必要に応じて、領域画像を記録する。例えば、記録制御部３３７は、カメラ２０１から受信した領域画像を無条件にドライブデータ記憶部２６６に記憶させる。この場合、例えば、記録制御部３３７は、ドライブデータ記憶部２６６に記録されている領域画像の総時間又は総容量が所定の閾値を超えた場合、古い領域画像から順にドライブデータ記憶部２６６から削除する。
或いは、例えば、記録制御部３３７は、車両１０が正常に走行している場合、所定の時間（例えば、３０秒）前から現時点までの領域画像をドライブデータ記憶部２６６に常に蓄積させるとともに、それより古い領域画像をドライブデータ記憶部２６６から削除する。一方、記録制御部３３７は、車両１０に異常が発生した場合、例えば、車両１０に対する所定の強さ以上の衝撃又は急ブレーキが検出された場合、所定の時間前から異常が検出された時刻までの領域画像をドライブデータ記憶部２６６に残すとともに、異常が検出された時刻から所定の時間（例えば、３０秒）経過後までの領域画像をドライブデータ記憶部２６６に記憶させる。
これにより、ホスト２０３をドライブレコーダとして用いる場合、事故の解析等に必要なデータが確実に記録されるとともに、記録するデータ量が削減される。
ステップＳ１１において、受信制御部３３６は、全体画像を受信したか否かを判定する。全体画像を受信していないと判定された場合、処理はステップＳ８に戻る。
その後、ステップＳ１１において、全体画像を受信したと判定されるまで、ステップＳ８乃至ステップＳ１１の処理が、繰り返し実行される。
一方、ステップＳ１１において、全体画像を受信したと判定された場合、処理はステップＳ３に戻り、ステップＳ３以降の処理が実行される。すなわち、新しく受信した全体画像に基づいて、転送領域及びフレームレートが更新され、更新された転送領域及びフレームレートに基づいて、カメラ２０１とホスト２０３の間の領域画像の転送が行われる。
＜カメラの処理＞
次に、図９のフローチャートを参照して、図５のホスト２０３の処理に対応して実行されるカメラ２０１の処理について説明する。なお、この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ５１において、受信制御部３０４は、ホストＩ／Ｆ２２９を介して、図５のステップＳ１の処理によりホスト２０３から送信されてくる撮像開始命令を受信する。
ステップＳ５２において、カメラ２０１は、車両１０の周囲を撮像する。具体的には、イメージセンサ２２１は、撮像制御部３０１の制御の下に、車両１０の周囲を撮像し、得られた周囲画像をセンサＩ／Ｆ２２２を介して、画像処理部２２３に供給する。画像処理部２２３は、撮像制御部３０１の制御の下に、周囲画像に対して各種の画像処理を行い、画像処理後の周囲画像を色処理部２２４に供給する。色処理部２２４は、撮像制御部３０１の制御の下に、周囲画像に対して各種の色処理を行い、色処理後の周囲画像を画像記憶部２２５に記憶させる。
ステップＳ５３において、カメラ２０１は、全体画像及びメタデータを送信する。具体的には、領域画像生成部３０２は、画像記憶部２２５に記憶されている周囲画像をそのままバッファ２２６にコピーする。送信制御部３０３は、ホストＩ／Ｆ２２９を介して、バッファ２２６に記憶されている周囲画像（すなわち、全体画像）をメタデータとともにホスト２０３に送信する。
上述したように、メタデータには、例えば、カメラ２０１の取付位置、取付方向、画角、露出パラメータ等が含まれる。
ステップＳ５４において、受信制御部３０４は、ホストＩ／Ｆ２２９を介して、図５のステップＳ７の処理によりホスト２０３から送信されてくる領域設定情報を受信する。受信制御部３０４は、受信した領域設定情報を領域設定情報記憶部２２８に記憶させる。
ステップＳ５５において、撮像制御部３０１は、領域設定情報に基づいて、撮像レートを設定する。例えば、撮像制御部３０１は、各転送領域のフレームレートのうち最も高いフレームレートに合わせてイメージセンサ２２１の撮像レートを設定する。
ステップＳ５６において、ステップＳ５２の処理と同様に、車両１０の周囲が撮像される。このとき、画像記憶部２２５に記憶されている１フレーム前の周囲画像が、新たに撮像された周囲画像により上書きされる。
ステップＳ５７において、カメラ２０１は、領域設定情報に基づいて、領域画像を生成し、送信する。具体的には、領域画像生成部３０２は、領域設定情報に含まれる各転送領域のフレームレートに基づいて、現在のタイミングで領域画像を送信する対象となる転送領域を検出する。領域画像生成部３０２は、画像記憶部２２５に記憶されている周囲画像から、検出した転送領域内の画像を抽出することにより、領域画像を生成し、バッファ２２６に記憶させる。なお、領域画像生成部３０２は、全体画像を送信するタイミングである場合、画像記憶部２２５に記憶されている周囲画像をそのままバッファ２２６にコピーする。
送信制御部３０３は、ホストＩ／Ｆ２２９を介して、バッファ２２６に記憶されている領域画像をホスト２０３に送信する。これにより、各転送領域内の領域画像が、領域設定情報により示されるフレームレートで送信される。
図１０は、カメラ２０１からホスト２０３に領域画像を送信する際の転送データの構成例を示している。
１回分の転送データは、フレームヘッダ、並びに、１組以上の領域ヘッダ及び領域画像を含む。
フレームヘッダは、例えば、送信する領域画像の数等の転送データに関する情報を含む。
領域ヘッダは、送信する領域画像の転送領域等に関する情報を含む。
この例では、時刻ｔ０において、領域画像０（全体画像）が送信されている。時刻ｔ１及び時刻ｔ３において、領域画像１及び領域画像２が送信されている。時刻ｔ２において、領域画像３が送信されている。
例えば、時刻ｔ０＝０ｍｓ、時刻ｔ１＝２０ｍｓ、時刻ｔ２＝２５ｍｓ、時刻ｔ３＝４０ｍｓ、時刻ｔ４＝５０ｍｓとすると、領域画像０のフレームレートは、２０ｆｐｓとなる。領域画像１及び領域画像２のフレームレートは、５０ｆｐｓとなる。これは、時刻ｔ０と時刻ｔ４において、領域画像０（全体画像）が送信されることにより、領域画像１及び領域画像２も実質的に送信されることになるからである。領域画像３のフレームレートは、４０ｆｐｓとなる。これは、時刻ｔ０と時刻ｔ４において、領域画像０（全体画像）が送信されることにより、領域画像３も実質的に送信されることになるからである。
ステップＳ５８において、受信制御部３０４は、領域設定情報を受信したか否かを判定する。領域設定情報を受信していないと判定された場合、処理はステップＳ５６に戻る。
その後、ステップＳ５８において、領域設定情報を受信したと判定されるまで、ステップＳ５６乃至ステップＳ５８の処理が繰り返し実行される。すなわち、転送領域毎に設定されたフレームレートに基づいて、各転送領域内の領域画像がカメラ２０１からホスト２０３に送信される。
一方、ステップＳ５８において、受信制御部３０４は、ホストＩ／Ｆ２２９を介して、図５のステップＳ７の処理によりホスト２０３から送信されてくる領域設定情報を受信した場合、領域設定情報を受信したと判定し、処理はステップＳ５５に戻る。
その後、ステップＳ５５以降の処理が実行される。すなわち、新たな領域設定情報に基づいて、撮像レートが更新されるとともに、領域画像の生成及び送信が開始される。
以上のようにして、カメラ２０１とホスト２０３の間の画像の転送量を削減することができる。これにより、ホストＩ／Ｆ２２９とカメラＩ／Ｆ２５２との間の転送路の容量及び転送速度を小さくすることができる。
また、全体画像記憶部２６２、領域画像記憶部２６３、及び、ドライブデータ記憶部２６６の容量や書き込み速度を小さくすることができる。さらに、例えば、これらの記憶部が、フラッシュメモリ等の書き換え寿命のあるメモリを備える場合、メモリの書き換え回数を削減し、寿命を延ばすことができる。
また、処理対象となる画像のデータ量が削減されるため、制御部２６１が備えるプロセッサの性能を低く抑えることができる。
さらに、注目する必要性が高い転送領域内の領域画像ほど高いフレームレートで送信されるため、画像の転送量を削減しても、車両１０の周囲の物体等の検出精度の低下を抑制することができる。
＜＜３．第２の実施の形態＞＞
次に、図１１を参照して、本技術の第２の実施の形態について説明する。
第２の実施の形態では、第１の実施の形態と比較して、ホスト２０３の処理が異なる。
＜ホストの処理＞
ここで、図１１のフローチャートを参照して、ホスト２０３の処理について説明する。
ステップＳ１０１及びステップＳ１０２において、図５のステップＳ１及びステップＳ２と同様の処理が行われる。
ステップＳ１０３において、物体検出部３３２は、全体画像内の物体の検出処理を行う。例えば、物体検出部３３２は、全体領域内の物体の種類、位置、動き等を検出する。
なお、物体の種類、位置、動き等の検出方法は、例えば、セマンティックセグメンテーション等の任意の手法を用いることができる。
ステップＳ１０４において、領域設定部３３３は、物体の検出結果に基づいて、転送領域を設定する。例えば、領域設定部３３３は、全体画像内で検出された物体のうち、注目する必要性がある物体を含む領域を転送領域に設定する。
なお、転送領域は、必ずしも全体画像の周囲の辺に対して平行な辺を持つ矩形の領域に限定されるものではなく、例えば、全体画像の周囲の辺に対して斜め方向の矩形であってもよい。また、転送領域は、必ずしも矩形でなくてもよい。
ステップＳ１０５において、フレームレート設定部３３４は、各転送領域のフレームレートを設定する。例えば、フレームレート設定部３３４は、図５のステップＳ６の処理と同様に、各転送領域内の物体の注目必要性に基づいて、各転送領域のフレームレートを設定する。
その後、ステップＳ１０６乃至ステップＳ１１０において、図５のステップＳ７乃至ステップＳ１１と同様の処理が実行される。
このようにして、特徴点を用いずに、物体の検出結果のみに基づいて、転送領域及び各転送領域のフレームレートを設定することが可能である。
＜＜４．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
カメラ２０１とホスト２０３の機能の分担は、上述した例に限定されるものではなく、必要に応じて変更することが可能である。例えば、ホスト２０３の特徴点抽出部３３１、物体検出部３３２、及び、領域設定部３３３に相当する機能をカメラ２０１に設けて、カメラ２０１が、転送領域の設定を行うようにしてもよい。また、例えば、さらにフレームレート設定部３３４に相当する機能をカメラ２０１に設けて、カメラ２０１が、転送領域のフレームレートの設定を行うようにしてもよい。
また、例えば、カメラ２０１の撮像条件に基づいて、各転送領域のフレームレートを設定するようにしてもよい。例えば、周囲の天候や明るさに基づいて、各転送領域のフレームレートを設定するようにしてもよい。例えば、好天、周囲が明るい等で撮像条件が良好な場合、各転送領域のフレームレートを下げ、悪天候（例えば、雨、霧等）、周囲が暗い等で撮像条件が悪い場合、各転送領域のフレームレートを上げるようにしてもよい。また、例えば、時間帯に応じて各転送領域のフレームレートを設定するようにしてもよい。例えば、昼間の時間帯は各転送領域のフレームレートを下げ、夜間の時間帯は各転送領域のフレームレートを上げるようにしてもよい。
さらに、例えば、領域画像がＳＬＡＭ等の車両１０の自己位置推定に用いられる場合、特徴点に基づいてフレームレートを設定するようにしてもよい。例えば、特徴点が多い転送領域ほど、フレームレートが高く設定され、特徴点が少ない転送領域ほど、フレームレートが低く設定される。
また、例えば、車両１０の動きに基づいて、各転送領域のフレームレートを設定するようにしてもよい。例えば、車両１０の移動方向に近い転送領域のフレームレートを上げ、車両１０の移動方向から遠い転送領域のフレームレートを下げるようにしてもよい。また、例えば、車両１０が高速移動しており、かつ、操舵角度が小さい場合、車両１０の進行方向の周囲の転送領域のフレームレートを下げるようにしてもよい。一方、車両１０がカーブや交差点を走行中の場合、又は、車両１０の操舵角が大きい場合、車両１０の進行方向の周囲の転送領域のフレームレートを上げるようにしてもよい。
さらに、以上の説明では、カメラが１台の場合の例について説明したが、本技術は、カメラが複数台の場合も適用することができる。カメラが複数台の場合、例えば、カメラ毎に上述した処理が行われ、転送領域毎に設定されたフレームレートで領域画像が送信される。ただし、必ずしも全てのカメラについて上述した処理を行う必要はなく、一部のカメラについて、撮像した周囲画像をそのままホストに送信するようにしてもよい。
また、本技術は、先に例示した車両以外にも、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）、ドローン、ロボット等の各種の移動体の周囲の撮像を行う場合にも適用することができる。
さらに、本技術は、移動体の周囲を撮像する場合以外にも、カメラとホスト等の画像処理装置との間で、カメラにより撮像された撮像画像の転送を行う場合に適用することができる。例えば、本技術は、所定の場所に設置された監視カメラと、監視カメラとは別の場所に設けられたホストとの間で撮像画像の転送を行う場合にも適用することができる。この場合も、例えば、上述した方法と同様の方法により、監視カメラにより撮像された撮像画像の転送領域及び各転送領域のフレームレートを設定し、領域画像の転送を行うことにより、監視カメラとホストの間の画像の転送量を削減することができる。
＜＜５．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ５００では、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
撮像画像の撮像を行う撮像部と、
前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部と
を備える撮像装置。
（２）
前記転送領域は、前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて設定されている
前記（１）に記載の撮像装置。
（３）
前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記転送領域を設定する領域設定部と、
前記転送領域のフレームレートを設定するフレームレート設定部と
をさらに備える前記（２）に記載の撮像装置。
（４）
前記撮像画像内の物体の検出を行う物体検出部と、
前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
のうち少なくとも１つをさらに備え、
前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域を設定する
前記（３）に記載の撮像装置。
（５）
各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の受信を制御する受信制御部を
さらに備え、
前記送信制御部は、前記領域設定情報に基づいて、前記領域画像の送信制御を行う
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
各前記転送領域のフレームレートに基づいて、前記撮像部の撮像レートを設定する撮像制御部を
さらに備える前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
前記撮像制御部は、各前記転送領域のフレームレートのうち最も高いフレームレートに合わせて前記撮像部の撮像レートを設定する
前記（６）に記載の撮像装置。
（８）
前記撮像装置は、移動体に設けられ、
前記撮像画像は、前記移動体の周囲を撮像した画像である
前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
撮像装置が、
撮像画像の撮像を行い、
前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う
画像処理方法。
（１０）
撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定する領域設定部と、
各前記転送領域のフレームレートを設定するフレームレート設定部と、
各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御する送信制御部と、
前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する受信制御部と
を備える画像処理装置。
（１１）
前記撮像画像内の物体の検出を行う物体検出部と、
前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
のうち少なくとも１つをさらに備え、
前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて前記転送領域を設定する
前記（１０）に記載の画像処理装置。
（１２）
前記フレームレート設定部は、前記転送領域内の物体の検出結果、及び、前記転送領域内の特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
前記（１１）に記載の画像処理装置。
（１３）
前記フレームレート設定部は、前記転送領域内の物体の種類、位置、及び、動きのうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
前記（１２）に記載の画像処理装置。
（１４）
前記フレームレート設定部は、さらに前記撮像装置の撮像条件に基づいて、前記転送領域のフレームレートを設定する
前記（１３）に記載の画像処理装置。
（１５）
前記フレームレート設定部は、前記転送領域内の物体の検出結果、前記転送領域内の特徴点の抽出結果、及び、前記撮像装置が設けられている移動体の動きのうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
前記（１１）に記載の画像処理装置。
（１６）
前記フレームレート設定部は、前記撮像画像の全体の領域である前記転送領域のフレームレートを、前記撮像画像の一部の領域である前記転送領域のフレームレートのうち最も低いフレームレート以下に設定する
前記（１０）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
各前記領域画像の記録を制御する記録制御部を
さらに備える前記（１０）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
前記撮像装置は、移動体に設けられ、
前記撮像画像は、前記移動体の周囲を撮像した画像である
前記（１０）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定し、
各前記転送領域のフレームレートを設定し、
各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御し、
前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する
画像処理方法。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 車両， １００ 車両制御システム， １０２ データ取得部， １４１ 車外情報検出部， ２０１ カメラ， ２０３ ホスト， ２２１ イメージセンサ， ２２７ 制御部， ２２９ ホストＩ／Ｆ， ２５１ 画像処理部， ２５２ カメラＩ／Ｆ， ２６１ 制御部， ３０１ 撮像制御部， ３０２ 領域画像生成部， ３０３ 送信制御部， ３０４ 受信制御部， ３３１ 特徴点抽出部， ３３２ 物体検出部， ３３３ 領域設定部， ３３４ フレームレート設定部， ３３５ 送信制御部， ３３６ 受信制御部， ３３７ 記録制御部

Claims (7)

  1. 撮像画像の撮像を行う撮像部と、
    前記撮像画像の全体又は一部の領域である複数の転送領域毎に設定されているフレームレートのうち最も高いフレームレートに合わせて前記撮像部の撮像レートを設定する撮像制御部と、
    各前記転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部と
    を備える撮像装置。
  2. 前記転送領域は、前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて設定されている
    請求項１に記載の撮像装置。
  3. 前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記転送領域を設定する領域設定部と、
    前記転送領域のフレームレートを設定するフレームレート設定部と
    をさらに備える請求項２に記載の撮像装置。
  4. 前記撮像画像内の物体の検出を行う物体検出部と、
    前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
    のうち少なくとも１つをさらに備え、
    前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域を設定する
    請求項３に記載の撮像装置。
  5. 各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の受信を制御する受信制御部を
    さらに備え、
    前記送信制御部は、前記領域設定情報に基づいて、前記領域画像の送信制御を行う
    請求項１に記載の撮像装置。
  6. 前記撮像装置は、移動体に設けられ、
    前記撮像画像は、前記移動体の周囲を撮像した画像である
    請求項１に記載の撮像装置。
  7. 撮像画像の撮像を行う撮像装置が、
    前記撮像画像の全体又は一部の領域である複数の転送領域毎に設定されているフレームレートのうち最も高いフレームレートに合わせて撮像レートを設定し、
    各前記転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う
    画像処理方法。
JP2019549189A 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法 Active JP7314798B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017200212 2017-10-16
JP2017200212 2017-10-16
PCT/JP2018/036965 WO2019077999A1 (ja) 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2019077999A1 JPWO2019077999A1 (ja) 2020-11-12
JP7314798B2 true JP7314798B2 (ja) 2023-07-26

Family

ID=66174486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549189A Active JP7314798B2 (ja) 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法

Country Status (6)

Country Link
US (1) US11363235B2 (ja)
EP (1) EP3700198B1 (ja)
JP (1) JP7314798B2 (ja)
KR (1) KR102613792B1 (ja)
CN (1) CN111201787B (ja)
WO (1) WO2019077999A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20220182552A1 (en) * 2020-12-08 2022-06-09 Westinghouse Air Brake Technologies Corporation Automatic camera configuration systems and methods
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
JP7363279B2 (ja) 2019-09-26 2023-10-18 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法、及び画像記録プログラム
US11164339B2 (en) * 2019-11-12 2021-11-02 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment temporal resampling
JP2022134409A (ja) * 2021-03-03 2022-09-15 トヨタ自動車株式会社 地図データ利用システム、地図データ利用方法及びプログラム
GB2607004A (en) * 2021-05-14 2022-11-30 Airbus Defence & Space Ltd Transmission of sensor data
WO2023074394A1 (ja) * 2021-10-29 2023-05-04 住友電気工業株式会社 車載装置、路側装置、制御方法およびコンピュータプログラム
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027564A (ja) 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、及びプログラム
JP2015005843A (ja) 2013-06-20 2015-01-08 サクサ株式会社 監視システム、表示装置、表示用プログラム及び映像制御装置
WO2015182753A1 (ja) 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP2006197194A (ja) 2005-01-13 2006-07-27 Olympus Corp 撮像装置
CN101755461B (zh) * 2007-07-20 2012-06-13 富士胶片株式会社 图像处理设备、图像处理方法
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP5389274B2 (ja) * 2010-11-30 2014-01-15 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
CN201979824U (zh) * 2010-12-29 2011-09-21 珠海赛纳打印科技股份有限公司 成像装置、成像服务器和成像系统
JP5812634B2 (ja) * 2011-03-17 2015-11-17 キヤノン株式会社 送信装置及び送信方法、並びにプログラム
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101992153B1 (ko) * 2012-11-13 2019-06-25 삼성전자주식회사 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법
US9197809B2 (en) * 2013-05-01 2015-11-24 Canon Kabushiki Kaisha Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
JP2015126457A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 サーバ装置のプログラム、サーバ装置及び遠隔会議方法
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
WO2017086355A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
GB201618501D0 (en) * 2016-11-02 2016-12-14 Qinetiq Ltd Method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027564A (ja) 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、及びプログラム
JP2015005843A (ja) 2013-06-20 2015-01-08 サクサ株式会社 監視システム、表示装置、表示用プログラム及び映像制御装置
WO2015182753A1 (ja) 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sek M. Chai et al.，Streaming I/O for Imaging Applications，Proceedings of the Seventh International Workshop on Computer Architecture for Machine Perception, IEEE，2005年07月04日，pp.1-6

Also Published As

Publication number Publication date
EP3700198A1 (en) 2020-08-26
JPWO2019077999A1 (ja) 2020-11-12
WO2019077999A1 (ja) 2019-04-25
EP3700198A4 (en) 2020-08-26
US11363235B2 (en) 2022-06-14
KR20200062223A (ko) 2020-06-03
KR102613792B1 (ko) 2023-12-15
CN111201787A (zh) 2020-05-26
US20200322571A1 (en) 2020-10-08
EP3700198B1 (en) 2024-04-03
CN111201787B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11501461B2 (en) Controller, control method, and program
US20200263994A1 (en) Information processing apparatus, information processing method, program, and moving body
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
JPWO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体
WO2022075133A1 (ja) 撮像装置、情報処理装置、撮像システム及び撮像方法
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20220277556A1 (en) Information processing device, information processing method, and program
CN112567726B (zh) 信息处理设备，信息处理方法和计算机可读记录介质
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2020101960A (ja) 情報処理装置、情報処理方法及びプログラム
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
JP2022113054A (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230206596A1 (en) Information processing device, information processing method, and program
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230427

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151