KR20190099373A - 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템 Download PDF

Info

Publication number
KR20190099373A
KR20190099373A KR1020187020158A KR20187020158A KR20190099373A KR 20190099373 A KR20190099373 A KR 20190099373A KR 1020187020158 A KR1020187020158 A KR 1020187020158A KR 20187020158 A KR20187020158 A KR 20187020158A KR 20190099373 A KR20190099373 A KR 20190099373A
Authority
KR
South Korea
Prior art keywords
image
region
interest
unit
pixel
Prior art date
Application number
KR1020187020158A
Other languages
English (en)
Other versions
KR102556560B1 (ko
Inventor
토모히로 타카하시
히로시 타야나카
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190099373A publication Critical patent/KR20190099373A/ko
Application granted granted Critical
Publication of KR102556560B1 publication Critical patent/KR102556560B1/ko

Links

Images

Classifications

    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H04N5/23206—
    • H04N5/3456—
    • H04N5/378—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

화상 처리를 위한 방법 및 기기. 상기 방법은, 제1의 해상도를 갖는 제1의 화상을 생성하는 단계와, 처리 회로에 의해, 상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하는 단계와, 상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하는 단계와, 상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하는 단계와, 상기 처리 회로에 의해, 상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하는 단계와, 상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하는 단계를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템
관련 출원의 상호 참조
본 출원은 2016년 12월 28일에 출원된 일본 우선권 특허출원 JP2016-255290의 이익을 주장하고, 그 전체 내용은 본원에 참고로서 인용된다.
본 개시는, 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템에 관한 것이다.
화상으로부터, 당해 화상의 일부의 영역(특징 영역, 주목 영역 등)을 특정(特定)하는 기술이 알려져 있다. 예를 들면, 하기 특허문헌 1에는, 입력 화상으로부터의 특징 영역의 특정과, 특징 영역이 특정되지 않은 영역을 고해상도화하여 얻어진 화상으로부터의 특징 영역의 특정을 행하는 기술이 개시되어 있다.
일본 특개2010-252276호 공보
상기한 바와 같이 화상의 일부의 영역을 특정하는 기술에서는, 당해 영역의 특정에 관한 처리량을 억제하는 것이 요망되고 있다.
본 개시에 의하면, 화상 처리 방법을 제공한다. 상기 화상 처리 방법은, 제1의 해상도를 갖는 제1의 화상을 생성하는 단계와, 처리 회로에 의해, 상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하는 단계와, 상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하는 단계와, 상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하는 단계와, 상기 처리 회로에 의해, 상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하는 단계와, 상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하는 단계를 구비한다.
또한, 본 개시에 의하면, 화상 처리 시스템을 제공한다. 상기 화상 처리 시스템은, 처리 회로를 구비하고, 상기 처리 회로는, 제1의 해상도를 갖는 제1의 화상을 생성하고, 상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하고, 상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하고, 상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하고, 상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하고, 상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하도록 구성된다.
또한, 본 개시에 의하면, 화상 처리 방벙을 제공한다. 상기 화상 처리 방법은, 제1의 해상도를 갖는 제1의 화상을 생성하는 단계와, 상기 제1의 화상에서 목표물을 식별하기 위해 상기 제1의 화상을 검색하는 단계와, 상기 목표물의 식별에 근거하여, 상기 제1의 화상에서 주목 영역을 특정하는 단계와, 상기 주목 영역에 대응하는 제2의 화상을 생성하도록, 상기 제1의 화상에서 특정된 상기 주목 영역에 대응하는 하나의 이상의 아날로그-디지털 변환기(ADC)를 작동시키는 단계를 구비하고, 상기 제2의 화상은 상기 제1의 해상도보다 높은 제2의 해상도를 갖는다.
이상 설명한 바와 같이 본 개시에 의하면, 주목 영역의 특정에 관한 처리량을 억제하는 것이 가능하다.
또한, 상기한 효과는 반드시 한정적인 것이 아니라, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서에 나타난 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 이루어져도 좋다.
도 1은 본 개시의 한 실시 형태의 비교례에 관한 화상 처리 장치의 구성을 도시하는 설명도.
도 2는 동 실시 형태의 다른 비교례의 구성을 도시하는 설명도.
도 3은 동 실시 형태의 다른 비교례의 구성을 도시하는 설명도.
도 4는 본 개시의 한 실시 형태에 관한 화상 처리 시스템의 구성을 설명하기 위한 설명도.
도 5는 동 실시 형태에 관한 화상 판독부(10)의 구성례를 도시하는 설명도.
도 6은 동 실시 형태에 관한 저해상도 화상에 관해 설명하기 위한 모식도.
도 7a는 동 실시 형태에 관한 중간해상도 화상에 관해 설명하기 위한 모식도.
도 7b는 동 실시 형태에 관한 중간해상도 화상에 관해 설명하기 위한 모식도.
도 7c는 동 실시 형태에 관한 중간해상도 화상에 관해 설명하기 위한 모식도.
도 8은 동 실시 형태에 관한 복수의 주목 영역 화상을 얻기 위한 AD 변환의 예를 설명하기 위한 설명도.
도 9는 동 실시 형태에 관한 화상 처리 장치(1)에 의한 인식에 관한 동작을 도시하는 플로우차트.
도 10은 동 실시 형태에 관한 화상 처리 시스템(1000)에 의한 학습에 관한 동작을 도시하는 플로우차트.
도 11은 이미지 센서의 구성례를 설명하기 위한 설명도.
도 12는 이미지 센서의 구성례를 설명하기 위한 설명도.
도 13은 정보 처리 장치의 하드웨어 구성례를 도시하는 설명도.
도 14는 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 15는 차외 정보 검출부 및 촬상부의 설치 위치의 한 예를 도시하는 설명도.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를, 동일한 부호의 후에 다른 알파벳을 붙여서 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특히 구별한 필요가 없는 경우, 동일 부호만을 붙인다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
<1. 배경>
<2. 구성>
<3. 동작>
<4. 변형례>
<5. 하드웨어 구성례>
<6. 응용례>
<7. 결말>
<1. 배경>
본 개시의 한 실시 형태에 관한 화상 처리 장치에 관한 설명에 있어서, 우선 도면을 참조하면서 본 개시의 한 실시 형태에 관한 화상 처리 장치의 창작(創作)에 이른 배경을 설명한다.
근래, 화상으로부터, 당해 화상에 나타난 피사체에 관한 인식 처리(예를 들면, 종별의 인식 처리나, 속성의 인식 처리 등)가 행하여지고 있다. 화상으로부터의 인식 처리는, 예를 들면 기계학습(機械學習)(머신 러링(machine learning))에 의해 얻어지는 인식기를 이용하여 행하여진다.
인식 처리는, 예를 들면 화상을 촬상하는 이미지 센서를 구비한 화상 처리 장치에서도 행하여지고 있다. 이하에서는, 본 개시의 한 실시 형태에 관한 비교례로서, 인식 처리를 행하는 화상 처리 장치의 예에 관해 도 1을 참조하여 설명한다. 도 1은 본 실시 형태의 비교례에 관한 화상 처리 장치의 구성을 도시하는 설명도이다.
도 1에 도시하는 바와 같이, 화상 처리 장치(61)는, 화상 판독부(611), 학습·인식부(612), 및 인식기 기억부(613)를 구비한다. 화상 판독부(611)는, 예를 들면, 화소 신호를 출력하는 복수의 화소를 가지며, 당해 화소 신호를 디지털 신호로 변환한 화상을 출력한다. 화상 판독부(611)의 기능은, 예를 들면 이미지 센서에 의해 실현되어도 좋다.
학습·인식부(612)는, 화상 판독부(611)로부터 출력되는 화상에 의거하여 기계학습을 행하고, 기계학습에 의해 얻어진 인식기를 인식기 기억부(613)에 제공하다. 또한, 기계학습할 때, 필요에 응하여 화상에 나타난 피사체에 관한 라벨 데이터가 입력되어도 좋다. 라벨 데이터는, 예를 들면 도시하지 않은 조작부를 통하여 유저에 의해 입력되어도 좋다.
또한, 학습·인식부(612)는, 인식기 기억부(613)에 기억된 인식기를 이용하여, 화상 판독부(611)로부터 출력되는 화상을 입력으로 한 인식 처리를 행하고, 예를 들면 화상에 나타난 피사체의 종별(種別)이나 속성(屬性)을 인식한다.
인식기 기억부(613)는, 학습·인식부(612)로부터 제공되는 인식기를 기억한다.
도 1에 도시한 화상 처리 장치에서, 학습·인식부(612)가 화상 판독부(611)로부터 출력되는 화상을 그대로 이용하여 기계학습, 및 인식 처리를 행하면, 화상 판독부(611)가 갖는 화소의 수에 따라서는 처리량이 팽대(膨大)하게 되어 버리는 경우가 있다. 그 때문에, 학습·인식부(612)는, 예를 들면 화상 판독부(611)로부터 출력된 화상을 축소한 축소 화상을, 축소에 관한 파라미터를 변경하면서 생성(이른바 피라미드 화상 생성)하여, 축소 화상에 대해 기계학습이나 인식 처리를 행하는 것이 생각된다.
그러나, 축소 화상을 이용한 경우라도, 화상 처리 장치(61)의 처리 성능이 낮은 경우에는 기계학습이나 인식 처리에 팽대한 시간이 걸리는 경우가 있다. 그래서, 도 2에 도시하는 바와 같이, 네트워크를 통용하여 처리 성능이 높은 다른 장치에서 기계학습, 및 인식 처리를 행하게 하는 것이 생각된다. 도 2는, 본 실시 형태의 다른 비교례에 관한 화상 처리 장치의 구성을 도시하는 설명도이다.
도 2에 도시하는 화상 처리 장치(62)는, 화상 판독부(621)를 구비한다. 또한, 화상 처리 장치(62)는, 도시하지 않은 통신부에 의한 통신 기능을 가지며, 통신망(5)을 통하여, 서버(72)와 접속된다.
화상 판독부(621)는, 도 1을 참조하여 설명한 화상 판독부(611)와 마찬가지로, 화소 신호를 디지털 신호로 변환한 화상을 출력한다. 화상 판독부(621)로부터 출력된 화상은, 서버(72)에 송신된다.
서버(72)는, 학습·인식부(721)와, 인식기 기억부(722)를 구비하는 정보 처리 장치이다. 학습·인식부(721)는, 도 1을 참조하여 설명한 학습·인식부(612)와 마찬가지로, 기계학습, 및 인식 처리를 행하지만, 입력되는 화상이 화상 처리 장치(62)로부터 수신한 화상인 점에 있어서, 학습·인식부(612)와 다르다. 인식기 기억부(722)는, 학습·인식부(721)로부터 제공되는 인식기를 기억한다. 또한, 학습·인식부(721)에 의한 인식 처리의 결과는, 서버(72)로부터 화상 처리 장치(62)에 송신되어도 좋다.
여기서, 서버(72)의 처리 성능은, 화상 처리 장치(62)의 처리 성능보다도 높은 것이 바람직하다. 이러한 구성에 의하면, 화상 처리 장치(62)의 처리 성능이 낮은 경우라도, 서버(72)가 기계학습, 및 인식 처리를 행함으로써, 보다 고속으로 기계학습, 및 인식 처리를 행하는 것이 가능해지는 경우가 있다.
그러나, 화상 처리 장치(62)와 서버(72) 사이의 네트워크 통신에 관한 지연이 발생하기 때문에, 예를 들면 리얼타임으로 인식 처리를 행하는 것은 여전히 곤란하였었다. 그래서, 도 3에 도시하는 바와 같이, 기계학습을 행하는 기능은 서버에 남겨 두면서, 기계학습에 의해 얻어진 인식기를 이용한 인식 처리는 화상 처리 장치에서 행하는 것도 생각된다. 도 3은, 본 실시 형태의 다른 비교례의 구성을 도시하는 설명도이다.
도 3에 도시하는 화상 처리 장치(63)는, 화상 판독부(631), 인식부(632), 및 인식기 기억부(633)를 구비한다. 또한, 화상 처리 장치(63)는, 도시하지 않은 통신부에 의한 통신 기능을 가지며, 통신망(5)을 통하여, 서버(73)와 접속된다.
화상 판독부(631)는, 도 1을 참조하여 설명한 화상 판독부(611)와 마찬가지로, 화소 신호를 디지털 신호로 변환한 화상을 출력한다. 화상 판독부(631)로부터 출력되는 화상은, 인식부(632)에 출력됨과 함께, 서버(72)에 송신된다.
인식부(632)는, 인식기 기억부(633)에 기억된 인식기를 이용하여, 화상 판독부(631)로부터 출력되는 화상을 입력으로 한 인식 처리를 행한다. 인식기 기억부(633)는, 서버(73)로부터 수신한 인식기를 기억한다.
서버(73)는, 학습부(731)를 구비한다. 학습부(731)는, 화상 처리 장치(63)로부터 수신한 화상을 입력으로 하여, 기계학습을 행하고, 기계학습에 의해 얻어진 인식기를 화상 처리 장치(63)에 송신한다.
상기한 구성에 의해, 인식 처리는 네트워크 통신에 수반하는 지연의 영향을 받지 않고, 화상 처리 장치(63)는 보다 고속으로 인식 처리를 행하는 것이 가능해질 수 있다. 단, 그런데도 여전히 인식 처리에 관한 처리량은 크기 때문에, 예를 들면 상술한 축소 화상의 생성이 필요해질 수 있다. 그러나, 축소 화상을 생성하기 위한 축소 처리가 발생하기 때문에, 보다 처리량을 삭감할 여지가 있다. 또한, 축소 화상에 나타난 피사체의 영역은 작은 경우가 있어서, 피사체에 관한 인식 정밀도가 저하될 우려가 있다.
그래서, 상기 사정을 한 착안점(着眼点)으로 하여 본 실시 형태를 창작하는데 이르렀다. 본 실시 형태에 의하면, 화상 판독부로부터 출력되는 저해상도 화상으로부터 특정한 주목 영역의 고해상도 화상을 화상 판독부로부터 취득하여 인식 처리를 행함으로써, 처리량을 억제하면서, 인식 정밀도를 향상시키는 것이 가능해질 수 있다. 이하, 이와 같은 효과를 갖는 본 개시의 한 실시 형태의 구성, 및 동작에 관해 설명한다.
<2. 구성>
(전체 구성)
도 4는 본 개시의 한 실시 형태에 관한 화상 처리 시스템의 구성을 설명하기 위한 설명도이다. 도 4에 도시하는 바와 같이, 본 실시 형태에 관한 화상 처리 시스템(1000)은, 화상 처리 장치(1), 통신망(5), 및 서버(7)를 구비한다. 이하에서는, 본 실시 형태에 관한 화상 처리 시스템(1000)의 전체 구성을 설명한 후, 화상 처리 장치(1)의 구성에 관해 보다 상세히 설명한다.
화상 처리 장치(1)는, 이미지 센서에 의한 촬상 기능을 가지며, 예를 들면 디지털 카메라나 디지털 비디오 카메라 등이라도 좋고, 스마트폰이나 PC(Personal Computer) 등이라도 좋다. 화상 처리 장치(1)는, 예를 들면 촬상에 의해 얻어지는 화상에 나타난 피사체에 관한 인식 처리를 행한다. 또한, 화상 처리 장치(1)는, 촬상에 의해 얻어지는 화상으로부터 검출되는 주목 영역(ROI, Region of Interest)의 화상을 서버(7)에 송신한다. 또한, 화상 처리 장치(1)의 상세한 구성에 관해서는 후술한다.
통신망(5)은, 통신망(5)에 접속되어 있는 장치, 또는 시스템으로부터 송신되는 정보의 유선, 또는 무선의 전송로이다. 예를 들면, 통신망(5)은, 인터넷, 전화 회선망, 위성 통신망 등의 공중 회선망이나, Ethernet(등록상표)을 포함하는 각종의 LAN(Local Area Network), WAN(Wide Area Network) 등을 포함하여도 좋다. 또한, 통신망(5)은, IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함하여도 좋다. 도 4에 도시하는 바와 같이, 화상 처리 장치(1)와 서버(7)는, 통신망(5)을 통하여 서로 접속되고, 정보를 통신하는 것이 가능하다.
서버(7)는, 학습부(701)를 구비하는 정보 처리 장치이다. 학습부(701)는, 도 3을 참조하여 설명한 학습부(731)와 마찬가지로, 화상 처리 장치(1)로부터 수신한 화상을 입력으로 하여, 기계학습을 행하여, 인식기를 생성한다. 또한, 서버(7)는, 기계학습에 의해 생성된(얻어진) 인식기를 화상 처리 장치(1)에 송신한다. 또한, 상술한 바와 같이, 본 실시 형태에서 서버(7)가 화상 처리 장치(1)로부터 수신하고, 기계학습의 입력으로 하는 화상은, 주목 영역에 관한 화상이다.
(화상 처리 장치의 구성)
이상, 본 실시 형태에 관한 화상 처리 시스템(1000)의 전체 구성에 관해 설명하였다. 계속해서, 화상 처리 장치(1)의 상세한 구성에 관해 설명한다. 화상 처리 장치(1)는, 도 4에 도시하는 바와 같이 화상 판독부(10), 제1의 신호 처리부(101), 제2의 신호 처리부(102), 및 인식기 기억부(103)를 구비한다.
화상 판독부(10)는, 화소 신호를 출력하는 복수의 화소를 가지며, 당해 화소 신호를 디지털 신호로 변환한 화상을 출력한다. 화상 판독부(10)의 기능은, 예를 들면 2층 구조의 이미지 센서에 의해 실현되어도 좋다.
도 5는, 화상 판독부(10)의 구성례를 도시하는 설명도이다. 도 5에 도시하는 바와 같이 예를 들면, 화상 판독부(10)는, (반도체) 기판인 화소 기판(11)과 회로 기판(12)을 포함한다. 또한, 본 실시 형태에서, 화소 기판(11)과 회로 기판(12)은 적층되어 있다.
도 5에 도시하는 바와 같이, 화소 기판(11)은, 광전변환을 행하고, 화소 신호를 출력하는 복수의 화소(22)가 2차원의 매트릭스형상으로 배열된 화소 어레이(21)를 갖는다. 또한, 화소 어레이(21)를 구성하는 복수의 화소(22)는, 복수의 화소로 이루어지는 화소 블록(23)으로 구분되어 있다. 도 5에 도시하는 예에서는, 화소 어레이(21)는, 8×8화소마다 하나의 화소 블록(23)으로 구분되어 있다. 또한, 본 실시 형태에서는 도 5에 도시하는 바와 같이 화소 블록(23)을 8×8화소의 합계 64화소로 구성하고 있지만, 화소 블록(23)을 구성하는 화소(22)의 수나 형상은 임의이고, 8×8화소로 한정되는 것이 아니다.
또한, 도 5에 도시하는 바와 같이, 회로 기판(12)은, 화소 기판(11)의 화소 블록(23)에 각각 대응하는 복수의 ADC(32)(AD 변환부)가 2차원의 매트릭스형상으로 배열된 ADC 어레이(31)와, 수평 영역 제어부(33)와, 수직 영역 제어부(34)와, 출력부(35)를 갖는다.
ADC 어레이(31)는, 화소 어레이(21)가 갖는 화소 블록(23)과 동일한 수의 ADC(32)를 갖는다. ADC(32)는, 대응하는 화소 블록(23)에 속하는 복수의 화소(22)로부터 출력되는 아날로그의 화소 신호를 디지털 신호로 변환하여(AD 변환하여), 디지털의 화소치를 얻는다. 도 5는 회로 기판(12)이 ADC(32)가 어레이 형태로 배열된 ADC 어레이(31)를 포함하는 예를 도시하지만, 본 기술은 이러한 예에 한정되는 것이 아니며, 화소 블록(23)과 ADC(32)가 일대일 대응 관계를 갖는 한, ADC(32)의 배열은 어레이 형태가 아닐 수 있다. 예를 들면, ADC(32)는 원주형(직사각형)일 수 있다.
수평 영역 제어부(33)는, 수평 제어 신호를 ADC(32)에 입력하고, 수직 영역 제어부(34)는, 수직 제어 신호를 ADC(32)에 입력한다. 예를 들면, 수평 제어 신호와 수직 제어 신호는 H(High)레벨, 및 L(Low)레벨의 어느 하나이고, 수평 제어 신호와 수직 제어 신호의 조합에 응하여, ADC(32)가 화소치를 출력한다. 상기한 바와 같이 하여 얻어진 화소치는 출력부(35)로부터 출력된다. 출력부(35)로부터의 출력은, 화상(화소치의 집합)으로서도 취급될 수 있다.
상술한 화상 판독부(10)는, ADC(32)에 대응하는 화소 블록(23)을 1단위로 하여, 병렬로 AD 변환을 행하는 것이 가능하고, 고속으로 화상이 출력될 수 있다.
또한, 화상 판독부(10)는, 저해상도 화상을 후술하는 제1의 신호 처리부(101)에 출력한다.
도 6은, 저해상도 화상에 관해 설명하기 위한 모식도이다. 도 6에 도시하는 바와 같이, ADC(32)가 화소 블록(23)마다, 하나의 화소(22a)에 관해서만 AD 변환을 행함으로써, 저해상도 화상(G11)이 얻어진다. 또한, 저해상도 화상(G11) 내의 해상도(화소 밀도)를 일정하게 하기 위해, 당해 화소(22a)는, 모든 화소 블록(23)에서의 같은 위치(도 6에 도시하는 예에서는 좌상(左上)의 위치)인 것이 바람직하다. 상술한 바와 같이 하여 얻어지는 저해상도 화상은, 화소 어레이(21)에 포함되는 화소의 수보다도 적은 화소수의 화상이기 때문에 화상의 출력이나, 후단의 처리에 관한 시간이 단축될 수 있다. 또한, 상술한 바와 같이 화상 판독부(10)가 갖는 ADC(32)는 화소 블록(23)과 대응시켜지고, 병렬로 AD 변환을 행하는 것이 가능하기 때문에, 예를 들면 순차적으로 수평으로 주사가 행하여지는 경우와 비교하여 보다 고속으로 저해상도 화상을 얻는 것이 가능하다.
또한, 화상 판독부(10)는, 후술하는 제1의 신호 처리부(101)의 요구에 응하여, 상술한 화소(22a)와는 다른 화소에 의거한 화소치를 다시 제1의 신호 처리부(101)에 출력하여도 좋다. 이러한 구성에 의해, 제1의 신호 처리부(101)는, 당해 화소 신호를 이용하여, 저해상도 화상을 보완하고 고해상도화한 중간해상도 화상을 생성하는 것이 가능해질 수 있다.
도 7a 내지 도 7c는, 중간해상도 화상에 관해 설명하기 위한 모식도이다. 도 7a에 도시하는 예에서는, 도 6을 참조하여 설명한 예와 마찬가지로, 하나의 화소 블록(23)마다, 하나의 화소(22a)에 의거한 화소치가 얻어져서, 저해상도 화상(G21)이 제1의 신호 처리부(101)에 출력된다.
도 7b에 도시하는 예에서는, 화상 판독부(10)는, 하나의 화소 블록(23)마다, 화소(22a)와는 다른 3의 화소(22b)에 관한 화소치를 제1의 신호 처리부(101)에 출력한다. 또한, 도 7b에 도시하는 바와 같이, 화소(22b)는, 예를 들면 당해 화소 블록(23)의 화소(22a)와 옆의 화소 블록(23)의 화소(22a)와의 중간의 화소인 것이 바람직하다. 제1의 신호 처리부(101)는, 수취한 화소(22b)에 관한 화소치를 이용하여, 저해상도 화상(G21)을 보완함으로써 고해상도화하여, 중간해상도 화상(G22)을 생성할 수 있다.
도 7c에 도시하는 예에서는, 화상 판독부(10)는, 하나의 화소 블록(23)마다, 화소(22a), 및 화소(22b)와는 다른 12의 화소(22c)에 관한 화소치를 제1의 신호 처리부(101)에 출력한다. 또한, 도 7c에 도시하는 바와 같이, 화소(22c)는, 예를 들면 당해 화소 블록(23)의 화소(22a) 또는 화소(22b)와 화소(22b)의 중간의 화소, 또는 당해 화소 블록(23)의 화소(22b)와 옆의 화소 블록(23)의 화소(22a)의 중간의 화소인 것이 바람직하다. 제1의 신호 처리부(101)는, 수취한 화소(22c)에 관한 화소치를 이용하여, 중간해상도 화상(G22)을 보완함으로써, 중간해상도 화상(G22)보다 고해상도의 중간해상도 화상(G23)을 생성할 수 있다.
상술한 바와 같이, 제1의 신호 처리부(101)가 화상 판독부(10)로부터 저해상도 화상을 수취하고, 또한 보완용의 화소치를 수취하여 중해상도 화상을 얻음으로써, 비교례에서 설명한 바와 같이 축소 처리에 의해 다른 사이즈의 축소 화상을 생성하는 경우와 비교하여, 처리량을 억제하는 것이 가능하다.
또한, 상술한 예에서는, 화상 판독부(10)가 보완용의 화소치를 출력하고, 제1의 신호 처리부(101)가 보완 처리에 의해 중간해상도 화상을 생성하는 예를 설명하였지만, 화상 판독부(10)는, 이미 출력이 끝난 화소치도 포함하여, 중간해상도 화상으로서 출력하여도 좋다. 이러한 구성에 의하면, 제1의 신호 처리부(101)에 의한 처리량이 삭감된다. 단, 제1의 신호 처리부(101)에 의한 보완 처리가 고속인 경우에는, 보완용의 화소치를 수취하여 중간해상도 화상을 생성함에 의해, 화소치의 출력의 중복을 피하는 것이 가능하기 때문에, 화상 판독부(10)로부터 중간해상도 화상을 수취하는 경우보다도 고속으로 중간해상도 화상을 얻는 것이 가능해진다.
또한, 도 7b, 도 7c에 도시한 것은 한 예이고, 중간해상도 화상의 생성을 위한 보완에 이용되는 화소(22b), 화소(22c)의 위치는 도 7b, 도 7c의 예로 한정되지 않는다.
또한, 화상 판독부(10)는, 후술하는 제1의 신호 처리부(101)에 의해 특정되는 주목 영역의 화상(이하, "주목 영역 화상"이라고도 호칭한다)을 후술하는 제2의 신호 처리부(102)에 출력한다. 또한, 주목 영역 화상은, 도시하지 않은 통신부를 통하여 서버(7)에도 송신된다.
예를 들면, 화상 판독부(10)는, 제1의 신호 처리부(101)로부터, 화상 판독부(10)에서의 주목 영역을 지정하는 영역 지정 신호를 수취하고, 당해 영역 지정 신호에 의거하여 지정된 화소 블록(23)에 포함되는 화소에 관한 AD 변환을 행하고 주목 영역 화상을 출력하여도 좋다. 또한, 화상 판독부(10)는, 제1의 신호 처리부(101)가, 복수의 주목 영역을 검출한 경우, 당해 복수의 주목 영역에 대응하는 복수의 주목 영역 화상을 출력할 수 있다.
도 8은, 복수의 주목 영역 화상을 얻기 위한 AD 변환의 예를 설명하기 위한 설명도이다. 도 8에 도시하는 바와 같이, ADC 어레이(31)에 포함되는 ADC(32)에는, 수평 제어선(37a 내지 37y)과, 수직 제어선(38a 내지 38x)이 접속되어 있다. 또한, 수평 제어선(37a 내지 37y)은, 도 5에 도시한 수평 영역 제어부(33)에 접속되고, 수평 영역 제어부(33)로부터 수평 제어선(37a 내지 37y)을 통하여 ADC(32)에 수평 제어 신호가 입력된다. 마찬가지로, 수직 제어선(38a 내지 38x)은, 도 5에 도시한 수직 영역 제어부(34)에 접속되고, 수직 영역 제어부(34)로부터 수직 제어선(38a 내지 38x)을 통하여 ADC(32)에 수직 제어 신호가 입력된다.
도 8에 도시하는 바와 같이, ADC(32)는 래치부(36)를 가지며, 수평 제어 신호, 및 수직 제어 신호에 의거하여, ADC(32)의 동작 정보(스탠바이 또는 액티브)가 "0" 또는 "1"로 래치부(36)에 기록된다. 그리고, 래치부(36)에 기록된 동작 정보가 액티브인 ADC(32)만이 동작하여 AD 변환을 행한다. 예를 들면, 래치부(36)는, 입력된 수평 제어 신호, 및 수직 제어 신호의 논리곱 연산에 의해, 수평 제어 신호, 및 수직 제어 신호의 양쪽이 H레벨인 경우에 "1", 그 이외의 경우에 "0"이 기록되어도 좋다. 또한, 래치부(36)는, 입력되는 수평 제어 신호, 및 수직 제어 신호의 논리합 연산에 의해, 수평 제어 신호, 및 수직 제어 신호의 어느 한쪽이 H레벨인 경우에 "1", 그 이외의 경우에 "0"이 기록되어도 좋다.
도 8에 도시하는 예에서는, 영역 지정 신호에 의거한 수평 제어 신호, 및 수직 제어 신호의 조합에 의해, 사각형 영역(39a)과, 사각형 영역(39b)이 액티브 상태가 되고, 사각형 영역(39a)과, 사각형 영역(39b)에 포함되는 ADC(32)가 동작하여 화소치를 출력한다. 그 결과, 사각형 영역(39a)과, 사각형 영역(39b)의 각각에 대응하는 화소 블록에 의거한 화상이 주목 영역 화상으로서 출력될 수 있다. 또한, 영역 지정 신호에 의거하여 지정된 ADC(32)(도 8의 예에서는 사각형 영역(39a), 사각형 영역(39b)), 또는 그것에 대응하는 화소 블록(23)인 것을, 화상 판독부(10)에서의 "주목 영역"이라고 부르는 경우가 있다.
또한, 도 8에 도시하는 바와 같이, 영역 지정 신호에 의해 지정되는 복수의 화상 판독부(10)에서의 주목 영역은, 크기가 달라도 좋고, 또한, 그 결과, 주목 영역 화상의 사이즈(화상 사이즈)도 다를 수 있다. 또한, 상술한 바와 같이 ADC(32)의 동작 정보가 제어됨으로써, 복수의 주목 영역에서, ADC(32)에 의한 AD 변환은 병렬로 행하여지고, 복수의 주목 영역 화상이 병렬로 출력될 수 있다.
또한, 상술한 바와 같이 하여 얻어지는 주목 영역 화상은, 도 7a 내지 도 7c에 도시한 저해상도 화상(G21), 및 중간해상도 화상(G22, G23)보다도 해상도(화소 밀도)가 높은 화상이다. 따라서 주목 영역 화상을 입력으로 하여 후술하는 제2의 신호 처리부(102)가 인식 처리를 행함으로써, 축소 화상을 입력으로 하여 인식 처리를 행하는 경우보다도, 고정밀한 인식 처리가 가능해진다.
또한, 주목 영역 화상의 화소수는, 통상, 화상 판독부(10)가 갖는 모든 화소의 수보다도 작다(즉, 주목 영역 화상은, 전 화소에 의거한 화상 중 일부의 화상이다). 따라서 주목 영역 화상을 입력으로 하여 기계학습, 및 인식 처리를 행함으로써, 처리량을 억제하는 것이 가능하다.
이상, 화상 판독부(10)의 구성례에 관해 설명하였다. 계속해서, 도 4로 되돌아와 설명을 계속한다.
도 4에 도시하는 제1의 신호 처리부(101)는, 화상 판독부(10)로부터 도 5를 참조하여 설명한 저해상도 화상을 수취하고, 화상 판독부(10)에서의 주목 영역의 특정(검출)을 행한다. 또한, 제1의 신호 처리부(101)는, 주목 영역을 지정하는 영역 지정 신호를 화상 판독부(10)에 출력한다. 예를 들면, 저해상도 화상에서의 주목 영역이 특정된 경우, 저해상도 화상에서의 주목 영역 내의 화소치에 대응하는 1 또는 복수의 ADC(32)가, 화상 판독부에서의 주목 영역으로서 특정될 수 있다.
신호 처리부(101)가 출력하는 영역 지정 신호는, 예를 들면 주목 영역에서의 좌상의 ADC(32)의 위치와 우하(右下)의 ADC(32)의 위치를 지정하는 신호라도 좋고, 좌상의 ADC(32)의 위치와, 주목 영역의 사이즈(종×횡)를 지정하는 신호라도 좋다. 또한, 영역 지정 신호는, 이러한 예로 한정되지 않고, 주목 영역을 지정하는 것이 가능한 신호라면 다양한 형식이라도 좋다.
저해상도 화상으로부터의 제1의 신호 처리부(101)에 의한 주목 영역의 특정은, 다양한 방법으로 행하여질 수 있다. 예를 들면, 제1의 신호 처리부(101)는, 미리 정하여진 형상 패턴과의 매칭을 행하는 패턴 매칭에 의해, 주목 영역을 특정하여도 좋다. 이러한 구성에 의하면, 미리 정하여진 형상 패턴을 포함하는 영역이 주목 영역으로서 특정될 수 있다.
또한, 제1의 신호 처리부(101)는, 화상으로부터 추출되는 특징량에 의거하여 물체와 물체의 경계(에지)를 검출함으로써 주목 영역을 특정하여도 좋다. 이러한 구성에 의하면, 피사체(전경(前景) 물체)가 나타난 영역이 주목 영역으로서 특정될 수 있다.
또한, 제1의 신호 처리부(101)에 의한 주목 영역의 특정 방법은 상기한 예로 한정되지 않는다. 예를 들면, 피사체의 형상, 또는 피사체의 색의 일치도(一致度, matching degree)를 이용하여 특정하는 방법이나, 복수매의 화상을 이용한 시계열적인 처리에 의해, 피사체의 움직임으로부터 특정하는 방법이 채용되어도 좋다. 또한, 제1의 신호 처리부(101)는, 기계학습에 의거한 피사체(물체) 검출에 의해, 주목 영역을 특정하여도 좋고, 예를 들면 피사체 검출에 의해 검출되는 소정의 종별의 피사체(예를 들면 사람, 얼굴, 차량 등)가 나타난 영역을, 주목 영역으로서 특정하여도 좋다.
주목 영역 화상은, 후술하는 제2의 신호 처리부(102)에 의한 인식 처리의 입력이 되기 때문에, 당해 인식 처리의 입력으로서 적절한 주목 영역 화상을 얻을 수 있는 주목 영역의 특정 방법이 당해 인식 처리에 응하여 적절히 선택되는 것이 바람직하다.
이러한 구성에 의해, 제2의 신호 처리부(102)는 화상 판독부(10)가 갖는 모든 화소에 의거한 화상이 아니라, 일부의 영역의 화상에 대해서만 인식 처리를 행하면 좋기 때문에, 인식 처리에 관한 처리량이 삭감된다.
또한, 제1의 신호 처리부(101)는, 저해상도 화상에 의거하여 주목 영역을 특정할 수가 없는 경우에, 화상 판독부(10)에, 저해상도 화상을 고해상도화하기 위해, 당해 저해상도 화상에 포함되지 않는 화소치를 요구하여도 좋다. 그리고, 제1의 신호 처리부(101)는, 화상 판독부(10)로부터, 당해 저해상도 화상에 포함되지 않는 화소치를 수취하여, 중간해상도 화상을 생성하고, 당해 중간해상도 화상에 의거하여, 주목 영역을 특정하여도 좋다. 여기서 생성되는 중간해상도 화상은, 도 7a 내지 도 7c를 참조하여 설명한 바와 같이, 저해상도 화상보다도 많은 화소수의 화상이다. 또한, 중간해상도 화상의 화소수는, 화상 판독부(10)가 갖는 모든 화소의 수보다도 적은 것이 바람직하다.
상기한 바와 같이, 중간해상도 화상에 의거하여 주목 영역을 특정함에 의해, 저해상도 화상에서는 주목 영역을 특정할 수 없는 경우라도, 주목 영역을 특정하는 것이 가능하다.
또한, 도 7c를 참조하여 설명한 바와 같이, 중간해상도 화상을 더욱 고화질화하는 것도 가능하다. 예를 들면, 제1의 중간해상도 화상에 의거하여 주목 영역이 특정될 수 없는 경우, 제1의 신호 처리부(101)는, 제1의 중간해상도 화상을 더욱 고해상도화하기 위해, 제1의 중간해상도 화상에 포함되지 않는 화소치를 화상 판독부(10)에 요구하여도 좋다. 그리고, 제1의 신호 처리부(101)는, 화상 판독부(10)로부터 수취한 제1의 중간해상도 화상에 포함되지 않는 화소치에 의거하여, 제1의 중간해상도 화상보다도 화소수가 많은 제2의 중간해상도 화상을 생성하고, 제2의 중간해상도 화상에 의거하여 주목 영역을 특정하여도 좋다.
이러한 구성에 의하면, 주목 영역이 특정될 때까지, 반복하여, 중간해상도 화상의 생성과 주목 영역의 특정이 행하여질 수 있다.
또한, 도 7a 내지 도 7c를 참조하여 설명한 바와 같이, 제1의 신호 처리부(101)는, 화상 판독부(10)로부터 직접적으로 중간해상도 화상을 수취하고, 당해 중간해상도 화상에 의거하여 주목 영역을 특정하여도 좋다.
또한, 제1의 신호 처리부(101)는, 저해상도 화상에 의거하여, 복수의 주목 영역을 특정하여도 좋다. 도 8을 참조하여 설명한 바와 같이, 복수의 주목 영역이 특정된 경우, 복수의 주목 영역에서, ADC(32)에 의한 AD 변환이 병렬로 행하여지고, 대응하는 복수의 주목 영역 화상이 병렬로 출력될 수 있다.
제2의 신호 처리부(102)는, 영역 지정 신호에 의거하여 화상 판독부(10)가 출력하는 주목 영역 화상에 대해 인식 처리를 행한다. 제2의 신호 처리부(102)의 인식 처리가, 화상 판독부(10)가 갖는 모든 화소에 의거한 화상이 아니라, 주목 영역 화상에 대해 행하여짐에 의해, 처리량이 억제된다. 또한, 주목 영역 화상은, 저해상도 화상보다도 해상도(화상 밀도)가 높고, 예를 들면, 모든 화소에 의거한 화상과 동등한 해상도를 갖기 때문에, 축소 화상을 이용하여 인식 처리를 행하는 경우보다도 고정밀도로 인식 처리를 행하는 것이 가능해진다.
제2의 신호 처리부(102)가 행하는 인식 처리는, 특히 한정되지 않지만, 예를 들면, 제1의 신호 처리부(101)에 의한 주목 영역의 특정에서 대상으로 하는 정보보다도 상세한 정보를 얻기 위한 인식 처리라도 좋다.
예를 들면, 제1의 신호 처리부(101)가 피사체의 종류를 특정하지 않고 피사체의 영역을 주목 영역으로서 특정하고 있는 경우, 제2의 신호 처리부(102)에 의한 인식 처리는, 피사체의 종별을 인식하는 처리라도 좋다. 피사체의 종별은, 예를 들면, 사람, 동물(개, 고양이 등), 화폐, 캐시카드 등의 카드, 차량, 차량의 번호판, 신호 등이라도 좋다.
또한, 제1의 신호 처리부(101)가 소정의 종별의 피사체를 검출하고, 검출된 피사체의 영역을 주목 영역으로서 특정하고 있는 경우, 제2의 신호 처리부(102)에 의한 인식 처리는, 당해 피사체보다 상세한 정보나, 속성 등을 인식하는 처리라도 좋다. 예를 들면, 제1의 신호 처리부(101)가 사람(인물)을 검출하고, 인물 영역을 주목 영역으로서 특정하고 있는 경우, 제2의 신호 처리부(102)에 의한 인식 처리는, 인물을 식별(예를 들면 이름이나 ID와의 대응시킴) 처리라도 좋다. 또한, 제1의 신호 처리부(101)가 사람의 얼굴을 검출하고, 얼굴 영역을 주목 영역으로서 특정하고 있는 경우, 제2의 신호 처리부(102)에 의한 인식 처리는, 성별, 연령, 표정, 감정 등의 속성을 인식하는 처리라도 좋다.
물론 제2의 신호 처리부(102)에 의한 인식 처리는 상기한 예로 한정되지 않고, 다양한 인식 처리가 행하여져도 좋다.
또한, 제2의 신호 처리부(102)는, 인식기 기억부(103)에 기억된 인식기를 이용하여, 인식 처리를 행하여도 좋다. 당해 인식기는, 상술한 바와 같이, 서버(7)가 행하는 주목 영역 화상에 의거한 기계학습에 의해 얻어진다. 또한, 서버(7)가 행하는 기계학습의 수법은 특히 한정되지 않지만, 예를 들면 CNN(Convolutional Neural Network)에 의거한 수법이라도 좋고, 이 경우, 기계학습에 의해 얻어지는 인식기는 뉴럴 네트워크(neural network)라도 좋다.
또한, 제2의 신호 처리부(102)가 인식 처리를 행하여 얻어진 인식 결과는, 예를 들면 화상 처리 장치(1)가 갖는 표시부(부도시)에 표시되어도 좋고, 도시하지 않은 다른 장치에 출력되어도 좋다.
인식기 기억부(103)는, 서버(7)로부터 도시하지 않은 통신부가 수신한 인식기를 기억한다. 인식기 기억부(103)는, 서버(7)로부터 인식기가 수신된 때에 이미 인식기를 기억하고 있던 경우, 새롭게 수신된 인식기에 의해 갱신(update)(덮어쓰기(overwrite))을 행하여도 좋다.
<3. 동작>
이상, 본 실시 형태의 구성례에 관해 설명하였다. 계속해서, 본 실시 형태에 관한 동작례에 관해, 도 9, 도 10을 참조하여 설명한다. 도 9는, 본 실시 형태에 관한 화상 처리 장치(1)에 의한 인식에 관한 동작을 도시하는 플로우차트이다.
우선, 도 9에 도시하는 바와 같이, 화상 판독부(10)가 저해상도 화상을 제1의 신호 처리부(101)에 출력한다(S102). 계속해서, 제1의 신호 처리부(101)가 주목 영역의 특정을 행한다(S104).
스텝 S104에서 주목 영역을 특정할 수 없는 경우(S106에서 NO), 도 7a∼도 7c를 참조하여 설명한 바와 같이 화상이 고해상도화(중간해상도 화상의 생성)되고(S108), 스텝 S104로 되돌아와 중간해상도 화상에 의거하여 주목 영역이 특정된다.
한편, 스텝 S104에서 주목 영역을 특정할 수 있는 경우(S106에서 YES), 제1의 신호 처리부(101)로부터 화상 판독부(10)에 출력되는 영역 지정 신호에 의거하여, 주목 영역 화상이 제2의 신호 처리부(102)에 출력된다(S112).
계속해서, 제2의 신호 처리부(102)가 주목 영역 화상에 대해 인식 처리를 행한다(S114).
이상, 화상 처리 장치(1)에 의한 인식에 관한 동작을 설명하였지만, 도 9에 도시한 동작은 한 예이고 본 실시 형태는 이러한 예로 한정되지 않는다. 또한, 도 9에 도시한 스텝 S102 내지 S114의 처리는 적절히(예를 들면 촬상이 행하여질 때마다) 반복해서 행하여져도 좋다.
계속해서, 도 10을 참조하여, 화상 처리 시스템(1000)에 의한 학습에 관한 동작에 관해 설명한다. 도 10은, 화상 처리 시스템(1000)에 의한 학습에 관한 동작을 도시하는 플로우차트이다.
우선, 도 10에 도시하는 바와 같이, 화상 처리 장치(1)로부터 서버(7)에, 주목 영역 화상이 송신된다(S202). 또한, 스텝 S202의 처리는, 예를 들면 도 9의 스텝 S112의 처리에 계속해서, 또는 동시에 행하여져도 좋다.
주목 영역 화상을 수신한 서버(7)의 학습부(701)는, 주목 영역 화상에 의거한 기계학습을 행한다(S204). 스텝 S204에 있어서, 필요에 응하여 주목 영역 화상에 나타난 피사체에 관한 라벨 데이터가 서버(7)의 유저에 의해 입력되어, 주목 영역 화상과 함께 학습되어도 좋다.
계속해서, 서버(7)로부터 화상 처리 장치(1)에, 스텝 S204의 기계학습에 의해 얻어진 인식기가 송신된다(S206). 인식기를 수신한 화상 처리 장치(1)는, 인식기 기억부(103)에 기억된 인식기를 새롭게 수신한 인식기로 갱신한다(S208).
이상, 화상 처리 시스템(1000)에 의한 학습에 관한 동작에 관해 설명하였지만, 도 10에 도시한 동작은 한 예이고 본 실시 형태는 이러한 예로 한정되지 않는다. 또한, 도 10에 도시한 스텝 S202의 주목 영역 화상의 송신 처리는 주목 영역 화상을 얻어질 때마다 행하여져도 좋고, 복수의 주목 영역 화상이 정기적으로 통합되어 송신되어도 좋다. 또한, 스텝 S204 처리도, 주목 영역 화상을 수신할 때마다 행하여져도 좋고, 정기적으로 행하여져도 좋다.
<4. 변형례>
이상, 본 개시의 한 실시 형태를 설명하였다. 이하에서는, 본 실시 형태의 몇가지의 변형례를 설명한다. 또한, 이하에 설명하는 각 변형례는, 단독으로 본 실시 형태에 적용되어도 좋고, 조합하여 본 실시 형태에 적용되어도 좋다. 또한, 각 변형례는, 본 실시 형태에서 설명한 구성에 대신하여 적용되어도 좋고, 본 실시 형태에서 설명한 구성에 대해 추가적으로 적용되어도 좋다.
(변형례 1)
상기 실시 형태에서는, 화상 처리 장치(1)가 서버(7)에 의한 기계학습에 의거하여, 인식기를 갱신하는 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들면, 화상 처리 장치(1)의 인식기 기억부(103)에는 학습에 의해 얻어진 인식기가 미리 기억되고, 당해 인식기는 갱신되지 않아도 좋다. 이러한 경우에는, 화상 처리 장치(1)는 통신 기능을 갖지 않아도 좋다.
(변형례 2)
또한, 도 4에 도시하는 예에서는, 화상 처리 시스템(1000)이 하나의 서버(7)와, 하나의 화상 처리 장치(1)를 포함하는 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들면, 화상 처리 시스템(1000)은 하나의 서버와, 복수의 화상 처리 장치를 포함하여도 좋다. 이러한 경우, 서버는, 복수의 화상 처리 장치로부터 주목 영역 화상을 수취하여 기계학습을 행할 수 있기 때문에, 보다 고정밀한 인식기를 생성할 수 있다.
(변형례 3)
또한, 상기 실시 형태에서는, 주목 영역 화상의 사이즈(화상 사이즈)는 제1의 신호 처리부(101)의 특정 처리에 응하여 다를 수 있는 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들면, 제2의 신호 처리부(102)가 수취하는 주목 영역 화상의 화상 사이즈는, 제2의 신호 처리부(102)가 행하는 인식 처리에 응한 화상 사이즈라도 좋다. 이러한 경우, 예를 들면, 화상 판독부(10)의 주목 영역에 포함되는 ADC(32)는, 당해 ADC(32)에 대응하는 화소 블록(23)에 포함되는 모든 화소에 관한 AD 변환을 행하지 않아도 좋고, 당해 화상 사이즈에 응한 화소에 관한 AD 변환만을 행하여도 좋다. 이러한 구성에 의해, 제2의 신호 처리부(102)가 행하는 인식 처리에의 입력 화상의 사이즈에 제한이 있는 경우에, 입력 화상의 사이즈 변경 처리(예를 들면 축소 처리)를 행할 필요가 없기 때문에, 처리량이 억제될 수 있다. 또한, 상기한 바와 같이, 화상 사이즈에 응한 화소에 관한 AD 변환만이 행하여지기 위해서는, 예를 들면 제1의 신호 처리부(101)로부터 출력되는 영역 지정 신호에, 당해 화상 사이즈나, 당해 화상 사이즈에 응한 화소에 관한 정보가 포함되어도 좋다.
<5. 하드웨어 구성>
(이미지 센서의 구성례)
상술한 화상 처리 장치의 기능 중 적어도 일부는, 이미지 센서에 의해 실현하는 것도 가능하다. 도 11, 도 12는, 이미지 센서의 구성례를 설명하기 위한 설명도이다.
도 11에 도시하는 바와 같이, 이미지 센서(8)는, 적층되는 화소 기판(81)과 회로 기판(82)을 포함한다. 화소 기판(81)은, 예를 들면 도 5를 참조하여 설명한 화소 기판(11)과 같은 구성이라도 좋다. 또한, 회로 기판(82)은, 도 5를 참조하여 설명한 회로 기판(12)의 구성에 더하여 디지털 신호 처리 회로를 포함하고, 도 4를 참조하여 설명한 제1의 신호 처리부(101), 및 제2의 신호 처리부(102)로서 기능하여도 좋다. 즉, 이미지 센서(8)는, 도 4에 도시하는 화상 판독부(10), 제1의 신호 처리부(101), 및 제2의 신호 처리부로서 기능할 수 있다. 동일한 반도체 기판(이미지 센서(8))에 화상 판독부(10), 제1의 신호 처리부(101), 및 제2의 신호 처리부의 기능이 포함됨으로써, 예를 들면 각 부분 사이의 신호나 데이터의 입출력에 관한 지연이 저감되고, 예를 들면 상술한 처리가 보다 고속으로 행하여질 수 있다.
또한, 도 12에 도시하는 바와 같이, DSP(Digital Signal Processor)(105)에 의해 상술한 화상 처리 장치의 일부의 기능이 실현되어도 좋다. 이러한 경우, 화소 기판(81)은, 예를 들면 도 5를 참조하여 설명한 화소 기판(11)과 같은 구성이라도 좋고, 회로 기판(82)은, 도 5를 참조하여 설명한 회로 기판(12)의 구성에 더하여 디지털 신호 처리 회로를 포함하고, 도 4를 참조하여 설명한 제1의 신호 처리부(101)로서 기능하여도 좋다. 이러한 경우, DSP(105)가 도 4를 참조하여 설명한 제2의 신호 처리부(102)로서 기능하여도 좋다.
또한, 회로 기판(82)은, 도 5를 참조하여 설명한 회로 기판(12)과 같은 구성이라도 좋다. 이러한 경우, DSP(105)가 도 4를 참조하여 설명한 제1의 신호 처리부(101), 및 제2의 신호 처리부(102)로서 기능하여도 좋다.
화상 처리 장치(1)는, 상술한 이미지 센서(8), 및 DSP(105)를 구비함으로써, 도 4에 도시한 각 기능을 실현하여도 좋다. 또한, 화상 처리 장치(1)는, DSP(105)에 대신하여, 또는 이것과 함께, FPGA(Field-Programmable Gate Array) 또는 AP(Application Processor)의 처리 회로를 구비하여도 좋다.
(정보 처리 장치의 구성례)
또한, 상술한 일련의 정보 처리는, 범용의 퍼스널 컴퓨터 등의 정보 처리 장치에 의해 행하여져도 좋다. 도 13은, 본 실시 형태에 관한 정보 처리 장치의 하드웨어 구성의 한 예를 도시하는 블록도이다. 또한, 도 13에 도시하는 정보 처리 장치(900)는, 예를 들면, 도 4에 도시한 화상 처리 장치(1), 및 서버(7)를 실현할 수 있다. 본 실시 형태에 관한 화상 처리 장치(1), 및 서버(7)에 의한 정보 처리는, 소프트웨어와, 이하에 설명한 하드웨어와의 협동에 의해 실현된다.
도 13에 도시하는 바와 같이, 정보 처리 장치(900)는, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903) 및 호스트 버스(904a)를 구비한다. 또한, 정보 처리 장치(900)는, 브리지(904), 외부 버스(904b), 인터페이스(905), 입력 장치(906), 출력 장치(907), 스토리지 장치(908), 드라이브(909), 접속 포트(911), 통신 장치(913), 및 센서(915)를 구비한다. 정보 처리 장치(900)는, CPU(901)에 대신하여, 또는 이것과 함께, DSP 또는 ASIC 등의 처리 회로를 가져도 좋다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하여, 각종 프로그램에 따라 정보 처리 장치(900) 안`의 동작 전반을 제어한다. 또한, CPU(901)는, 마이크로 프로세서라도 좋다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에서 사용하는 프로그램이나, 그 실행에서 적절히 변화하는 파라미터 등을 일시 기억한다. CPU(901)는, 예를 들면, 제1의 신호 처리부(101), 제2의 신호 처리부(102), 또는 학습부(701)를 형성할 수 있다.
CPU(901), ROM(902) 및 RAM(903)은, CPU 버스 등을 포함하는 호스트 버스(904a)에 의해 상호 접속되어 있다. 호스트 버스(904a)는, 브리지(904)를 통하여, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한, 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없고, 하나의 버스에 이들의 기능을 실장하여도 좋다.
입력 장치(906)는, 예를 들면, 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등, 유저에 의해 정보가 입력된 장치에 의해 실현된다. 또한, 입력 장치(906)는, 예를 들면, 적외선이나 그 밖의 전파를 이용한 리모트 컨트롤 장치라도 좋고, 정보 처리 장치(900)의 조작에 대응한 휴대 전화나 PDA 등 외부 접속 기기라도 좋다. 또한, 입력 장치(906)는, 예를 들면, 상기한 입력 수단을 이용하여 유저에 의해 입력된 정보에 의거하여 입력 신호를 생성하고, CPU(901)에 출력하는 입력 제어 회로 등을 포함하고 있어도 좋다. 정보 처리 장치(900)의 유저는, 이 입력 장치(906)를 조작함에 의해, 정보 처리 장치(900)에 대해 각종의 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다.
출력 장치(907)는, 취득한 정보를 유저에 대해 시각적 또는 청각적으로 통지하는 것이 가능한 장치로 형성된다. 이와 같은 장치로서, CRT 디스플레이 장치, 액정 디스플레이 장치, 플라즈마 디스플레이 장치, EL 디스플레이 장치 및 램프 등의 표시 장치나, 스피커 및 헤드폰 등의 음성 출력 장치나, 프린터 장치 등이 있다. 출력 장치(907)는, 예를 들면, 정보 처리 장치(900)가 행한 각종 처리에 의해 얻어진 결과를 출력한다. 구체적으로는, 표시 장치는, 정보 처리 장치(900)가 행한 각종 처리에 의해 얻어진 결과를, 텍스트, 이미지, 표, 그래프 등, 다양한 형식으로 시각적으로 표시한다. 다른 한편, 음성 출력 장치는, 재생된 음성 데이터나 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
스토리지 장치(908)는, 정보 처리 장치(900)의 기억부의 한 예로서 형성된 데이터 격납용의 장치이다. 스토리지 장치(908)는, 예를 들면, HDD 등의 자기 기억부 디바이스, 반도체 기억 디바이스, 광기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현된다. 스토리지 장치(908)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함하여도 좋다. 이 스토리지 장치(908)는, CPU(901)가 실행하는 프로그램이나 각종 데이터 및 외부로부터 취득한 각종의 데이터 등을 격납한다. 상기 스토리지 장치(908)는, 예를 들면, 인식기 기억부(103)를 형성할 수 있다.
드라이브(909)는, 기억 매체용 리더 라이터이고, 정보 처리 장치(900)에 내장, 또는 외부 부착된다. 드라이브(909)는, 장착되어 있는 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기억 매체에 기록되어 있는 정보를 판독하여, RAM(903)에 출력한다. 또한, 드라이브(909)는, 리무버블 기억 매체에 정보를 기록할 수도 있다.
접속 포트(911)은, 외부 기기와 접속되는 인터페이스로서, 예를 들면 USB(Universal Serial Bus) 등에 의해 데이터 전송 가능한 외부 기기와의 커넥터이다.
통신 장치(913)는, 예를 들면, 네트워크(920)에 접속하기 위한 통신 디바이스 등으로 형성된 통신 인터페이스이다. 통신 장치(913)는, 예를 들면, 유선 또는 무선 LAN(Local Area Network), LTE(Long Term Evolution), Bluetooth(등록상표) 또는 WUSB(Wireless USB)용의 통신 카드 등이다. 또한, 통신 장치(913)는, 광통신용의 루터, ADSL(Asymmetric Digital Subscriber Line)용의 루터 또는 각종 통신용의 모뎀 등이라도 좋다. 이 통신 장치(913)는, 예를 들면, 인터넷이나 다른 통신 기기와의 사이에서, 예를 들면 TCP/IP 등의 소정의 프로토콜에 따르고 신호 등을 송수신할 수 있다.
센서(915)는, 예를 들면, 이미지 센서, 가속도 센서, 자이로 센서, 지자기 센서(geomagnetic sensor), 광센서, 소리 센서, 거리측정 센서, 힘 센서(force sensoe) 등의 각종의 센서이다. 센서(915)는, 정보 처리 장치(900)의 자세, 이동 속도 등, 정보 처리 장치(900) 자신의 상태에 관한 정보나, 정보 처리 장치(900)의 주변의 밝기나 소음 등, 정보 처리 장치(900)의 주변 환경에 관한 정보를 취득한다. 또한, 센서(915)는, GPS 신호를 수신하여 장치의 위도, 경도 및 고도를 측정하는 GPS 센서를 포함하여도 좋다. 센서(915)는, 예를 들면, 화상 판독부(10)를 형성할 수 있다.
또한, 네트워크(920)는, 네트워크(920)에 접속되어 있는 장치로부터 송신되는 정보의 유선, 또는 무선의 전송로이다. 예를 들면, 네트워크(920)는, 인터넷, 전화 회선망, 위성 통신망 등의 공중 회선망이나, Ethernet(등록상표)을 포함하는 각종의 LAN(Local Area Network), WAN(Wide Area Network) 등을 포함하여도 좋다. 또한, 네트워크(920)는, IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함하여도 좋다.
이상, 본 실시 형태에 관한 정보 처리 장치(900)의 기능을 실현 가능한 하드웨어 구성의 한 예를 나타내었다. 상기한 각 구성 요소는, 범용적인 부재를 이용하여 실현되어 있어도 좋고, 각 구성 요소의 기능에 특화한 하드웨어에 의해 실현되어 있어도 좋다. 따라서, 본 실시 형태를 실시하는 그때그때의 기술 레벨에 응하여, 적절히, 이용하는 하드웨어 구성을 변경하는 것이 가능하다.
또한, 상술한 바와 같은 본 실시 형태에 관한 정보 처리 장치(900)의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하고, PC 등에 실장하는 것이 가능하다. 또한, 이와 같은 컴퓨터 프로그램이 격납된, 컴퓨터로 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들면, 자기 디스크, 광디스크, 광자기 디스크, 플래시 메모리 등이다. 또한, 상기한 컴퓨터 프로그램은, 기록 매체를 이용하지 않고, 예를 들면 네트워크를 통용하여 배신되어도 좋다.
<6. 응용례>
본 개시에 관한 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 자동차, 전기자동차, 하이브리드 전기자동차, 모터사이클, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 한 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.
도 14는, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 한 예인 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 14에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동선 제어 유닛(12010), 바디계 제어 유닛(body system control unit)(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차량탑재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동선 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동선 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 조향각(steering angle)을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
바디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 바디계 제어 유닛(12020)은, 키레스 엔트리 시스템(keyless entry system), 스마트 키 시스템(smart key system), 파워 윈도우 장치(power window device), 또는, 헤드 램프, 백 램프, 브레이크 램프, 블링커(blinker) 또는 포그램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하고, 차량의 도어락 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 의거하여, 사람, 차, 장애물, 표지(標識) 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 좋다.
촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 응한 전기 신호를 출력하는 광센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 거리측정의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이라도 좋고, 적외선 등의 비(非)가시광이라도 좋다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 의거하여, 운전자의 피로 정도 또는 집중 정도를 산출하여도 좋고, 운전자가 졸고 있지 않은지를 판별하여도 좋다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차내외의 정보에 의거하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동선 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량의 주위의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해, 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 의거하여, 바디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 응하고 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 방현(防眩, antiglare)을 도모하는 것을 목적으로 한 협조 제어를 행할 수가 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 14의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(instrument panel)(12063)이 예시되어 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다.
도 15는, 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.
도 15에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈(front nose), 사이드 미러, 리어 범퍼, 백 도어 및 차실(vehicle compartment) 내의 윈드실드(windshield)의 상부 등의 위치에 마련된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실 내의 윈드실드의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실 내의 윈드실드의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 15에는, 촬상부(12101 내지 12104)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 겹쳐짐에 의해, 차량(12100)을 상방에서 본 부감(俯瞰) 화상(overhead image)을 얻을 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 좋다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라라도 좋고, 위상차 검출용의 화소를 갖는 촬상 소자라도 좋다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함에 의해, 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물로서, 차량(12100)과 개략 같은 방향으로 소정의 속도(예를 들면, 0㎞/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 사이에 미리 확보하여야 할 차간(車間) 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어(follw-up stop control)도 포함한다)나 자동 가속 제어(추종 발진 제어(follow-up oscillation control)도 포함한다) 등을 행할 수가 있다. 이와 같이 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 그 밖의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인(視認) 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통하여 드라이버에게 경보를 출력하는 것이나, 구동선 제어 유닛(12010)을 통하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수가 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라라도 좋다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지의 여부를 판별하는 순서에 의해 행하여진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선(rectangular contour line)을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어하여도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(12031), 마이크로 컴퓨터(12051)에 적용될 수 있다. 예를 들면, 도 4에 도시한 화상 처리 장치(1)는 촬상부(12031), 또는 마이크로 컴퓨터(12051)에 적용하는 것이 가능하다. 촬상부(12031)에 본 개시에 관한 기술을 적용함에 의해, 예를 들면 촬상 화상으로부터 보다 고속, 또한 고정밀도로 보행자나 표지, 번호판 등의 인식 처리를 행하는 것이 가능해진다.
<7. 결론>
이상 설명한 바와 같이, 본 개시의 실시 형태에 의하면, 인식 처리에 앞서서 주목 영역의 특정이 행하여짐에 의해, 인식 처리에 관한 처리량을 억제함과 함께, 인식 정밀도를 향상시키는 것이 가능하다. 또한, 화소 블록마다 병렬로 화소치를 출력 가능한 화상 판독부와 연휴한 처리를 행함으로써, 저해상도의 화상을 고속으로 취득하고, 또한 단계적인 해상도 조정이 가능함으로써, 주목 영역의 특정에 관한 처리량을 억제하고, 보다 고속으로 주목 영역의 특정을 행하는 것이 가능하다.
또한, 인식의 대상이 되는 피사체의 영역을 특정한 주목 영역 화상이 기계학습에 사용됨으로써, 기계학습에 의해 얻어지는 인식기의 정밀도도 향상할 수 있다. 예를 들면, 화상 판독부의 모든 화소에 의거한 전체의 화상을 학습하여 얻어지는 인식기보다도, 이미 피사체의 영역이 특정된 주목 영역 화상을 학습하여 얻어지는 인식기의 쪽이 고정밀도일 수 있다. 또한, 마찬가지로, 주목 영역 화상이 기계학습에 사용됨으로써, 얻어지는 인식기의 소형화(간이화)에도 이어져서, 더한층의 처리량의 억제가 가능해진다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기 실시 형태에서는, 화상 판독부는 일부의 화소에 관한 AD 변환을 행함으로써 저해상도 화상을 출력한 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들면, 모든 화소에 관한 AD 변환을 행한 후에, 평균화 처리 등의 신호 처리를 행하여 저해상도 화상을 생성하고, 제1의 신호 처리부에 출력하여도 좋다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 이룰 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
제1의 해상도를 갖는 제1의 화상을 생성하는 단계와,
처리 회로에 의해, 상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하는 단계와,
상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하는 단계와,
상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하는 단계와,
상기 처리 회로에 의해, 상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하는 단계와,
상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하는 단계를 구비하는 화상 처리 방법.
(2)
상기 제1의 화소는, 각각 적어도 2개의 화소를 포함하는 복수의 화소 블록을 구비하고,
상기 제2의 화상을 생성하는 단계는, 상기 제1의 화소에서의 각각의 상기 화소 블록으로부터, 상기 제2의 화상에 포함되도록 상기 적어도 2개의 화소 중 하나를 선택하는 단계를 구비하는 상기 (1)에 기재된 화상 처리 방법.
(3)
각각의 상기 화소 블록으로부터, 상기 제2의 화상에 포함되도록 상기 적어도 2개의 화소 중 하나를 선택하는 단계는, 각각의 화소 블록 내의 동일 위치에서 각각의 화소 블록에서의 하나의 화소를 선택하는 단계를 구비하는 상기 (2)에 기재된 화상 처리 방법.
(4)
각각의 상기 화소 블록은 적어도 4개의 화소를 포함하고,
상기 제2의 화상을 생성하는 단계는, 각각의 상기 화소 블록으로부터, 상기 제2의 화상에 포함되도록 상기 적어도 4개의 화소 중 2개를 선택하는 단계를 구비하는 상기 (2)에 기재된 화상 처리 방법.
(5)
상기 제2의 화상에서 특정된 주목 영역에 대응하는 제3의 화상을 생성하는 단계를 더 구비하고,
상기 제3의 화상은 상기 제2의 해상도보다 높은 제3의 해상도를 갖는 상기 (1) 내지 (5)의 어느 한 항에 기재된 화상 처리 방법.
(6)
상기 제3의 화상을 생성하는 단계는, 상기 제2의 화상에서 특정된 주목 영역에 대응하는 하나 이상의 아날로그-디지털 변환부(ADC)를 작동시키는 단계를 구비하는 상기 (5)에 기재된 화상 처리 방법.
(7)
상기 처리 회로에 의해, 상기 제3의 화상에서 아이템을 인식하는 단계를 더 구비하는 상기 (5)에 기재된 화상 처리 방법.
(8)
인식된 아이템은 텍스트를 구비하는 상기 (7)에 기재된 화상 처리 방법.
(9)
상기 제3의 화상에서 아이템을 인식하는 단계는, 기계학습 분류기를 이용하여 상기 제3의 화상의 적어도 일부를 처리하는 단계를 구비하는 상기 (7) 또는 (8)에 기재된 화상 처리 방법.
(10)
상기 제3의 화상에서 아이템을 인식하는 단계는, 상기 목표물의 속성을 인식하는 단계를 더 구비하는 상기 (9)에 기재된 화상 처리 방법.
(11)
처리 회로를 구비하고,
상기 처리 회로는,
제1의 해상도를 갖는 제1의 화상을 생성하고,
상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하고,
상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하고,
상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하고,
상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하고,
상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하도록 구성되는 화상 처리 시스템.
(12)
상기 처리 회로는, 상기 제2의 화상에서 특정된 주목 영역에 대응하는 제3의 화상을 생성하도록 더 구성되고,
상기 제3의 화상은 상기 제2의 해상도보다 높은 제3의 해상도를 갖는 상기 (11)에 기재된 화상 처리 시스템.
(13)
각각이 복수의 화소로부터의 데이터를 처리하도록 구성된 복수의 아날로그-디지털 변환부(ADC) 더 구비하고,
상기 제3의 화상을 생성하는 것은, 상기 제2의 화상에서 특정된 주목 영역에 대응하는 상기 복수의 아날로그-디지털 변환부(ADC) 중 하나 이상을 작동시키는 것을 구비하는 상기 (12)에 기재된 화상 처리 시스템.
(14)
상기 처리 회로는, 상기 제3의 화상에서 아이템을 인식하도록 구성되는 상기 (12) 또는 (13)에 기재된 화상 처리 시스템.
(15)
상기 제3의 화상에서 아이템을 인식하는 것은, 기계학습 분류기를 이용하여 상기 제3의 화상의 적어도 일부를 처리하는 것을 구비하는 상기 (14)에 기재된 화상 처리 시스템.
(16)
상기 제3의 화상에서 아이템을 인식하는 것은, 상기 목표물의 속성을 인식하는 것을 구비하는 상기 (15)에 기재된 화상 처리 시스템.
(17)
제1의 해상도를 갖는 제1의 화상을 생성하는 단계와,
상기 제1의 화상에서 목표물을 식별하기 위해 상기 제1의 화상을 검색하는 단계와,
상기 목표물의 식별에 근거하여, 상기 제1의 화상에서 주목 영역을 특정하는 단계와,
상기 주목 영역에 대응하는 제2의 화상을 생성하도록, 상기 제1의 화상에서 특정된 상기 주목 영역에 대응하는 하나의 이상의 아날로그-디지털 변환기(ADC)를 작동시키는 단계를 구비하고,
상기 제2의 화상은 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 화상 처리 방법.
(18)
처리 회로에 의하여, 상기 제2의 화상에서 아이템을 인식하는 단계를 더 구비하는 상기 (17)에 기재된 화상 처리 방법.
(19)
상기 제2의 화상에서 아이템을 인식하는 단계는, 기계학습 분류기를 이용하여 상기 제2의 화상의 적어도 일부를 처리하는 단계를 구비하는 상기 (18)에 기재된 화상 처리 방법.
(20)
상기 제2의 화상에서 아이템을 인식하는 단계는, 상기 목표물의 속성을 인식하는 단계를 구비하는 상기 (19)에 기재된 화상 처리 방법.
(21)
화소 신호를 출력하는 복수의 화소를 가지며, 상기 화소 신호에 의거하여 얻어지는 화상을 출력하는 화상 판독부로부터, 상기 화소의 수보다도 적은 화소수의 저해상도 화상을 수취하고, 상기 저해상도 화상에 의거하여, 상기 화상 판독부에서의 주목 영역을 특정하고, 상기 주목 영역을 지정하는 영역 지정 신호를 상기 화상 판독부에 출력하는, 제1의 신호 처리부를 구비하는, 화상 처리 장치.
(22)
상기 제1의 신호 처리부는, 상기 저해상도 화상에 의거하여 상기 주목 영역을 특정할 수 없는 경우에, 상기 화상 판독부로부터, 상기 저해상도 화상에 포함되지 않는 화소치를 수취하여 상기 저해상도 화상보다도 화소수가 많은 중간해상도 화상을 생성하고, 상기 중간해상도 화상에 의거하여, 상기 주목 영역을 특정하는, 상기 (1)에 기재된 화상 처리 장치.
(23)
상기 제1의 신호 처리부는, 제1의 중간해상도 화상에 의거하여 상기 주목 영역을 특정할 수 없는 경우에, 상기 화상 판독부로부터, 상기 제1의 중간해상도 화상에 포함되지 않는 화소치를 수취하여 상기 제1의 중간해상도 화상보다도 화소수가 많은 제2의 중간해상도 화상을 생성하고, 상기 제2의 중간해상도 화상에 의거하여, 상기 주목 영역을 특정하는, 상기 (22)에 기재된 화상 처리 장치.
(24)
상기 제1의 신호 처리부는, 상기 저해상도 화상에 의거하여 상기 주목 영역을 특정할 수 없는 경우에, 상기 화상 판독부로부터, 상기 저해상도 화상보다도 많은 화소수의 중간해상도 화상을 수취하고, 상기 중간해상도 화상에 의거하여, 상기 주목 영역을 특정하는, 상기 (21)에 기재된 화상 처리 장치.
(25)
상기 제1의 신호 처리부는, 상기 저해상도 화상에 의거하여 복수의 상기 주목 영역을 특정하는, 상기 (21) 내지 (24)의 어느 한 항에 기재된 화상 처리 장치.
(26)
상기 화상 처리 장치는, 상기 화상 판독부를 또한 구비하고,
상기 화상 판독부는, 복수의 화소로 이루어지는 화소 블록과 대응시켜지고, 상기 화소 블록의 수와 동일한 수의 AD 변환부를 또한 가지며,
상기 AD 변환부는, 상기 영역 지정 신호에 의거하여, 상기 화소 신호의 AD 변환을 행하는, 상기 (21) 내지 (25)의 어느 한 항에 기재된 화상 처리 장치.
(27)
상기 저해상도 화상은, 상기 AD 변환부가, 상기 AD 변환부와 대응시켜진 상기 화소 블록에 포함되는 화소의 수보다도 적은 화소로부터 출력되는 상기 화소 신호의 상기 AD 변환을 행함에 의해 얻어지는, 상기 (26)에 기재된 화상 처리 장치.
(28)
상기 화상 처리 장치는, 상기 영역 지정 신호에 의거하여 상기 화상 판독부가 출력하는 주목 영역 화상에 대해 인식 처리를 행하는 제2의 신호 처리부를 또한 구비하는, 상기 (21) 내지 (27)의 어느 한 항에 기재된 화상 처리 장치.
(29)
상기 제2의 신호 처리부는, 상기 제2의 신호 처리부가 행하는 상기 인식 처리에 응한 사이즈의 상기 주목 영역 화상을 상기 화상 판독부로부터 수취하는, 상기 (28)에 기재된 화상 처리 장치.
(30)
상기 제2의 신호 처리부는, 상기 주목 영역 화상에 의거한 기계학습에 의해 얻어지는 인식기를 이용하여, 상기 인식 처리를 행하는, 상기 (28) 또는 (29)에 기재된 화상 처리 장치.
(31)
상기 화상 처리 장치는, 상기 제1의 신호 처리부로서 기능하는 이미지 센서를 구비하는, 상기 (21) 내지 (30)의 어느 한 항에 기재된 화상 처리 장치.
(32)
상기 화상 처리 장치는, 상기 제1의 신호 처리부, 및 상기 제2의 신호 처리부로서 기능하는 이미지 센서를 구비하는, 상기 (28) 내지 (30)의 어느 한 항에 기재된 화상 처리 장치.
(33)
프로세서가, 화상 판독부가 갖는 화소수보다도 적은 화소수의 저해상도 화상을 상기 화상 판독부로부터 수취하고, 상기 저해상도 화상에 의거하여 상기 화상 판독부에서의 주목 영역을 특정하고, 상기 주목 영역을 지정하는 영역 지정 신호를 상기 화상 판독부에 출력하는 것을 포함하는, 화상 처리 방법.
(34)
화소 신호를 출력하는 복수의 화소를 가지며, 상기 화소 신호에 의거하여 얻어지는 화상을 출력하는 화상 판독부와,
상기 화상 판독부가 갖는 화소수보다도 적은 화소수의 저해상도 화상을, 상기 화상 판독부로부터 수취하고, 상기 저해상도 화상에 의거하여, 상기 화상 판독부에서의 주목 영역을 특정하고, 상기 주목 영역을 지정하는 영역 지정 신호를 상기 화상 판독부에 출력하는, 제1의 신호 처리부와,
상기 영역 지정 신호에 의거하여 상기 화상 판독부가 출력하는 주목 영역 화상에 대해 인식 처리를 행하는 제2의 신호 처리부를
구비하는, 화상 처리 장치, 및
상기 화상 처리 장치로부터 수취한 상기 주목 영역 화상에 의거한 기계학습에 의해, 상기 인식 처리에 사용되는 인식기를 생성하는 학습부를 구비하는, 서버를 포함하는 화상 처리 시스템.
1 : 화상 처리 장치
5 : 통신망
7 : 서버
8 : 이미지 센서
10 : 화상 판독부
11 : 화소 기판
12 : 회로 기판
21 : 화소 어레이
22 : 화소
23 : 화소 블록
31 : ADC 어레이
32 : ADC
33 : 수평 영역 제어부
34 : 수직 영역 제어부
35 : 출력부
36 : 래치부
101 : 제1의 신호 처리부
102 : 제2의 신호 처리부
103 : 인식기 기억부
105 : DSP
701 : 학습부

Claims (20)

  1. 제1의 해상도를 갖는 제1의 화상을 생성하는 단계와,
    처리 회로에 의해, 상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하는 단계와,
    상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하는 단계와,
    상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하는 단계와,
    상기 처리 회로에 의해, 상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하는 단계와,
    상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  2. 제1항에 있어서,
    상기 제1의 화소는, 각각 적어도 2개의 화소를 포함하는 복수의 화소 블록을 구비하고,
    상기 제2의 화상을 생성하는 단계는, 상기 제1의 화소에서의 각각의 상기 화소 블록으로부터, 상기 제2의 화상에 포함되도록 상기 적어도 2개의 화소 중 하나를 선택하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  3. 제2항에 있어서,
    각각의 상기 화소 블록으로부터, 상기 제2의 화상에 포함되도록 상기 적어도 2개의 화소 중 하나를 선택하는 단계는, 각각의 화소 블록 내의 동일 위치에서 각각의 화소 블록에서의 하나의 화소를 선택하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  4. 제2항에 있어서,
    각각의 상기 화소 블록은 적어도 4개의 화소를 포함하고,
    상기 제2의 화상을 생성하는 단계는, 각각의 상기 화소 블록으로부터, 상기 제2의 화상에 포함되도록 상기 적어도 4개의 화소 중 2개를 선택하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  5. 제1항에 있어서,
    상기 제2의 화상에서 특정된 주목 영역에 대응하는 제3의 화상을 생성하는 단계를 더 구비하고,
    상기 제3의 화상은 상기 제2의 해상도보다 높은 제3의 해상도를 갖는 것을 특징으로 하는 화상 처리 방법.
  6. 제5항에 있어서,
    상기 제3의 화상을 생성하는 단계는, 상기 제2의 화상에서 특정된 주목 영역에 대응하는 하나 이상의 아날로그-디지털 변환부(ADC)를 작동시키는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  7. 제5항에 있어서,
    상기 처리 회로에 의해, 상기 제3의 화상에서 아이템을 인식하는 단계를 더 구비하는 것을 특징으로 하는 화상 처리 방법.
  8. 제7항에 있어서,
    인식된 아이템은 텍스트를 구비하는 것을 특징으로 하는 화상 처리 방법.
  9. 제7항에 있어서,
    상기 제3의 화상에서 아이템을 인식하는 단계는, 기계학습 분류기를 이용하여 상기 제3의 화상의 적어도 일부를 처리하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  10. 제9항에 있어서,
    상기 제3의 화상에서 아이템을 인식하는 단계는, 상기 목표물의 속성을 인식하는 단계를 더 구비하는 것을 특징으로 하는 화상 처리 방법.
  11. 처리 회로를 구비하고,
    상기 처리 회로는,
    제1의 해상도를 갖는 제1의 화상을 생성하고,
    상기 제1의 화상에서 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제1의 화상을 검색하고,
    상기 제1의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제1의 화상에서 주목 영역을 특정하고,
    상기 제1의 화상에서 상기 목표물이 식별될 수 없다고 판정되었을 때, 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 제2의 화상을 생성하고,
    상기 제2의 화상에서 상기 목표물이 식별될 수 있는지 여부를 판정하기 위해 상기 제2의 화상을 검색하고,
    상기 제2의 화상에서 상기 목표물이 식별될 수 있다고 판정되었을 때, 상기 제2의 화상에서 주목 영역을 특정하도록 구성되는 것을 특징으로 하는 화상 처리 시스템.
  12. 제11항에 있어서,
    상기 처리 회로는, 상기 제2의 화상에서 특정된 주목 영역에 대응하는 제3의 화상을 생성하도록 더 구성되고,
    상기 제3의 화상은 상기 제2의 해상도보다 높은 제3의 해상도를 갖는 것을 특징으로 하는 화상 처리 시스템.
  13. 제12항에 있어서,
    각각이 복수의 화소로부터의 데이터를 처리하도록 구성된 복수의 아날로그-디지털 변환부(ADC) 더 구비하고,
    상기 제3의 화상을 생성하는 것은, 상기 제2의 화상에서 특정된 주목 영역에 대응하는 상기 복수의 아날로그-디지털 변환부(ADC) 중 하나 이상을 작동시키는 것을 구비하는 것을 특징으로 하는 화상 처리 시스템.
  14. 제12항에 있어서,
    상기 처리 회로는, 상기 제3의 화상에서 아이템을 인식하도록 구성되는 것을 특징으로 하는 화상 처리 시스템.
  15. 제14항에 있어서,
    상기 제3의 화상에서 아이템을 인식하는 것은, 기계학습 분류기를 이용하여 상기 제3의 화상의 적어도 일부를 처리하는 것을 구비하는 것을 특징으로 하는 화상 처리 시스템.
  16. 제15항에 있어서,
    상기 제3의 화상에서 아이템을 인식하는 것은, 상기 목표물의 속성을 인식하는 것을 구비하는 것을 특징으로 하는 화상 처리 시스템.
  17. 제1의 해상도를 갖는 제1의 화상을 생성하는 단계와,
    상기 제1의 화상에서 목표물을 식별하기 위해 상기 제1의 화상을 검색하는 단계와,
    상기 목표물의 식별에 근거하여, 상기 제1의 화상에서 주목 영역을 특정하는 단계와,
    상기 주목 영역에 대응하는 제2의 화상을 생성하도록, 상기 제1의 화상에서 특정된 상기 주목 영역에 대응하는 하나의 이상의 아날로그-디지털 변환기(ADC)를 작동시키는 단계를 구비하고,
    상기 제2의 화상은 상기 제1의 해상도보다 높은 제2의 해상도를 갖는 것을 특징으로 하는 화상 처리 방법.
  18. 제17항에 있어서,
    처리 회로에 의하여, 상기 제2의 화상에서 아이템을 인식하는 단계를 더 구비하는 것을 특징으하는 화상 처리 방법.
  19. 제18항에 있어서,
    상기 제2의 화상에서 아이템을 인식하는 단계는, 기계학습 분류기를 이용하여 상기 제2의 화상의 적어도 일부를 처리하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  20. 제19항에 있어서,
    상기 제2의 화상에서 아이템을 인식하는 단계는, 상기 목표물의 속성을 인식하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
KR1020187020158A 2016-12-28 2017-11-21 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템 KR102556560B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-255290 2016-12-28
JP2016255290A JP6832155B2 (ja) 2016-12-28 2016-12-28 画像処理装置、画像処理方法、及び画像処理システム
PCT/JP2017/041893 WO2018123360A1 (en) 2016-12-28 2017-11-21 Image processing device, image processing method, and image processing system

Publications (2)

Publication Number Publication Date
KR20190099373A true KR20190099373A (ko) 2019-08-27
KR102556560B1 KR102556560B1 (ko) 2023-07-18

Family

ID=60661912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187020158A KR102556560B1 (ko) 2016-12-28 2017-11-21 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템

Country Status (6)

Country Link
US (2) US10812739B2 (ko)
EP (1) EP3391644B1 (ko)
JP (1) JP6832155B2 (ko)
KR (1) KR102556560B1 (ko)
CN (2) CN116723392A (ko)
WO (1) WO2018123360A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832155B2 (ja) 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
US10491778B2 (en) 2017-09-21 2019-11-26 Honeywell International Inc. Applying features of low-resolution data to corresponding high-resolution data
KR102592061B1 (ko) * 2018-02-14 2023-10-23 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
US10922744B1 (en) * 2018-03-20 2021-02-16 A9.Com, Inc. Object identification in social media post
WO2020027161A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
JP6705044B2 (ja) * 2018-07-31 2020-06-03 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
WO2020027230A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP6697042B2 (ja) * 2018-08-31 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像方法及びプログラム
JP6925474B2 (ja) * 2018-08-31 2021-08-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム
JP7161948B2 (ja) * 2018-09-07 2022-10-27 株式会社フジクラ 機械学習装置、機械学習方法、機械学習プログラム、及び検査装置
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
CN109117830B (zh) * 2018-09-21 2022-09-09 思特威(上海)电子科技股份有限公司 图像传感器、目标跟踪系统及方法
JP7135665B2 (ja) 2018-09-26 2022-09-13 トヨタ自動車株式会社 車両制御システム、車両の制御方法及びコンピュータプログラム
US10778916B2 (en) 2018-10-24 2020-09-15 Honeywell International Inc. Applying an annotation to an image based on keypoints
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
US20210350570A1 (en) * 2018-11-13 2021-11-11 Sony Corporation Image processing device, image processing method, and program
JP7279533B2 (ja) * 2019-06-14 2023-05-23 ソニーグループ株式会社 センサ装置、信号処理方法
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
JP2021056004A (ja) * 2019-09-26 2021-04-08 キヤノン株式会社 画像判定装置及び画像判定方法
JP2021064860A (ja) 2019-10-11 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN114830626A (zh) * 2019-12-19 2022-07-29 富士胶片株式会社 摄像装置、摄像装置的工作方法、程序及摄像系统
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
JP7470967B2 (ja) * 2020-03-30 2024-04-19 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
US11507423B2 (en) * 2020-03-30 2022-11-22 Qualcomm Incorporated Processing data stream modification to reduce power effects during parallel processing
JP2022018905A (ja) * 2020-07-16 2022-01-27 キヤノン株式会社 情報処理装置及び方法、撮像装置、及び撮像システム
CN112016394A (zh) * 2020-07-21 2020-12-01 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质
JP2022046219A (ja) * 2020-09-10 2022-03-23 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム
US11692769B2 (en) * 2020-11-17 2023-07-04 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance
US11995900B2 (en) * 2021-11-12 2024-05-28 Zebra Technologies Corporation Method on identifying indicia orientation and decoding indicia for machine vision systems
WO2023195405A1 (ja) * 2022-04-04 2023-10-12 京セラコミュニケーションシステム株式会社 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
CN116385789B (zh) * 2023-04-07 2024-01-23 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252276A (ja) 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
US20130011028A1 (en) * 2010-01-04 2013-01-10 Nec Corporation Image diagnostic method, image diagnostic apparatus, and image diagnostic program
US20150163403A1 (en) * 2012-07-06 2015-06-11 Sony Corporation Solid-state imaging device and driving method of solid-state imaging device, and electronic equipment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044689A1 (en) * 1992-10-02 2002-04-18 Alex Roustaei Apparatus and method for global and local feature extraction from digital images
US7231086B2 (en) 2002-05-09 2007-06-12 General Dynamics C4 Systems, Inc. Knowledge-based hierarchical method for detecting regions of interest
JP2007081465A (ja) 2005-09-09 2007-03-29 Canon Inc 遠隔装置及び撮像装置
JP4800073B2 (ja) * 2006-03-09 2011-10-26 富士フイルム株式会社 監視システム、監視方法、及び監視プログラム
JP5188080B2 (ja) * 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
JP5274216B2 (ja) * 2008-11-25 2013-08-28 キヤノン株式会社 監視システム及び監視方法
CN103081456A (zh) * 2010-09-10 2013-05-01 奥林巴斯医疗株式会社 摄像装置
JP5984018B2 (ja) 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
AU2013245477A1 (en) * 2013-10-16 2015-04-30 Canon Kabushiki Kaisha Method, system and apparatus for determining a contour segment for an object in an image captured by a camera
KR102125525B1 (ko) 2013-11-20 2020-06-23 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US9672445B2 (en) * 2015-08-03 2017-06-06 Yahoo! Inc. Computerized method and system for automated determination of high quality digital content
JP6358214B2 (ja) * 2015-09-18 2018-07-18 株式会社ニコン 撮像装置
CN105430302B (zh) * 2015-12-28 2018-10-16 上海集成电路研发中心有限公司 单通道cmos图像传感器及其数据传输方法
JP6832155B2 (ja) 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252276A (ja) 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
US20130011028A1 (en) * 2010-01-04 2013-01-10 Nec Corporation Image diagnostic method, image diagnostic apparatus, and image diagnostic program
US20150163403A1 (en) * 2012-07-06 2015-06-11 Sony Corporation Solid-state imaging device and driving method of solid-state imaging device, and electronic equipment

Also Published As

Publication number Publication date
EP3391644A1 (en) 2018-10-24
US20210058573A1 (en) 2021-02-25
US11606516B2 (en) 2023-03-14
JP6832155B2 (ja) 2021-02-24
CN116723392A (zh) 2023-09-08
KR102556560B1 (ko) 2023-07-18
EP3391644B1 (en) 2023-12-27
US10812739B2 (en) 2020-10-20
JP2018107759A (ja) 2018-07-05
US20190149752A1 (en) 2019-05-16
CN108513711A (zh) 2018-09-07
WO2018123360A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
KR102556560B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017159382A1 (ja) 信号処理装置および信号処理方法
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
KR102117598B1 (ko) 차량 운전 보조 장치 및 차량
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6977722B2 (ja) 撮像装置、および画像処理システム
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
WO2017188017A1 (ja) 検出装置、検出方法、およびプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
WO2022004412A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP7363890B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20230028248A (ko) 제어 장치, 투영 시스템, 제어 방법 및 프로그램
WO2020203240A1 (ja) 情報処理装置および情報処理方法
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2022004413A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP2020205507A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant