KR20210052441A - 전자 기기 및 고체 촬상 장치 - Google Patents

전자 기기 및 고체 촬상 장치 Download PDF

Info

Publication number
KR20210052441A
KR20210052441A KR1020217003730A KR20217003730A KR20210052441A KR 20210052441 A KR20210052441 A KR 20210052441A KR 1020217003730 A KR1020217003730 A KR 1020217003730A KR 20217003730 A KR20217003730 A KR 20217003730A KR 20210052441 A KR20210052441 A KR 20210052441A
Authority
KR
South Korea
Prior art keywords
unit
image data
electronic device
detection
processing
Prior art date
Application number
KR1020217003730A
Other languages
English (en)
Inventor
료지 에키
스그루 아오키
류타 사토
Original Assignee
소니 주식회사
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사, 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 주식회사
Publication of KR20210052441A publication Critical patent/KR20210052441A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00268—
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/23216—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

기능 실현에 따른 처리 시간이나 소비 전력의 증대를 억제한다. 실시형태에 따른 전자 기기는, 화상 데이터를 생성하는 촬상부(11)와, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 뉴럴 네트워크 계산 모델에 기초하는 처리를 실행하는 처리부(14)와, 상기 처리의 결과에 기초하여 소정의 기능을 실행하는 기능 실행부(12)와, 변위를 검출하는 검출부(32)를 구비하고, 상기 처리부는, 상기 검출부가 변위를 검출한 경우, 상기 처리를 실행한다.

Description

전자 기기 및 고체 촬상 장치
본 개시는 전자 기기 및 고체 촬상 장치에 관한 것이다.
최근, 디지털 스틸 카메라, 디지털 비디오 카메라, 휴대 전화기 등에 탑재되는 소형 카메라 등의 촬상 장치의 고성능화에 따라, 노출을 자동으로 조정하는 오토 노광(AE) 기능, 초점을 자동으로 조정하는 오토 포커스(AF) 기능, 셔터 동작을 자동으로 행하는 오토 셔터 기능, 피사체나 장면(scene)에 따라 컬러 매트릭스를 자동으로 조정하는 오토 색 보정 기능 등을 탑재하는 촬상 장치가 개발되고 있다.
특허문헌 1: 일본특허공개 제2018-061290호 공보 특허문헌 2: 일본특허공개 제2017-183775호 공보
그러나, 종래에는, 오토 노광, 오토 포커스, 오토 셔터, 오토 색 보정 기능 등의 부가적인 기능을 실행하기 위해, 1∼수 프레임분의 화상 데이터에 대한 화상 처리가 필요하였다. 그 때문에, 기능 실현을 위한 처리 시간이나 소비 전력이 증대된다고 하는 과제가 존재하였다.
이에, 본 개시에서는, 기능 실현에 따른 처리 시간이나 소비 전력의 증대를 억제하는 것이 가능한 전자 기기 및 고체 촬상 장치를 제안한다.
상기 과제를 해결하기 위해, 본 개시에 따른 일 형태의 전자 기기는, 화상 데이터를 생성하는 촬상부와, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 뉴럴 네트워크(neural network) 계산 모델에 기초하는 처리를 실행하는 처리부와, 상기 처리의 결과에 기초하여 소정의 기능을 실행하는 기능 실행부와, 변위를 검출하는 검출부를 구비하고, 상기 처리부는, 상기 검출부가 변위를 검출한 경우, 상기 처리를 실행한다.
도 1은 제1 실시형태에 따른 전자 기기로서의 촬상 장치의 개략 구성예를 나타내는 블록도이다.
도 2는 제1 실시형태에 따른 DSP를 처리부로서 기능시켰을 때의 이미지 센서의 동작 예를 나타내는 플로우차트이다.
도 3은 1프레임분의 화상 데이터의 일례를 나타내는 도면이다.
도 4는 제1 실시형태에 따른 DSP가 실행하는 연산 처리의 흐름을 설명하기 위한 도면이다.
도 5는 제1 실시형태에 따른 연산 처리의 결과를 이용하여 부가적인 기능을 실행할 때의 동작의 일례를 나타내는 플로우차트이다.
도 6은 제2 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 7은 제3 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다.
도 8은 제3 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 9는 제4 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다.
도 10은 제4 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 11은 제5 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다.
도 12는 제5 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 13은 제6 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다.
도 14는 제6 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 15는 제7 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 16은 제8 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다.
도 17은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 18은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
도 19는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 20은 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
이하에, 본 개시의 일 실시형태에 대해 도면에 기초하여 상세하게 설명한다. 한편, 이하의 실시형태에 있어서, 동일한 부위에는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
또한, 이하에 나타내는 항목 순서에 따라 본 개시를 설명한다.
1. 제1 실시형태
1.1 전자 기기의 개략 구성예
1.2 처리부의 동작
1.2.1 연산 동작의 구체예
1.3 연산 결과를 이용한 부가적인 기능의 실행
1.4 작용 및 효과
2. 제2 실시형태
2.1 동작 예
2.2 작용 및 효과
3. 제3 실시형태
3.1 전자 기기의 개략 구성예
3.2 동작 예
3.3 작용 및 효과
4. 제4 실시형태
4.1 전자 기기의 개략 구성예
4.2 동작 예
4.3 작용 및 효과
5. 제5 실시형태
5.1 전자 기기의 개략 구성예
5.2 동작 예
5.3 작용 및 효과
6. 제6 실시형태
6.1 전자 기기의 개략 구성예
6.2 동작 예
6.3 작용 및 효과
7. 제7 실시형태
7.1 동작 예
7.2 작용 및 효과
8. 제8 실시형태
8.1 동작 예
8.2 작용 및 효과
9. 이동체에의 응용예
10. 내시경 수술 시스템에의 응용예
1. 제1 실시형태
먼저, 제1 실시형태에 대해, 도면을 참조하여 상세하게 설명한다.
1.1 전자 기기의 개략 구성예
도 1은 제1 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다. 도 1에 나타내는 바와 같이, 전자 기기(1)는, 고체 촬상 장치인 이미지 센서(10)와, 애플리케이션 프로세서(20)를 구비한다. 이미지 센서(10)는, 촬상부(11)와, 컨트롤부(12)와, 신호 처리부(13)와, DSP(Digital Signal Processor)(14)와, 메모리(15)와, 선택기(출력부라고도 말함)(16)를 구비하고 있다.
컨트롤부(12)는, 예를 들면, 사용자의 조작이나 설정된 동작 모드에 따라, 이미지 센서(10) 내의 각 부를 제어한다.
촬상부(11)는, 예를 들면, 줌 렌즈, 포커스 렌즈, 조리개 등을 구비하는 광학계(104)와, 포토다이오드 등의 수광 소자(광전 변환부라고도 말함)를 포함하는 단위 화소가 2차원 매트릭스 형상으로 배열된 구성을 구비하는 화소 어레이부(101)를 구비한다. 외부로부터 입사한 광은, 광학계(104)를 통함으로써, 화소 어레이부(101)에 있어서의 수광 소자가 배열된 수광면에 결상된다. 화소 어레이부(101)의 각 단위 화소는, 그 수광 소자에 입사한 광을 광전 변환함으로써, 입사광의 광량에 따른 전하를 판독 가능하게 축적한다.
신호 처리부(13)는, 촬상부(11)의 각 단위 화소로부터 판독된 화소 신호에 대해 다양한 신호 처리를 실행한다. 예를 들면, 신호 처리부(13)는, 화소 어레이부(101)의 각 단위 화소로부터 판독된 아날로그 화소 신호를 디지털 값의 화상 데이터로 변환한다. 또한, 신호 처리부(13)는, 예를 들면, 화상 데이터가 컬러 화상인 경우, 이 화상 데이터를 YUV의 화상 데이터나 RGB의 화상 데이터 등으로 포맷 변환한다. 나아가, 신호 처리부(13)는, 예를 들면, 화상 데이터에 대해, 노이즈 제거나 화이트 밸런스 조정 등의 처리를 필요에 따라 실행한다. 그 밖에, 신호 처리부(13)는, 화상 데이터에 대해, DSP(14)가 그 화상 데이터를 처리하는 데 필요한 다양한 신호 처리(전처리라고도 말함)를 실행한다.
DSP(14)는, 예를 들면, 메모리(15)에 저장되어 있는 프로그램을 판독하여 실행함으로써, 딥 뉴럴 네트워크(DNN: deep neural network)를 이용한 기계 학습에 의해 작성된 학습 완료 모델을 사용하여 각종 처리를 실행하는 처리부로서 기능한다. 예를 들면, DSP(14)는, 메모리(15)에 기억되어 있는 학습 완료 모델에 기초한 연산 처리를 실행함으로써, 메모리(15)에 기억되어 있는 사전 계수와 화상 데이터를 곱셈하는 처리를 실행한다. 이러한 연산 처리에 의해 얻어진 결과(연산 결과)는, 메모리(15) 및/또는 선택기(16)로 출력된다. 한편, 연산 결과에는, 학습 완료 모델을 이용한 연산 처리를 실행함으로써 얻어진 화상 데이터나, 연산 결과에 기초하여 가공된 화상 데이터나, 화상 데이터로부터 얻어진 각종 정보(화상에 있어서의 일부의 영역을 나타내는 영역 정보 등. 이하, 메타데이터라고 말함) 등이 포함될 수 있다. 또한, DSP(14)에는, 메모리(15)에의 액세스를 제어하는 메모리 컨트롤러가 갖추어져 있어도 된다.
연산 처리에는, 예를 들면, 뉴럴 네트워크 계산 모델의 일례인 학습 완료된 학습 모델을 이용한 것이 존재한다. 예를 들면, DSP(14)는, 학습 완료된 학습 모델을 사용하여, 각종 처리인 DSP 처리를 실행할 수도 있다. 예를 들면, DSP(14)는, 메모리(15)로부터 화상 데이터를 판독하여 학습 완료된 학습 모델에 입력하고, 학습 완료 모델의 출력 결과로서 얼굴의 윤곽이나 얼굴 화상의 영역 등인 얼굴 위치를 취득한다. 그리고, DSP(14)는, 화상 데이터 중, 추출된 얼굴 위치에 대해, 마스킹, 모자이크, 아바타화 등의 처리를 실행하여, 가공 화상 데이터를 생성한다. 그 후, DSP(14)는, 생성한 가공된 화상 데이터(가공 화상 데이터)를 메모리(15)에 저장한다.
또한, 학습 완료된 학습 모델에는, 학습 데이터를 사용하여, 인물의 얼굴 위치의 검출 등을 학습한 DNN이나 서포트 벡터 머신 등이 포함된다. 학습을 완료한 학습 모델은, 판별 대상의 데이터인 화상 데이터가 입력되면, 판별 결과, 즉, 얼굴 위치를 특정하는 어드레스 등의 영역 정보를 출력한다. 한편, DSP(14)는, 학습 데이터를 사용하여 학습 모델 내의 각종 파라미터의 가중치를 변경함으로써 학습 모델을 갱신하거나, 복수의 학습 모델을 준비하여 두고 연산 처리의 내용에 따라 사용하는 학습 모델을 변경하거나, 외부 장치로부터 학습 완료된 학습 모델을 취득 또는 갱신하거나 하여, 상기 연산 처리를 실행할 수 있다.
한편, DSP(14)가 처리 대상으로 하는 화상 데이터는, 화소 어레이부(101)로부터 통상적으로 판독된 화상 데이터여도 되고, 이 통상적으로 판독된 화상 데이터의 화소를 솎아냄으로써 데이터 사이즈가 축소된 화상 데이터여도 된다. 또는, 화소 어레이부(101)에 대해 화소를 솎아낸 판독을 실행함으로써 통상보다도 작은 데이터 사이즈로 판독된 화상 데이터여도 된다. 한편, 여기서의 통상의 판독이란, 화소를 솎아내지 않고 판독하는 것이어도 된다.
이러한 학습 모델에 의한 얼굴 위치의 추출이나 가공 처리에 의해, 화상 데이터의 얼굴 위치가 마스킹된 가공 화상 데이터, 화상 데이터의 얼굴 위치가 모자이크 처리된 가공 화상 데이터, 또는 화상 데이터의 얼굴 위치가 캐릭터로 치환되어 아바타화된 가공 화상 데이터 등을 생성할 수 있다.
메모리(15)는, DSP(14)에 의해 얻어진 연산 결과 등을 필요에 따라 기억한다. 또한, 메모리(15)는, DSP(14)가 실행하는 학습 완료된 학습 모델의 알고리즘을 프로그램 및 사전 계수로서 기억한다. 학습을 완료한 학습 모델의 프로그램 및 사전 계수는, 예를 들면, 외부 클라우드 서버(30) 등에서 작성된 것이 네트워크(40)를 통해 전자 기기(1)로 다운로드되어 메모리(15)에 저장되어도 되고, 전자 기기(1)의 출하 전에 메모리(15)에 저장되어도 된다.
선택기(16)는, 예를 들면 컨트롤부(12)로부터의 선택 제어 신호에 따름으로써, 신호 처리부(13)로부터 출력된 화상 데이터와, DSP(14)로부터 출력된 연산 결과를 선택적으로 출력한다. 한편, DSP(14)는, 연산 처리에 의해 얻어진 연산 결과를 직접 선택기(16)로 출력해도 되고, 일단 메모리(15)에 저장한 후, 메모리(15)로부터 판독하여 선택기(16)로 출력해도 된다.
이상과 같이 하여 선택기(16)로부터 출력된 화상 데이터나 연산 결과는, 표시나 유저 인터페이스 등을 처리하는 애플리케이션 프로세서(20)에 입력된다. 애플리케이션 프로세서(20)는, 예를 들면, CPU(Central Processing Unit) 등을 사용하여 구성되고, 오퍼레이팅 시스템이나 각종 애플리케이션 소프트웨어 등을 실행한다. 이 애플리케이션 프로세서(20)에는, GPU(Graphics Processing Unit)나 베이스밴드 프로세서 등의 기능이 탑재되어 있어도 된다. 애플리케이션 프로세서(20)는, 입력된 화상 데이터나 연산 결과에 대해, 필요에 따른 다양한 처리를 실행하거나, 사용자에 대한 표시를 실행하거나, 소정의 네트워크(40)를 통해 외부 클라우드 서버(30)로 송신하거나 한다.
또한, 전자 기기(1)에는, 이미지 센서(10)로부터 출력된 화상 데이터나 기능 설정/실행을 위한 각종 메뉴를 표시하기 위한 디스플레이(17)가 설치되어 있다. 이 디스플레이(17)는, 예를 들면, 뷰 파인더로서도 기능하고, 애플리케이션 프로세서(20)가 실행하는 오퍼레이팅 시스템이나 애플리케이션 소프트웨어의 GUI(Graphical User Interface) 화면을 표시하는 디스플레이로서도 기능한다. 한편, 디스플레이(17)는, 유저 인터페이스로서도 기능하는 터치 스크린이어도 된다.
한편, 소정의 네트워크(40)에는, 예를 들면, 인터넷, 유선 LAN(Local Area Network) 또는 무선 LAN, 이동체 통신망, Bluetooth(등록상표) 등의 다양한 네트워크를 적용할 수 있다. 또한, 화상 데이터나 연산 결과의 송신처는 클라우드 서버(30)로 한정되지 않고, 단일로 동작하는 서버, 각종 데이터를 보관하는 파일 서버, 휴대 전화기 등의 통신 단말 등, 통신 기능을 갖는 다양한 정보 처리 장치(시스템)여도 된다.
1.2 처리부의 동작
다음으로, 본 실시형태에 있어서 처리부로서 기능하는 DSP(14)의 동작에 대해, 이하에 도면을 참조하여 상세하게 설명한다.
본 실시형태에 따른 DSP(14)는, 전술한 바와 같이, 메모리(15)에 저장되어 있는 학습 완료된 학습 모델을 판독하여 실행함으로써, DNN을 이용한 처리부로서 기능한다. 도 2에, DSP(14)를 처리부로서 기능시켰을 때의 이미지 센서(10)의 동작 예를 나타낸다.
도 2에 나타내는 바와 같이, 본 동작에서는, 먼저, DSP(14)가 메모리(15)로부터 학습을 완료한 학습 모델을 판독하여 실행한다(단계(S121)). 이에 의해, DSP(14)가 처리부로서 기능한다.
다음으로, 컨트롤부(12)가 촬상부(11)로부터의 프레임 판독을 시작한다(단계(S122)). 이 프레임 판독에서는, 예를 들면, 1프레임분의 화상 데이터가 수평 라인 단위(행 단위라고도 말함)로 순차적으로 판독된다.
다음으로, 1프레임에 있어서의 소정 라인수의 화상 데이터가 판독되면(단계(S123)의 YES), DSP(14)는, 판독된 소정 라인수만큼의 화상 데이터에 대해, CNN(Convolution Neural Network)을 이용한 연산 처리를 실행한다(단계(S124)). 즉, DSP(14)는, 소정 라인수의 화상 데이터를 단위 영역으로 하여, 학습 완료된 학습 모델을 사용한 연산 처리를 실행한다. 또한, CNN을 이용한 연산 처리에서는, 예를 들면, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임(동물체) 검출, 애완동물 검출, 장면 인식, 상태 검출, 회피 대상물 인식 등이 실행된다.
여기서, 얼굴 검출이란, 화상 데이터에 포함되는 인물의 얼굴을 검출하는 처리이다. 얼굴 인증이란, 생체 인증의 하나로서, 화상 데이터에 포함되는 인물의 얼굴이 미리 등록된 인물의 얼굴과 일치하는지 여부를 인증하는 처리이다. 시선 검출이란, 화상 데이터에 포함되는 인물의 시선의 방향을 검출하는 처리이다. 표정 인식이란, 화상 데이터에 포함되는 인물의 표정을 인식하는 처리이다. 얼굴 방향 검출이란, 화상 데이터에 포함되는 인물의 얼굴의 상하 방향을 검출하는 처리이다. 물체 검출이란, 화상 데이터에 포함되는 물체를 검출하는 처리이다. 물체 인식이란, 화상 데이터에 포함되는 물체가 무엇인지를 인식하는 처리이다. 움직임(동물체) 검출이란, 화상 데이터에 포함되는 동물체를 검출하는 처리이다. 애완동물 검출이란, 화상 데이터에 포함되는 개나 고양이 등의 애완동물을 검출하는 처리이다. 장면 인식이란, 촬영하고 있는 장면(바다나 산 등)을 인식하는 처리이다. 상태 검출이란, 화상 데이터에 포함되는 인물 등의 상태(통상의 상태인지 이상(異常)의 상태인지 등)를 검출하는 처리이다. 회피 대상물 인식이란, 자신이 이동하는 경우의 그 진행 방향 전방에 존재하는 회피 대상의 물체를 인식하는 처리이다.
CNN을 이용한 연산 처리에 성공한 경우(단계(S125)의 YES), 본 동작은 단계(S129)로 진행한다. 한편, CNN을 이용한 연산 처리에 실패한 경우(단계(S125)의 NO), 촬상부(11)로부터 다음 소정 라인수의 화상 데이터가 판독되는 것을 대기한다(단계(S126)의 NO).
한편, 본 설명에 있어서, 연산 처리에 성공한다는 것은, 예를 들면, 상기에서 예시한 바와 같은 얼굴 검출이나 얼굴 인증 등에 있어서, 일정한 검출 결과나 인식 결과나 인증이 얻어진 것을 의미한다. 한편, 연산 처리에 실패한다는 것은, 예를 들면, 상기에서 예시한 바와 같은 얼굴 검출이나 얼굴 인증 등에 있어서, 충분한 검출 결과나 인식 결과나 인증이 얻어지지 않은 것을 의미한다.
다음으로, 단계(S126)에 있어서, 다음 소정 라인수의 화상 데이터(단위 영역)가 판독되면(단계(S126)의 YES), DSP(14)는, 판독된 소정 라인수의 화상 데이터에 대해, RNN(Recurrent Neural Network)을 이용한 연산 처리를 실행한다(단계(S127)). RNN을 이용한 연산 처리에서는, 예를 들면, 동일 프레임의 화상 데이터에 대해 지금까지 실행한 CNN 또는 RNN을 이용한 연산 처리의 결과도 이용된다.
RNN을 이용한 연산 처리에 성공한 경우(단계(S128)의 YES), 본 동작은 단계(S129)로 진행한다.
단계(S129)에서는, 단계(S124) 또는 단계(S127)에서 성공한 연산 결과가, 예를 들면, DSP(14)로부터 선택기(16)를 통해 애플리케이션 프로세서(20)로 출력되거나, 또는 메모리(15)에 저장된다.
또한, 단계(S127)에 있어서, RNN을 이용한 연산 처리에 실패한 경우(단계(S128)의 NO), 1프레임분의 화상 데이터의 판독이 완료되었는지 여부가 판정되고(단계(S130)), 완료되지 않은 경우(단계(S130)의 NO), 단계(S126)로 리턴하고, 다음 소정 라인수의 화상 데이터에 대한 처리가 실행된다.
한편, 1프레임분의 화상 데이터의 판독이 완료된 경우(단계(S130)의 YES), 예를 들면, 컨트롤부(12)는, 본 동작을 종료할지 여부를 판정하고(단계(S131)), 종료하지 않는 경우(단계(S131)의 NO), 단계(S122)로 리턴하고, 다음 프레임에 대해 마찬가지의 동작을 실행한다. 또한, 종료하는 경우(단계(S131)의 YES), 본 동작이 종료된다.
한편, 다음 프레임으로 이행할지 여부(단계(S131))는, 예를 들면, 애플리케이션 프로세서(20) 등의 외부로부터 종료 지시가 입력되었는지 여부에 기초하여 판단되어도 되고, 미리 정해 둔 소정 프레임수의 화상 데이터에 대한 일련의 처리가 완료되었는지 여부에 기초하여 판단되어도 된다.
또한, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임(동물체) 검출, 장면 인식, 상태 검출 등의 연산 처리를 연속해서 행하는 경우, 직전의 연산 처리에 실패하고 있는 경우에는, 다음 연산 처리가 스킵되어도 된다. 예를 들면, 얼굴 검출의 다음에 얼굴 인증을 실행하는 경우에, 얼굴 검출에 실패하고 있는 경우에는, 다음의 얼굴 인증이 스킵되어도 된다.
1.2.1 연산 동작의 구체예
이어서, 도 2를 이용하여 설명한 처리부의 동작을, 구체예를 사용하여 설명한다. 한편, 이하에서는, DNN을 이용하여 얼굴 검출을 실행하는 경우를 예시한다.
도 3은 1프레임분의 화상 데이터의 일례를 나타내는 도면이다. 도 4는 본 실시형태에 따른 DSP가 실행하는 연산 처리의 흐름을 설명하기 위한 도면이다.
도 3에 나타내는 바와 같은 화상 데이터에 대해 연산 처리에 의해 얼굴 검출을 실행하는 경우, 도 4의 (a)에 나타내는 바와 같이, DSP(14)에는, 먼저, 소정 라인수분의 화상 데이터가 입력된다(도 2의 단계(S123)에 상당). DSP(14)는, 입력된 소정 라인수분의 화상 데이터에 대해 CNN을 이용한 연산 처리를 실행함으로써, 얼굴 검출을 실행한다(도 2의 단계(S124)에 상당). 다만, 도 4의 (a)의 단계에서는, 아직 얼굴 전체의 화상 데이터가 입력되고 있지 않기 때문에, DSP(14)는 얼굴 검출에 실패한다(도 2의 단계(S125)의 NO에 상당).
이어서, 도 4의 (b)에 나타내는 바와 같이, DSP(14)에는, 다음 소정 라인수분의 화상 데이터가 입력된다(도 2의 단계(S126)에 상당). DSP(14)는, 도 4의 (a)에서 입력된 소정 라인수분의 화상 데이터에 대해 실행한 CNN을 이용한 연산 처리의 결과를 사용하면서, 새롭게 입력된 소정 라인수분의 화상 데이터에 대해 RNN을 이용한 연산 처리를 실행함으로써, 얼굴 검출을 실행한다(도 2의 단계(S127)에 상당).
도 4의 (b)의 단계에서는, 도 4의 (a)의 단계에서 입력된 소정 라인수분의 화상 데이타가 총 데이터로 합쳐져서, 얼굴 전체의 화상 데이터가 입력되고 있다. 따라서, 도 4의 (b)의 단계에 있어서, DSP(14)는 얼굴 검출에 성공한다(도 2의 단계(S128)의 YES에 상당). 그러면, 본 동작에서는, 그 이후의 화상 데이터(도 4의 (c)∼(f)의 화상 데이터)가 판독되지 않고, 얼굴 검출의 결과가 출력된다(도 2의 단계(S129)에 상당).
이와 같이, 소정 라인수씩의 화상 데이터에 대해 DNN을 이용한 연산 처리를 실행함으로써, 얼굴 검출에 성공한 시점 이후의 화상 데이터에 대한 판독이나 연산 처리의 실행을 생략하는 것이 가능해진다. 그에 따라, 단시간에 검출이나 인식이나 인증 등의 처리를 완료하는 것이 가능해지기 때문에, 처리 시간의 단축 및 소비 전력의 저감을 실현하는 것이 가능해진다.
한편, 소정 라인수는, 학습 완료된 학습 모델의 알고리즘이 요구하는 필터의 크기에 따라 결정되는 라인수이며, 그 최소 수는 1라인이다.
또한, 촬상부(11)로부터 판독되는 화상 데이터는, 열 방향 및/또는 행 방향으로 솎아내진 화상 데이터여도 된다. 그 경우, 예를 들면, 열 방향으로 1행 걸러서 화상 데이터를 판독하는 경우에는, 2(N-1)(N은 1 이상의 정수) 라인째의 화상 데이터가 판독된다.
또한, 학습을 완료한 학습 모델의 알고리즘이 요구하는 필터가 라인 단위가 아니고, 예를 들면, 1×1 화소나 5×5 화소 등의 화소 단위의 사각형 영역인 경우에는, 소정 라인수의 화상 데이터 대신에, 그 필터의 형상이나 사이즈에 따른 사각형 영역의 화상 데이터를, DSP(14)가 연산 처리를 실행하는 단위 영역의 화상 데이터로서, DSP(14)에 입력하여도 된다.
나아가, 상기에서는, DNN의 예로서 CNN과 RNN을 예시했지만, 이들에 한정되지 않고, 예를 들면, GAN(Generative Adversarial Network) 등의 다른 학습 모델을 이용하는 것도 가능하다.
1.3 연산 결과를 이용한 부가적인 기능의 실행
다음으로, DSP(14)가 실행한 연산 처리의 결과를 이용하여 부가적인 기능을 실행할 때의 동작에 대해, 도면을 참조하여 상세하게 설명한다. 한편, 이하에서는, 연산 결과를 이용하여 실행하는 부가적인 기능으로서, 오토 노광(AE) 기능, 오토 포커스(AF) 기능, 오토 셔터(AS) 기능, 및 오토 색 보정 기능을 예시하지만, 이들 기능에 한정되지 않고, 다양한 기능을 적용하는 것이 가능하다.
도 5는 본 실시형태에 따른 연산 처리의 결과를 이용하여 부가적인 기능을 실행할 때의 동작의 일례를 나타내는 플로우차트이다. 도 5에 나타내는 바와 같이, 본 동작에서는, 예를 들면, 사용자에 의한 전원 투입에 의해 전자 기기(1)가 기동하면, 먼저, 이미지 센서(10)가 기동된다(단계(S101)). 이에 의해, 전자 기기(1)의 뷰 파인더로서 기능하는 디스플레이(17)로의, 이미지 센서(10)에 의해 얻어진 화상의 표시가 개시된다.
다음으로, 도 2를 이용하여 설명한 동작을 실행함으로써, 연산 처리에 의한 검출 처리나 인식 처리 등이 실행된다(단계(S102)). 예를 들면, 오토 노광 기능을 실행하는 경우에는, DSP(14)가 실행하는 연산 처리에 의해, 촬상부(11)에 찍힌 사람이나 물건 등(이하, 피사체라고 말함)의 명도가 검출된다. 또한, 오토 포커스 기능을 실행하는 경우에는, DSP(14)가 실행하는 연산 처리에 의해, 피사체까지의 거리가 검출된다. 나아가, 오토 셔터 기능을 실행하는 경우에는, DSP(14)가 실행하는 연산 처리에 의해, 피사체의 표정이나 자세나 움직임 등이 검출된다. 나아가 또한, 오토 색 보정 기능을 실행하는 경우에는, DSP(14)가 실행하는 연산 처리에 의해, 장면이나 피사체가 검출된다. 한편, 장면에는, 바다나 산 등의 풍경에 더하여, 맑음이나 흐림 등의 날씨 등도 포함될 수 있다.
다음으로, DSP(14)에 의한 연산에 성공했는지 여부, 즉, 연산 처리에 의해 일정한 검출 결과나 인식 결과 등이 얻어졌는지 여부가 판정된다(단계(S103)). 연산에 성공한 경우(단계(S103)의 YES), 예를 들면, 사용자에 의해 유효로 설정된 기능이 실행된다(단계(S104)).
예를 들면, 오토 노광 기능이 유효로 설정되어 있는 경우로서, 사용자가 전자 기기(1)의 셔터 버튼을 누르고 있는 경우에는, DSP(14)가 실행한 연산 처리에 의해 얻어진 피사체의 명도에 따라, 컨트롤부(12)(기능 실행부의 일 형태)가 조리개나 셔터 스피드를 자동적으로 제어한다.
또한, 오토 포커스 기능이 유효로 설정되어 있는 경우에는, DSP(14)가 실행한 연산 처리에 의해 얻어진 피사체까지의 거리에 따라, 컨트롤부(12)(기능 실행부의 일 형태)가 광학계(104)의 초점거리를 자동적으로 제어한다.
나아가, 오토 셔터 기능이 유효로 설정되어 있는 경우에는, DSP(14)가 실행한 연산 처리에 의해 얻어진 피사체의 표정이나 자세나 움직임 등에 따라, 컨트롤부(12)(기능 실행부의 일 형태)가 셔터 동작을 자동적으로 실행한다.
나아가 또한, 오토 색 보정 기능이 유효로 설정되어 있는 경우에는, DSP(14)가 실행한 연산 처리에 의해 검출된 장면이나 피사체에 따라, 애플리케이션 프로세서(20)(기능 실행부의 일 형태)가 컬러 매트릭스를 자동적으로 변경한다. 한편, 컬러 매트릭스는, 화상 전체에 대하여 변경될 뿐만 아니라, 피사체가 찍히고 있는 영역마다 변경되어도 된다. 예를 들면, 인물이 찍히고 있는 영역에 대해서는, 인물용의 컬러 매트릭스가 사용되고, 사과나 귤 등의 물체가 찍힐 수 있는 영역에는, 그 물체에 따른 컬러 매트릭스가 사용되어도 된다.
그 후, 단계(S105)에 있어서, 본 동작을 종료할지 여부가 판정되고, 종료하는 경우(단계(S105)의 YES), 이미지 센서(10)를 정지하고(단계(S106)), 본 동작을 종료한다. 한편, 종료하지 않는 경우(단계(S105)의 NO), 단계(S102)로 리턴하고, 이후의 동작을 반복하여 실행한다.
1.4 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 소정 라인수씩의 화상 데이터에 대해 연산 처리를 실행함으로써, 연산 처리에 성공한 시점 이후의 화상 데이터에 대한 판독이나 연산 처리의 실행을 생략하는 것이 가능해진다. 그에 따라, 단시간에 검출이나 인식이나 인증 등의 처리를 완료하는 것이 가능해지기 때문에, 처리 시간의 단축 및 소비 전력의 저감을 실현하는 것이 가능해진다.
또한, 소정 라인수씩의 화상 데이터에 대해 실행한 연산 처리의 결과에 기초하여 부가적인 기능을 실행하는 구성으로 함으로써, 단시간에 검출이나 인식이나 인증 등의 처리를 완료하는 것이 가능해지기 때문에, 처리 시간의 단축 및 소비 전력의 저감을 실현하는 것이 가능해진다.
나아가, 단시간에 장면이나 피사체를 검출하여 오토 노광이나 오토 포커스나 오토 색 보정을 실행하는 것이 가능해지기 때문에, 장면이나 피사체에 따라 보다 예쁜 정지화상이나 동영상을 취득하는 것도 가능해진다.
나아가 또한, 오토 셔터를 실행할 때의 반응 속도를 향상시키는 것도 가능해지기 때문에, 보다 바람직한 타이밍에 자동적으로 셔터를 차단하는 것도 가능해진다.
2. 제2 실시형태
다음으로, 제2 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 전술한 제1 실시형태에서는, 연산 결과의 이용 형태로서, 오토 노광(AE) 기능, 오토 포커스(AF) 기능, 오토 셔터(AS) 기능, 오토 색 보정 기능 등의 부가적인 기능을 실행하는 경우를 예시하였다. 이에 대해, 제2 실시형태에서는, 소정의 애플리케이션 소프트웨어에 대해 평가 등을 자동으로 입력하는 경우를 예시한다.
유튜브(등록상표), 트위터(등록상표), 페이스북(등록상표), 인스타그램(등록상표) 등의 소셜 네트워크 서비스(Social Networking Service; SNS)나, 인터넷 포럼, 뉴스 사이트, 블로그 등에는, 사용자가 투고한 동영상이나 사진이나 문장 등의 콘텐츠(content)에 대해, 다른 사용자가 평가나 호감도 등을 입력하기 위한 기능(소셜 버튼(social button))이 갖추어져 있는 경우가 존재한다. 이에, 본 실시형태에서는, 이들 콘텐츠를 열람 및 재생하고 있는 사용자의 표정 등을 연산 처리에 의해 인식하고, 그 결과에 기초하여 평가나 호감도 등을 자동으로 입력하는 경우에 대해, 예를 들어 설명한다.
본 실시형태에 따른 전자 기기의 개략 구성예는, 제1 실시형태에 있어서 도 1을 사용하여 설명한 전자 기기(1)와 마찬가지이어도 된다. 다만, 본 실시형태에 따른 전자 기기는, 스마트폰이나 노트형 퍼스널 컴퓨터 등, 카메라 기능과 콘텐츠 열람 및 재생 기능을 구비한 통신 단말이다.
2.1 동작 예
도 6은 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 한편, 본 설명에서는, 명확화를 위해, 유튜브(등록상표) 등에서 제공되는 동영상의 콘텐츠를 재생하는 경우에 대해 설명한다.
도 6에 나타내는 바와 같이, 본 동작에서는, 먼저, 애플리케이션 프로세서(20)가, 사용자가 입력한 조작에 따라, 콘텐츠 재생용의 소정의 애플리케이션 소프트웨어를 기동한다(단계(S201)의 YES).
다음으로, 애플리케이션 프로세서(20)는, 사용자가 입력한 조작에 따라, 지정된 콘텐츠의 재생을 개시한다(단계(S202)). 그러면, 이 콘텐츠 재생에 연동하는 형태로, 이미지 센서(10)가 기동된다(단계(S203)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 콘텐츠를 시청하고 있는 사용자에 관해, 얼굴 검출(단계(S204))과, 시선 검출(단계(S205))과, 표정 인식(단계(S206))의 연산 처리를 순차적으로 실행하고, 그에 의해 얻어진 표정 인식의 결과에 기초하여 사용자가 웃는 얼굴이나 우는 얼굴이나 화난 얼굴 등의 특정 표정을 하고 있는지 여부를 판정한다(단계(S207)).
콘텐츠를 시청하고 있는 사용자가 특정 표정을 하고 있지 않은 경우(단계(S207)의 NO), 본 동작은, 그대로 단계(S210)로 진행한다. 한편, 사용자가 특정 표정을 하고 있는 경우(단계(S207)의 YES), 이미지 센서(10)는, 단계(S206)에서 인식된 표정에 관한 메타데이터를 애플리케이션 프로세서(20)로 출력한다(단계(S208)). 이에 대해, 애플리케이션 프로세서(20)(기능 실행부의 일 형태)는, 실행중인 애플리케이션 소프트웨어에 있어서의 소셜 버튼을 이용하여, 표정에 따른 평가를 애플리케이션 소프트웨어에 입력한다(단계(S209)). 그 후, 본 동작은 단계(S210)로 진행한다.
단계(S210)에서는, 애플리케이션 프로세서(20)가, 동일 콘텐츠의 재생이 정지 또는 종료되었는지 여부를 판정하고, 정지도 종료도 되어 있지 않은 경우(단계(S210)의 NO), 본 동작이 단계(S204)로 리턴하고, 이후의 동작을 계속한다. 한편, 콘텐츠의 재생이 정지 또는 종료되어 있는 경우(단계(S210)의 YES), 애플리케이션 프로세서(20)는 이미지 센서(10)를 정지한다(단계(S211)). 이어서, 애플리케이션 프로세서(20)는, 애플리케이션 소프트웨어가 종료되었는지 여부를 판정하고(단계(S212)), 종료된 경우(단계(S212)의 YES), 본 동작이 종료된다. 한편, 애플리케이션 소프트웨어가 종료되어 있지 않은 경우(단계(S212)의 NO), 본 동작이 단계(S202)로 리턴하고, 다음 콘텐츠의 재생에 대해 이후의 동작이 실행된다.
2.2 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 표정 인식에 성공한 시점 이후의 화상 데이터에 대한 판독이나 연산 처리의 실행을 생략하는 것이 가능해지기 때문에, 콘텐츠 열람 또는 재생시의 소비 전력의 증가를 억제하면서, 자동적으로 콘텐츠에 대한 평가나 호감도 등을 입력하는 것이 가능해진다. 한편, 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
3. 제3 실시형태
다음으로, 제3 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 본 실시형태에서는, 스마트폰 등, 자세에 따라 디스플레이(17)의 표시 방향을 회전시키는 기능을 구비한 전자 기기에 있어서, 특정 애플리케이션 소프트웨어를 실행중에, 연산 결과를 이용하여 디스플레이(17)의 표시 방향을 제어하는 경우를 예시한다.
3.1 전자 기기의 개략 구성예
도 7은 제3 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다. 도 7에 나타내는 바와 같이, 전자 기기(3)는, 제1 실시형태에 있어서 도 1을 사용하여 설명한 전자 기기(1)와 마찬가지의 구성에 더하여, 전자 기기(3)의 자세의 변화(이하, 변위라고 말함)를 검출하기 위한 관성 계측 장치(Inertial Measurement Unit: IMU)(32)를 더 구비하고 있다. 또한, 전자 기기(3)에 있어서의 이미지 센서(10)에는, IMU(32)에 의한 검출 결과에 기초하여 전자 기기(3)의 자세를 검출하는 CPU(Central Processing Unit)(31)가 더 갖추어져 있다.
IMU(32)는, 예를 들면, 3축의 자이로(gyro)와 3방향의 가속도계를 사용하여 구성되어, 3차원의 각속도와 가속도를 검출 결과로서 출력한다.
CPU(31)는, IMU(32)로부터 출력된 검출 결과에 기초하여 전자 기기(3)가 예를 들면 중력 방향에 대해 어떠한 자세인지를 검출한다.
애플리케이션 프로세서(20)는, 예를 들면, CPU(31)에 의해 검출된 전자 기기(3)의 자세에 따라 디스플레이(17)의 표시 방향을 제어한다. 예를 들면, 연산 처리의 결과에 기초하여 디스플레이(17)의 표시 방향을 제어하지 않는 경우, 애플리케이션 프로세서(20)는, 전자 기기(3)에 있어서의 길이 방향이 수평 방향보다 수직 방향에 가까운 상태에서는, 디스플레이(17)의 표시 방향을 종방향으로 하고, 길이 방향이 수직 방향보다 수평 방향에 가까운 상태에서는, 디스플레이(17)의 표시 방향을 횡방향으로 한다.
한편, 연산 처리의 결과에 기초하여 디스플레이(17)의 표시 방향을 제어하는 경우에는, 애플리케이션 프로세서(20)는, DSP(14)에 의한 연산 처리의 결과로서 얻어진 사용자의 얼굴의 상하 방향과 디스플레이(17)의 표시 방향이 일치하도록, 디스플레이(17)의 표시 방향을 제어한다. 예를 들면, 전자 기기(3)에 있어서의 길이 방향이 수평 방향보다 수직 방향에 가까운 상태임에도 불구하고, 사용자의 얼굴의 상하 방향이 수직 방향보다 수평 방향에 가까운 상태라면, 애플리케이션 프로세서(20)는, 디스플레이(17)의 표시 방향을 사용자의 얼굴의 상하 방향과 동일한 횡방향으로 한다. 한편, 전자 기기(3)에 있어서의 길이 방향이 수직 방향보다 수평 방향에 가까운 상태임에도 불구하고, 사용자의 얼굴의 상하 방향이 수평 방향보다 수직 방향에 가까운 상태라면, 애플리케이션 프로세서(20)는, 디스플레이(17)의 표시 방향을 사용자의 얼굴의 상하 방향과 동일한 종방향으로 한다.
3.2 동작 예
도 8은 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 도 8에 나타내는 바와 같이, 본 동작에서는, 먼저, 애플리케이션 프로세서(20)가, 사용자가 입력한 조작에 따라, 소정의 애플리케이션 소프트웨어를 기동하면(단계(S301)의 YES), CPU(31)가 IMU(32)에 의해 검출된 정보에 기초하여 전자 기기(3)의 자세의 변화(변위)를 검출한다(단계(S302)). 변위가 검출되지 않은 경우(단계(S302)의 NO), 본 동작은 단계(S309)로 진행한다. 한편, 변위가 검출된 경우(단계(S302)의 YES), 이미지 센서(10)가 기동된다(단계(S303)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 전자 기기(3)를 사용하고 있는 사용자에 관해, 얼굴 검출(단계(S304))과 얼굴 방향 검출(단계(S305))의 연산 처리를 순차적으로 실행하고, 그에 따라 인식된 얼굴 방향에 기초하여, 촬상부(11) 또는 디스플레이(17)에 대한 사용자의 얼굴의 상하 방향에 관한 메타데이터를 애플리케이션 프로세서(20)로 출력한다(단계(S306)). 이에 대해, 애플리케이션 프로세서(20)(기능 실행부의 일 형태)는, 디스플레이(17)의 표시 방향을, 사용자의 얼굴의 상하 방향과 일치하는 방향으로 잠금한다(단계(S307)). 그리고, 이미지 센서(10)가 정지된다(단계(S308)).
그 후, 애플리케이션 프로세서(20)는, 애플리케이션 소프트웨어가 종료되었는지 여부를 판정하고(단계(S309)), 종료된 경우(단계(S309)의 YES), 본 동작이 종료된다. 한편, 애플리케이션 소프트웨어가 종료되어 있지 않은 경우(단계(S309)의 NO), 본 동작이 단계(S302)로 리턴하고, 이후의 동작을 실행한다.
3.3 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 특정 애플리케이션 소프트웨어를 실행하고 있을 때에, 처리 시간이나 소비 전력이 저감된 연산 처리의 결과에 기초하여, 디스플레이(17)의 표시 방향을 사용자의 얼굴의 상하 방향에 따라 제어하는 것이 가능해진다. 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
한편, IMU(32)에 의해 얻어진 검출 결과는, 예를 들면, 오토 셔터 기능에도 활용할 수 있다. 구체예로서는, 예를 들면, 전자 기기가 정지한 것이 IMU(32) 및 CPU(31)에 의해 검출된 경우에는, 자동적으로 셔터 동작을 실행하도록 또한 구성하는 것이 가능하다.
또한, 전자 기기로서, 예를 들면, ToF(Time Of Flight) 센서와 같은, 촬상시에 광원의 동작도 수반하는 전자 기기를 적용한 경우에는, IMU(32)에 의해 얻어진 검출 결과에 기초하여, 이미지 센서(10)에 의해 촬상을 실행하는 타이밍에 맞춰 광원을 구동하는 것이 가능해지기 때문에, 광원의 구동 시간을 절감하여 보다 저전력화를 실현하는 것이 가능하다.
4. 제4 실시형태
다음으로, 제4 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 본 실시형태에서는, 스마트폰 등, 보안 등의 이유로 디스플레이(17)에 표시된 화면을 잠금하는 기능을 탑재한 전자 기기에 있어서, 얼굴 인증에 의해 화면 잠금을 해제할 때에, 연산 결과를 이용하는 경우를 예시한다.
4.1 전자 기기의 개략 구성예
도 9는 제4 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다. 도 9에 나타내는 바와 같이, 전자 기기(4)는, 제3 실시형태에 있어서 도 7을 사용하여 설명한 전자 기기(3)와 마찬가지의 구성에 더하여, 비휘발성 메모리(43)를 더 구비하고 있다.
비휘발성 메모리(43)는, 예를 들면, 플래시 메모리 등으로 구성되고, 얼굴 인증이나 홍채 인증 등에 사용되는 인증 정보를 비휘발적으로 기억한다. 한편, 도 9에서는, 비휘발성 메모리(43)가 이미지 센서(10)의 칩 외에 설치된 경우를 예시하고 있지만, 이것에 한정되지 않고, 이미지 센서(10)의 칩 내에 비휘발성 메모리(43)가 설치되어도 된다.
4.2 동작 예
도 10은 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 도 10에 나타내는 바와 같이, 본 동작에서는, 먼저, 애플리케이션 프로세서(20)에 의해, 전자 기기(4)가 화면 잠금 상태인지 여부가 판정된다(단계(S401)). 한편, 전자 기기(4)의 화면 잠금은, 예를 들면, 애플리케이션 프로세서(20)에 의해 실행된다. 전자 기기(4)가 화면 잠금 상태인 경우(단계(S401)의 YES), CPU(31)가 IMU(32)에 의해 검출된 정보에 기초하여, 전자 기기(1)의 자세의 변화(변위)를 검출한다(단계(S402)). 그리고, 전자 기기(4)의 변위가 검출되면(단계(S402)의 YES), 이미지 센서(10)가 기동된다(단계(S403)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 전자 기기(3)를 사용하고 있는 사용자에 관해, 얼굴 검출(단계(S404))과, 시선 검출(단계(S405))과, 얼굴 인증(단계(S406))의 연산 처리를 순차적으로 실행한다. 한편, 단계(S406)의 얼굴 인증에서는, 예를 들면, 이미지 센서(10)로부터 소정 라인수마다 입력된 화상 데이터로부터 특정된 얼굴의 정보와, 비휘발성 메모리(43)에 미리 저장되어 있는 소유자의 얼굴의 생체 정보에 기초하여, 현재 전자 기기(4)를 조작하고 있는 사용자가 해당 전자 기기(4)의 소유자인지 여부가 판정된다.
단계(S406)의 얼굴 인증에 실패한 경우, 예를 들면, 현재 전자 기기(4)를 조작하고 있는 사용자가 해당 전자 기기(4)의 소유자가 아니라고 판정된 경우(단계(S407)의 NO), 전자 기기(4)의 화면 잠금이 유지된 채, 본 동작이 단계(S402)로 리턴한다.
한편, 단계(S406)의 얼굴 인증에 성공한 경우, 예를 들면, 현재 전자 기기(4)를 조작하고 있는 사용자가 해당 전자 기기(4)의 소유자라고 판정된 경우(단계(S407)의 YES), 얼굴 인증에 성공했음이, 이미지 센서(10)로부터 애플리케이션 프로세서(20)로 통지된다(단계(S408)).
얼굴 인증에 성공했음이 통지된 애플리케이션 프로세서(20)(기능 실행부의 일 형태)는 화면 잠금을 해제한다(단계(S409)). 그 후, 이미지 센서(10)가 정지되고(단계(S410)), 본 동작이 종료된다.
4.3 작용 및 효과
이상과 같이, 본 실시형태에 의하면, IMU(32)에 의해 전자 기기(4)의 변위를 검출했을 때에, 처리 시간이나 소비 전력이 저감된 연산 처리의 결과에 기초하여 화면 잠금이 해제된다. 또한, 화면 잠금 중, 상시, 이미지 센서(10)를 기동해 둘 필요가 없어지기 때문에, 대기중의 소비 전력을 보다 저감하는 것도 가능해진다.
한편, 도 10에 나타내는 동작에 있어서, 단계(S406)에 있어서의 얼굴 인증 대신에, 홍채 인증이 실행되어도 된다. 그 경우, 비휘발성 메모리(43)에는, 소유자의 홍채에 관한 생체 정보가 미리 저장된다. 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
5. 제5 실시형태
다음으로, 제5 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 본 실시형태에서는, 예를 들면, 제1 실시형태에 따른 전자 기기(1)를, 방범 시스템에 적용한 경우에 대해, 예를 들어 설명한다.
5.1 전자 기기의 개략 구성예
도 11은 제5 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다. 도 11에 나타내는 바와 같이, 전자 기기(5)는, 제1 실시형태에 있어서 도 1을 사용하여 설명한 전자 기기(1)와 마찬가지의 구성에 더하여, 비휘발성 메모리(43)를 더 구비하고 있다.
비휘발성 메모리(43)는, 예를 들면, 제4 실시형태에서 예시한 비휘발성 메모리(43)여도 된다. 다만, 비휘발성 메모리(43)에는, 예를 들면, 가족이나 사원 등, 미리 등록된 인물에 대해 생체 인증을 실행하기 위한 생체 정보가 저장되어 있다. 한편, 도 11에서는, 비휘발성 메모리(43)가 이미지 센서(10)의 칩 외에 설치된 경우를 예시하고 있지만, 이것에 한정되지 않고, 이미지 센서(10)의 칩 내에 비휘발성 메모리(43)가 설치되어도 된다.
5.2 동작 예
도 12는 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 도 12에 나타내는 바와 같이, 본 동작에서는, 예를 들면, 사용자에 의한 전원 투입에 의해 전자 기기(1)가 기동하면, 먼저, 이미지 센서(10)가 기동된다(단계(S501)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 움직임(동물체) 검출(단계(S502))과, 사람 검출(단계(S503))과, 얼굴 검출(단계(S504))과, 얼굴 인증(단계(S505))의 연산 처리를 순차적으로 실행한다.
단계(S505)의 얼굴 인증에 실패한 경우, 예를 들면, 이미지 센서(10)에 의해 취득된 화상 데이터에 찍힌 인물이 비휘발성 메모리(43)에 등록된 등록자가 아니라고 판정된 경우(단계(S506)의 NO), 이미지 센서(10)로부터 애플리케이션 프로세서(20)에 촬상 화상이 출력된다(단계(S507)). 이에 대해, 애플리케이션 프로세서(20)(기능 실행부의 일 형태)는, 이미지 센서(10)로부터 출력된 촬상 화상과, 이 촬상 화상의 촬상 시각을, 예를 들면, 비휘발성 메모리(43)에 보존한다(단계(S508)). 한편, 애플리케이션 프로세서(20)는, 비휘발성 메모리(43)에의 보존 대신에, 또는 비휘발성 메모리(43)에의 보존과 함께, 촬상 화상과 촬상 시각을 네트워크(40)를 통해 외부 클라우드 서버(30)로 송신해도 된다.
그 후, 예를 들면, 애플리케이션 프로세서(20)에 의해 본 동작을 종료할지 여부가 판단되고(단계(S509)), 종료하는 경우(단계(S509)의 YES), 이미지 센서(10)를 정지한 후(단계(S510)), 본 동작이 종료된다. 한편, 종료하지 않는 경우(단계(S509)의 NO), 본 동작이 단계(S502)로 리턴한다.
5.3 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 처리 시간이나 소비 전력이 저감된 연산 처리의 결과에 기초하여, 촬상된 인물이 수상한 사람인지 여부를 판단하는 것이 가능해진다. 한편, 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
6. 제6 실시형태
다음으로, 제6 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 본 실시형태에서는, 예를 들면, 제1 실시형태에 따른 전자 기기(1)를, 예를 들면, 가정 내 등의 특정 영역 내의 애완동물을 지켜보는 감시 카메라에 적용한 경우에 대해, 예를 들어 설명한다.
6.1 전자 기기의 개략 구성예
도 13은 제6 실시형태에 따른 전자 기기의 개략 구성예를 나타내는 블록도이다. 도 13에 나타내는 바와 같이, 전자 기기(6)는, 제1 실시형태에 있어서 도 1을 사용하여 설명한 전자 기기(1)와 같은 구성에 더하여, 여기저기 돌아다니는 애완동물을 추적하기 위해, 그 화각을 변경하는 제어 기구(21)가 탑재되어 있다.
6.2 동작 예
도 14는 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 도 14에 나타내는 바와 같이, 본 동작에서는, 예를 들면, 사용자에 의한 전원 투입에 의해 전자 기기(6)가 기동하면, 먼저, 이미지 센서(10)가 기동된다(단계(S601)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 움직임(동물체) 검출(단계(S602))과, 애완동물 검출(단계(S603))의 연산 처리를 순차적으로 실행하고, 그에 따라 검출된 애완동물이 화각의, 예를 들면, 실질적으로 중심에 위치하도록 제어 기구(21)(기능 실행부의 일 형태)를 구동함으로써, 전자 기기(1)의 롤각(roll angle), 피치각 및/또는 요각(yaw angle)을 제어한다(단계(S604)).
그 후, 예를 들면, 애플리케이션 프로세서(20)에 의해 본 동작을 종료할지 여부가 판단되고(단계(S605)), 종료하는 경우(단계(S605)의 YES), 이미지 센서(10)를 정지한 후(단계(S606)), 본 동작이 종료된다. 한편, 종료하지 않는 경우(단계(S605)의 NO), 본 동작이 단계(S602)로 리턴한다.
6.3 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 처리 시간이나 소비 전력이 저감된 연산 처리의 결과에 기초하여, 가정 내 등의 특정 영역 내의 애완동물을 지켜보는 것이 가능해진다. 한편, 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
7. 제7 실시형태
다음으로, 제7 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 본 실시형태에서는, 예를 들면, 제1 실시형태에 따른 전자 기기(1)를, 예를 들면, 가정 내 등의 특정 영역 내의 어린이나 노인이나 돌봄이 필요한 자 등의 사람(이하, 대상자라고 말함)을 지켜보는 감시 카메라에 적용한 경우에 대해, 예를 들어 설명한다.
본 실시형태에 따른 전자 기기의 개략 구성예는, 제1 실시형태에 있어서 도 1을 사용하여 설명한 전자 기기(1) 또는 제6 실시형태에 있어서 도 13을 사용하여 설명한 전자 기기(6)와 마찬가지이어도 된다.
7.1 동작 예
도 15는 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 도 15에 나타내는 바와 같이, 본 동작에서는, 예를 들면, 사용자에 의한 전원 투입에 의해 전자 기기(1)가 기동하면, 먼저, 이미지 센서(10)가 기동된다(단계(S701)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 사람 검출(단계(S702))과, 상태 검출(단계(S703))의 연산 처리를 순차적으로 실행한다.
단계(S703)의 상태 검출에서 대상자의 상태 이상이 검출되지 않은 경우(단계(S704)의 NO), 본 동작이 단계(S707)로 진행한다. 한편, 상태 이상이 검출된 경우(단계(S704)의 YES), 이미지 센서(10)로부터 애플리케이션 프로세서(20)로 상태 이상을 나타내는 메타데이터가 출력된다(단계(S705)). 한편, 상태 이상이란, 예를 들면, 사람이 구조를 외치는 몸짓을 하고 있거나, 장시간 계속해서 울고 있거나, 부자연스러운 자세로 일정 시간 이상 움직이지 않거나, 원래 눕는 장소가 아닌 장소(예를 들면, 주방 등)에서 누워 있는 등, 통상과 다른 상태인 것이어도 된다.
이와 같이 하여 상태 이상이 통지된 애플리케이션 프로세서(20)(기능 실행부의 일 형태)는, 예를 들면, 미리 등록된 연락처에 상태 이상을 검출한 것을 통지하고(단계(S706)), 단계(S707)로 진행한다. 한편, 미리 등록된 연락처란, 대상자의 친족이나 계약하고 있는 서비스 회사 등의 전자 메일 어드레스나 전화번호 등이어도 되고, 네트워크(40)를 통해 접속된 클라우드 서버(30)이어도 된다.
그 후, 단계(S707)에 있어서, 예를 들면, 애플리케이션 프로세서(20)에 의해 본 동작을 종료할지 여부가 판단되고, 종료하는 경우(단계(S707)의 YES), 이미지 센서(10)를 정지한 후(단계(S708)), 본 동작이 종료된다. 한편, 종료하지 않는 경우(단계(S707)의 NO), 본 동작이 단계(S702)로 리턴한다.
7.2 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 처리 시간이나 소비 전력이 저감된 연산 처리의 결과에 기초하여, 가정 내 등의 특정 영역 내의 어린이나 노인이나 돌봄이 필요한 자 등의 대상자를 지켜보는 것이 가능해진다. 한편, 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
8. 제8 실시형태
다음으로, 제8 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 본 실시형태에서는, 예를 들면, 제1 실시형태에 따른 전자 기기(1)를, 예를 들면, 자동차 등의 차량에 탑재되는 자동 운전 시스템이나 자율 로봇이나 드론 등의 자율 이동체 등에 탑재되는 자율 시스템에 통합한 경우에 대해, 예를 들어 설명한다.
본 실시형태에 따른 전자 기기의 개략 구성예는, 제1 실시형태에 있어서 도 1을 사용하여 설명한 전자 기기(1)와 마찬가지이어도 된다. 다만, 본 실시형태에 있어서, 네트워크(40)는, 예를 들면, 차내 네트워크이며, 클라우드 서버(30)는 자동 운전 시스템을 구성하는 정보 처리 장치이다.
8.1 동작 예
도 16은 본 실시형태에 따른 전자 기기의 개략 동작 예를 나타내는 플로우차트이다. 도 16에 나타내는 바와 같이, 본 동작에서는, 예를 들면, 운전자에 의한 자동차의 엔진 시동에 연동하여, 이미지 센서(10)가 기동된다(단계(S801)).
기동한 이미지 센서(10)는, 제1 실시형태에 있어서 도 2를 이용하여 설명한 연산 처리에 따라, 일정 거리 내에 존재하는 물체의 검출(단계(S802))과, 검출된 물체가 회피 대상물인지 여부의 인식(단계(S803))의 연산 처리를 순차적으로 실행한다.
단계(S803)의 인식에서 물체가 회피 대상물이 아니라고 인식된 경우(단계(S804)의 NO), 본 동작은 단계(S802)로 리턴한다. 한편, 회피 대상물이라고 인식된 경우(단계(S804)의 YES), 이미지 센서(10)로부터 애플리케이션 프로세서(20)로, 화상 데이터와, 이 화상 데이터에 찍히고 있는 물체가 회피 대상물인 것을 나타내는 메타데이터가 출력된다(단계(S805)).
화상 데이터와 메타데이터가 입력된 애플리케이션 프로세서(20)는, 예를 들면, 입력된 화상 데이터를 해석함으로써, 회피 대상물이라고 통지된 물체가 실제로 회피 대상물인지 여부를 재차 인식한다(단계(S806)). 회피 대상물이라고 통지된 물체가 회피 대상물이 아니라고 인식된 경우(단계(S807)의 NO), 본 동작은 그대로 단계(S809)로 진행한다. 한편, 회피 대상물이라고 재차 인식된 경우(단계(S807)의 YES), 애플리케이션 프로세서(20)(기능 실행부의 일 형태)는, 자동 운전 시스템을 구성하는 정보 처리 장치로, 회피 대상물을 회피하는 회피 동작을 지시하고(단계(S808)), 단계(S809)로 진행한다.
단계(S809)에서는, 예를 들면, 애플리케이션 프로세서(20)에 의해 본 동작을 종료할지 여부가 판단되고, 종료하는 경우(단계(S809)의 YES), 이미지 센서(10)를 정지한 후(단계(S810)), 본 동작이 종료된다. 한편, 종료하지 않는 경우(단계(S809)의 NO), 본 동작이 단계(S802)로 리턴한다.
8.2 작용 및 효과
이상과 같이, 본 실시형태에 의하면, 처리 시간이나 소비 전력이 저감된 연산 처리의 결과에 기초하여 회피 대상물을 인식하는 것이 가능해지기 때문에, 자동 운전 시스템에 있어서의 신속한 회피 대상물의 인식과 소비 전력의 저감을 실현하는 것이 가능해진다. 한편, 그 밖의 구성, 동작 및 효과에 대해서는, 전술한 실시형태와 마찬가지이어도 되기 때문에, 여기서는 상세한 설명을 생략한다.
한편, 전술한 제1∼제8 실시형태에서는, DSP(14)를 처리부로서 동작시키는 경우에 대해 예시했지만, 이것에 한정되는 것이 아니다. 즉, 마찬가지의 검출, 인식 또는 인증의 결과가 얻어지는 처리라면, 학습 모델에 기초한 처리에 한정되지 않고, 다양한 처리를 DSP(14)에 실행시키는 것이 가능하다.
9. 이동체에의 응용예
본 개시에 따른 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 17은 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 17에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 17의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 18은 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 18에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 18에는 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 촬상부(12031) 등에 적용될 수 있다. 촬상부(12031) 등에 본 개시에 따른 기술을 적용함으로써, 통신 네트워크(12001)를 통해 송수신되는 데이터량을 삭감할 수 있음과 함께, 차외 정보 검출 유닛(12030)이나 통합 제어 유닛(12050) 등에 있어서 처리해야 할 데이터량을 삭감하는 것이 가능해진다. 그에 따라, 인식 처리나 검출 처리 등의 결과를 보다 신속히 취득하는 것이 가능해지기 때문에, 차량(1200)의 제어나 운전자에의 정보 제공 등을 보다 정확하고 신속히 행하는 것이 가능해진다.
10. 내시경 수술 시스템에의 응용예
본 개시에 따른 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은, 내시경 수술 시스템에 적용되어도 된다.
도 19는 본 개시에 따른 기술(본 기술)이 적용될 수 있는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 19에서는, 시술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 침대(11133) 상의 환자(11132)에게 수술을 행하고 있는 모습이 도시되어 있다. 도시한 것처럼, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의 그 밖의 시술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경을 이용한 수술을 위한 각종의 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단으로부터 소정 길이의 영역이 환자(11132)의 체강 내로 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 이른바 경성경으로서 구성되는 내시경(11100)을 도시하고 있지만, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로서 구성되어도 된다.
경통(11101)의 선단에는, 대물 렌즈가 끼워진 개구부가 설치되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 해당 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부로 연장 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 통해 환자(11132)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(11100)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 설치되어 있으며, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되어, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU： Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되며, 내시경(11100) 및 표시 장치(11202)의 동작을 총괄적으로 제어한다. 또한, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 실시한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 해당 CCU(11201)에 의해 화상 처리가 실시된 화상 신호에 기초하는 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 시술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력장치(11204)를 통해, 내시경 수술 시스템(11000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(11132)의 체강을 부풀어 오르게 하기 위해, 기복 튜브(11111)를 통해 해당 체강 내로 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
또한, 내시경(11100)에 시술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로부터 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 따르면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 흑색 결함 및 노출 과다가 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장 대역의 광을 공급할 수 있게 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 높은 콘트라스트로 촬영하는, 이른바 협대역 광관찰(Narrow Band Imaging)이 이루어진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 이루어져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하고 해당 체조직으로부터의 형광을 관찰(자가 형광 관찰)하거나, 또는 인도시아닌그린(ICG) 등의 시약을 체조직에 국부적으로 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등을 행할 수 있다. 광원 장치(11203)는, 이와 같은 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있다.
도 20은, 도 19에 나타내는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 일례를 나타내는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 서로 통신 가능하게 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 설치되는 광학계이다. 경통(11101)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되어, 해당 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)를 구성하는 촬상 소자는, 1개(이른바 단판식)이어도 되고, 복수(이른바 다판식)이어도 된다. 촬상부(11402)가 다판식으로 구성되는 경우에는, 예를 들면, 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 이들이 합성됨으로써 컬러 화상을 얻을 수 있어도 된다. 또는, 촬상부(11402)는, 3D(dimensional) 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 한 쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자(11131)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(11402)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 설치될 수 있다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 설치되지 않아도 된다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(11403)는, 액추에이터에 의해 구성되며, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌 렌즈 및 포커스 렌즈를 광축을 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 통해 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하여, 카메라 헤드 제어부(11405)에 공급한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 유저에 의해 적절히 지정되어도 되고, 취득된 화상 신호에 기초하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 된다. 후자의 경우에는, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재되어 있게 된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 통해 수신한 CCU(11201)로부터의 제어 신호에 기초하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 통해 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)는, 카메라 헤드(11102)에 대해서, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기 통신이나 광 통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 실시한다.
제어부(11413)는, 내시경(11100)에 의한 시술부 등의 촬상, 및 시술부 등의 촬상에 의해 얻어지는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 실시된 화상 신호에 기초하여, 시술부 등이 찍힌 촬상 화상을 표시 장치(11202)에 표시시킨다. 이 때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에 있어서의 각종의 물체를 인식해도 된다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정 생체 부위, 출혈, 에너지 처치구(11112)의 사용 시의 미스트(mist) 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시켜도 된다. 수술 지원 정보가 중첩 표시되어, 시술자(11131)에게 제시됨으로써, 시술자(11131)의 부담을 경감하는 것이나, 시술자(11131)가 확실히 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광섬유, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(11400)을 이용하여 유선으로 통신이 이루어지고 있었지만, 카메라 헤드(11102)와 CCU(11201) 사이의 통신은 무선으로 이루어져도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 내시경 수술 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 카메라 헤드(11102)의 촬상부(11402) 등에 적용될 수 있다. 촬상부(11402)에 본 개시에 따른 기술을 적용함으로써, CCU(11201) 등에 있어서 처리해야 할 데이터량을 삭감하는 것이 가능해진다. 그에 따라, 화상 처리 결과를 보다 신속히 취득하는 것이 가능해지기 때문에, 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건의 설정 또는 갱신이나 사용자에 대한 정보 제공 등을 보다 정확하고 신속히 행하는 것이 가능해진다.
한편, 여기서는, 일례로서 내시경 수술 시스템에 대해 설명하였지만, 본 개시에 따른 기술은, 그 외에, 예를 들면, 현미경 수술 시스템 등에 적용되어도 된다.
이상, 본 개시의 실시형태에 대해 설명하였지만, 본 개시의 기술적 범위는, 전술한 각 실시형태 그대로에 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다. 또한, 다른 실시형태 및 변형예에 걸친 구성요소를 적절히 조합하여도 된다.
또한, 본 명세서에 기재된 각 실시형태에 있어서의 효과는 어디까지나 예시이며 한정되는 것이 아니고, 다른 효과가 있어도 된다.
나아가, 전술한 각 실시형태는, 각각 단독으로 사용되어도 되고, 다른 실시형태와 조합하여 사용되어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
화상 데이터를 생성하는 촬상부와,
상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 뉴럴 네트워크 계산 모델에 기초하는 처리를 실행하는 처리부와,
상기 처리의 결과에 기초하여, 미리 정해진 기능을 실행하는 기능 실행부와,
변위를 검출하는 검출부를 구비하고,
상기 처리부는, 상기 검출부가 변위를 검출한 경우, 상기 처리를 실행하는 전자 기기.
(2)
상기 기능 실행부는 상기 전자 기기의 화면 잠금을 설정/해제하는 기능을 구비하고,
상기 처리부는, 상기 전자 기기의 화면 잠금이 설정된 상태에서 상기 검출부가 상기 전자 기기의 변위를 검출한 경우, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 얼굴 인증을 실행하고,
상기 기능 실행부는, 상기 처리부에 의한 얼굴 인증에 성공한 경우, 상기 전자 기기의 화면 잠금을 해제하는 상기 (1)에 기재된 전자 기기.
(3)
상기 기능 실행부는, 상기 전자 기기의 화면의 표시 방향을 회전시키는 기능을 구비하고,
상기 처리부는, 상기 검출부가 상기 전자 기기의 변위를 검출한 경우, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 얼굴 방향 검출을 실행하고,
상기 기능 실행부는, 상기 처리부에 의해 검출된 얼굴의 상하 방향에 따라, 상기 전자 기기의 화면의 표시 방향을 제어하는 상기 (1) 또는 (2)에 기재된 전자 기기.
(4)
상기 처리부는, 동일 프레임의 상기 화상 데이터에 기초하는 데이터에 있어서의 최초로 입력된 단위 영역의 데이터에 대해 CNN(Convolution Neural Network)을 이용한 처리를 실행하는 상기 (1) 내지 (3) 중 어느 한 항에 기재된 전자 기기.
(5)
상기 처리부는, 상기 최초로 입력된 단위 영역의 데이터에 대한 상기 CNN을 이용한 처리에 실패한 경우, 상기 동일 프레임의 화상 데이터에 기초하는 데이터에 있어서의 다음으로 입력된 단위 영역의 데이터에 대해 RNN(Recurrent Neural Network)을 이용한 처리를 실행하는 상기 (4)에 기재된 전자 기기.
(6)
상기 촬상부로부터 라인 단위로 화상 데이터를 판독하는 컨트롤부를 더 구비하고,
상기 단위 영역의 데이터는, 상기 화상 데이터에 기초하는 데이터에 있어서의 상기 라인 단위의 데이터이며,
상기 처리부에는, 상기 라인 단위로 상기 데이터가 입력되는 상기 (4) 또는 (5)에 기재된 전자 기기.
(7)
상기 단위 영역의 데이터는, 상기 화상 데이터에 기초하는 데이터에 있어서의 미리 정해진 라인수만큼의 데이터인 상기 (4) 또는 (5)에 기재된 전자 기기.
(8)
상기 단위 영역의 데이터는, 상기 화상 데이터에 기초하는 데이터에 있어서의 사각형 영역의 데이터인 상기 (4) 또는 (5)에 기재된 전자 기기.
(9)
상기 뉴럴 네트워크 계산 모델의 프로그램을 기록하는 메모리를 더 구비하고,
상기 처리부는 상기 메모리로부터 상기 프로그램을 판독하여 실행함으로써, 상기 처리를 실행하는 상기 (1) 내지 (8) 중 어느 한 항에 기재된 전자 기기.
(10)
상기 처리는, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임 검출, 애완동물 검출, 장면 인식, 상태 검출 및 회피 대상물 인식 중 적어도 하나인 상기 (1) 내지 (9) 중 어느 한 항에 기재된 전자 기기.
(11)
상기 얼굴 검출은 화상 데이터에 포함되는 인물의 얼굴을 검출하는 처리이며,
상기 얼굴 인증은 화상 데이터에 포함되는 인물의 얼굴이 미리 등록된 인물의 얼굴과 일치하는지 여부를 인증하는 처리이며,
상기 시선 검출은 화상 데이터에 포함되는 인물의 시선의 방향을 검출하는 처리이며,
상기 표정 인식은 화상 데이터에 포함되는 인물의 표정을 인식하는 처리이며,
상기 얼굴 방향 검출은 화상 데이터에 포함되는 인물의 얼굴의 상하 방향을 검출하는 처리이며,
상기 물체 검출은 화상 데이터에 포함되는 물체를 검출하는 처리이며,
상기 물체 인식은 화상 데이터에 포함되는 물체를 인식하는 처리이며,
상기 움직임 검출은 화상 데이터에 포함되는 동물체를 검출하는 처리이며,
상기 애완동물 검출은 화상 데이터에 포함되는 애완동물을 검출하는 처리이며,
상기 장면 인식은 상기 화상 데이터를 취득했을 때의 장면을 인식하는 처리이며,
상기 상태 검출은 화상 데이터에 포함되는 인물 또는 물체의 상태를 검출하는 처리이며,
상기 회피 대상물 인식은 화상 데이터에 포함되는 회피 대상의 물체를 인식하는 처리인 상기 (10)에 기재된 전자 기기.
(12)
상기 미리 정해진 기능은, 오토 노광 기능, 오토 포커스 기능, 오토 셔터 기능, 및 오토 색 보정 기능 중 적어도 하나인 상기 (1) 내지 (11) 중 어느 한 항에 기재된 전자 기기.
(13)
상기 기능 실행부는, 사용자의 평가를 입력하기 위한 소셜 버튼이 대응지어진 콘텐츠를 재생하는 애플리케이션 소프트웨어를 실행하는 기능을 구비하고,
상기 처리부는, 상기 애플리케이션 소프트웨어가 콘텐츠를 재생 중에, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 표정 인식을 실행하고,
상기 기능 실행부는, 상기 처리부에 의해 인식된 표정에 따라, 상기 소셜 버튼을 이용하여 상기 콘텐츠에 대한 평가를 입력하는 상기 (1) 내지 (11) 중 어느 한 항에 기재된 전자 기기.
(14)
상기 얼굴 인증에 사용되는 생체 정보를 기억하는 비휘발성 메모리를 더 구비하고,
상기 처리부는, 상기 비휘발성 메모리로부터 판독한 상기 생체 정보를 사용하여 상기 얼굴 인증을 실행하는 상기 (2), (10) 또는 (11)에 기재된 전자 기기.
(15)
상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 얼굴 인증을 실행하고,
상기 기능 실행부는, 상기 처리부에 의한 얼굴 인증에 실패한 경우, 상기 화상 데이터를 포함하는 1프레임분의 화상 데이터와 상기 화상 데이터의 촬상 시각을 출력하는 상기 (1) 내지 (14) 중 어느 한 항에 기재된 전자 기기.
(16)
상기 촬상부의 화각을 변경하는 제어 기구를 더 구비하고,
상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 애완동물 검출을 실행하고,
상기 기능 실행부는, 상기 처리부에 의한 애완동물 검출의 결과에 기초하여 상기 제어 기구를 제어하는 상기 (1) 내지 (15) 중 어느 한 항에 기재된 전자 기기.
(17)
상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 상태 검출을 실행하고,
상기 기능 실행부는, 상기 처리부에 의한 상태 검출에 의해 대상자의 이상 상태가 검출된 경우, 미리 등록된 연락처로 상기 이상 상태를 통지하는 상기 (1) 내지 (16) 중 어느 한 항에 기재된 전자 기기.
(18)
상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 제1 회피 대상물 인식을 실행하고,
상기 기능 실행부는, 상기 처리부에 의한 제1 회피 대상물 인식에 의해 진행 방향 전방에 존재하는 회피 대상물이 인식된 경우, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 제2 회피 대상물 인식을 실행하고, 상기 제2 회피 대상물 인식에 의해 상기 진행 방향 전방에 존재하는 상기 회피 대상물이 재인식된 경우, 상기 회피 대상물의 회피 동작을 외부로 지시하는 상기 (1) 내지 (17) 중 어느 한 항에 기재된 전자 기기.
(19)
화상 데이터를 생성하는 촬상부와,
상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 뉴럴 네트워크 계산 모델을 사용한 처리를 실행하는 처리부와,
상기 처리의 결과를 출력하는 출력부를 구비하는 고체 촬상 장치.
1, 3, 4, 5, 6: 전자 기기
10: 이미지 센서
11: 촬상부
101: 화소 어레이부
104: 광학계
12: 컨트롤부
13: 신호 처리부
14: DSP
15: 메모리
16: 선택기
17: 디스플레이
20: 애플리케이션 프로세서
21: 제어 기구
30: 클라우드 서버
31: CPU
32: IMU
40: 네트워크
43: 비휘발성 메모리

Claims (19)

  1. 화상 데이터를 생성하는 촬상부와,
    상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 뉴럴 네트워크(neural network) 계산 모델에 기초하는 처리를 실행하는 처리부와,
    상기 처리의 결과에 기초하여, 미리 정해진 기능을 실행하는 기능 실행부와,
    변위를 검출하는 검출부를 구비하고,
    상기 처리부는, 상기 검출부가 변위를 검출한 경우, 상기 처리를 실행하는, 전자 기기.
  2. 제1항에 있어서,
    상기 기능 실행부는 상기 전자 기기의 화면 잠금을 설정/해제하는 기능을 구비하고,
    상기 처리부는, 상기 전자 기기의 화면 잠금이 설정된 상태에서 상기 검출부가 상기 전자 기기의 변위를 검출한 경우, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 얼굴 인증을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의한 얼굴 인증에 성공한 경우, 상기 전자 기기의 화면 잠금을 해제하는, 전자 기기.
  3. 제1항에 있어서,
    상기 기능 실행부는, 상기 전자 기기의 화면의 표시 방향을 회전시키는 기능을 구비하고,
    상기 처리부는, 상기 검출부가 상기 전자 기기의 변위를 검출한 경우, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 얼굴 방향 검출을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의해 검출된 얼굴의 상하 방향에 따라, 상기 전자 기기의 화면의 표시 방향을 제어하는, 전자 기기.
  4. 제1항에 있어서,
    상기 처리부는, 동일 프레임의 상기 화상 데이터에 기초하는 데이터에 있어서의 최초로 입력된 단위 영역의 데이터에 대해 CNN(Convolution Neural Network)을 이용한 처리를 실행하는, 전자 기기.
  5. 제4항에 있어서,
    상기 처리부는, 상기 최초로 입력된 단위 영역의 데이터에 대한 상기 CNN을 이용한 처리에 실패한 경우, 상기 동일 프레임의 화상 데이터에 기초하는 데이터에 있어서의 다음으로 입력된 단위 영역의 데이터에 대해 RNN(Recurrent Neural Network)을 이용한 처리를 실행하는, 전자 기기.
  6. 제4항에 있어서,
    상기 촬상부로부터 라인 단위로 화상 데이터를 판독하는 컨트롤부를 더 구비하고,
    상기 단위 영역의 데이터는, 상기 화상 데이터에 기초하는 데이터에 있어서의 상기 라인 단위의 데이터이며,
    상기 처리부에는, 상기 라인 단위로 상기 데이터가 입력되는, 전자 기기.
  7. 제4항에 있어서,
    상기 단위 영역의 데이터는, 상기 화상 데이터에 기초하는 데이터에 있어서의 미리 정해진 라인수만큼의 데이터인, 전자 기기.
  8. 제4항에 있어서,
    상기 단위 영역의 데이터는, 상기 화상 데이터에 기초하는 데이터에 있어서의 사각형 영역의 데이터인, 전자 기기.
  9. 제1항에 있어서,
    상기 뉴럴 네트워크 계산 모델의 프로그램을 기록하는 메모리를 더 구비하고,
    상기 처리부는 상기 메모리로부터 상기 프로그램을 판독하여 실행함으로써, 상기 처리를 실행하는, 전자 기기.
  10. 제1항에 있어서,
    상기 처리는, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임 검출, 애완동물 검출, 장면 인식, 상태 검출 및 회피 대상물 인식 중 적어도 하나인, 전자 기기.
  11. 제10항에 있어서,
    상기 얼굴 검출은 화상 데이터에 포함되는 인물의 얼굴을 검출하는 처리이며,
    상기 얼굴 인증은 화상 데이터에 포함되는 인물의 얼굴이 미리 등록된 인물의 얼굴과 일치하는지 여부를 인증하는 처리이며,
    상기 시선 검출은 화상 데이터에 포함되는 인물의 시선의 방향을 검출하는 처리이며,
    상기 표정 인식은 화상 데이터에 포함되는 인물의 표정을 인식하는 처리이며,
    상기 얼굴 방향 검출은 화상 데이터에 포함되는 인물의 얼굴의 상하 방향을 검출하는 처리이며,
    상기 물체 검출은 화상 데이터에 포함되는 물체를 검출하는 처리이며,
    상기 물체 인식은 화상 데이터에 포함되는 물체를 인식하는 처리이며,
    상기 움직임 검출은 화상 데이터에 포함되는 동물체를 검출하는 처리이며,
    상기 애완동물 검출은 화상 데이터에 포함되는 애완동물을 검출하는 처리이며,
    상기 장면 인식은 상기 화상 데이터를 취득했을 때의 장면을 인식하는 처리이며,
    상기 상태 검출은 화상 데이터에 포함되는 인물 또는 물체의 상태를 검출하는 처리이며,
    상기 회피 대상물 인식은 화상 데이터에 포함되는 회피 대상의 물체를 인식하는 처리인, 전자 기기.
  12. 제1항에 있어서,
    상기 미리 정해진 기능은, 오토 노광 기능, 오토 포커스 기능, 오토 셔터 기능, 및 오토 색 보정 기능 중 적어도 하나인, 전자 기기.
  13. 제1항에 있어서,
    상기 기능 실행부는, 사용자의 평가를 입력하기 위한 소셜 버튼(social button)이 대응지어진 콘텐츠를 재생하는 애플리케이션 소프트웨어를 실행하는 기능을 구비하고,
    상기 처리부는, 상기 애플리케이션 소프트웨어가 콘텐츠를 재생 중에, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 표정 인식을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의해 인식된 표정에 따라, 상기 소셜 버튼을 이용하여 상기 콘텐츠에 대한 평가를 입력하는, 전자 기기.
  14. 제2항에 있어서,
    상기 얼굴 인증에 사용되는 생체 정보를 기억하는 비휘발성 메모리를 더 구비하고,
    상기 처리부는, 상기 비휘발성 메모리로부터 판독한 상기 생체 정보를 사용하여 상기 얼굴 인증을 실행하는, 전자 기기.
  15. 제1항에 있어서,
    상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 얼굴 인증을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의한 얼굴 인증에 실패한 경우, 상기 화상 데이터를 포함하는 1프레임분의 화상 데이터와 상기 화상 데이터의 촬상 시각을 출력하는, 전자 기기.
  16. 제1항에 있어서,
    상기 촬상부의 화각을 변경하는 제어 기구를 더 구비하고,
    상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 애완동물 검출을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의한 애완동물 검출의 결과에 기초하여 상기 제어 기구를 제어하는, 전자 기기.
  17. 제1항에 있어서,
    상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 상태 검출을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의한 상태 검출에 의해 대상자의 이상 상태가 검출된 경우, 미리 등록된 연락처로 상기 이상 상태를 통지하는, 전자 기기.
  18. 제1항에 있어서,
    상기 처리부는, 상기 촬상부로부터 판독된 상기 화상 데이터에 기초하는 데이터에 대해 상기 뉴럴 네트워크 계산 모델을 사용한 제1 회피 대상물 인식을 실행하고,
    상기 기능 실행부는, 상기 처리부에 의한 제1 회피 대상물 인식에 의해 진행 방향 전방에 존재하는 회피 대상물이 인식된 경우, 상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 제2 회피 대상물 인식을 실행하고, 상기 제2 회피 대상물 인식에 의해 상기 진행 방향 전방에 존재하는 상기 회피 대상물이 재인식된 경우, 상기 회피 대상물의 회피 동작을 외부로 지시하는, 전자 기기.
  19. 화상 데이터를 생성하는 촬상부와,
    상기 촬상부로부터 판독된 화상 데이터에 기초하는 데이터에 대해 뉴럴 네트워크 계산 모델을 사용한 처리를 실행하는 처리부와,
    상기 처리의 결과를 출력하는 출력부를 구비하는, 고체 촬상 장치.
KR1020217003730A 2018-08-31 2019-08-29 전자 기기 및 고체 촬상 장치 KR20210052441A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2018-163700 2018-08-31
JP2018163700 2018-08-31
JPJP-P-2019-152201 2019-08-22
JP2019152201 2019-08-22
PCT/JP2019/034022 WO2020045598A1 (ja) 2018-08-31 2019-08-29 電子機器及び固体撮像装置

Publications (1)

Publication Number Publication Date
KR20210052441A true KR20210052441A (ko) 2021-05-10

Family

ID=69642811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003730A KR20210052441A (ko) 2018-08-31 2019-08-29 전자 기기 및 고체 촬상 장치

Country Status (7)

Country Link
US (1) US11889177B2 (ko)
EP (1) EP3846442A4 (ko)
JP (1) JP7386792B2 (ko)
KR (1) KR20210052441A (ko)
CN (1) CN112585942B (ko)
TW (1) TWI820194B (ko)
WO (1) WO2020045598A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6635222B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11375968B2 (en) 2020-04-06 2022-07-05 GE Precision Healthcare LLC Methods and systems for user and/or patient experience improvement in mammography
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183775A (ja) 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法および撮像素子
JP2018061290A (ja) 2014-07-23 2018-04-12 ソニー株式会社 撮像装置、撮像方法、及びプログラム

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
ATE335246T1 (de) 2001-01-22 2006-08-15 Hand Held Prod Inc Optischer leser mit teilbild-ausschnitt-funktion
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP2005128967A (ja) * 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
US20060242434A1 (en) * 2005-04-22 2006-10-26 Tsung-Jen Lee Portable device with motion sensor
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
US20090258667A1 (en) * 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
CN101205772B (zh) * 2006-12-18 2012-06-06 汉王科技股份有限公司 人脸识别无锁孔报警防盗门锁
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
TWI359381B (en) * 2007-12-25 2012-03-01 Htc Corp Method for unlocking a locked computing device and
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP4816768B2 (ja) 2009-06-22 2011-11-16 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
JP2011035771A (ja) 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP2011160044A (ja) 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 撮像装置
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5184570B2 (ja) * 2010-03-24 2013-04-17 株式会社エヌ・ティ・ティ・ドコモ 情報端末及び表示切替方法
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5934653B2 (ja) * 2010-11-29 2016-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
KR101739380B1 (ko) * 2011-04-11 2017-06-08 삼성전자주식회사 디지털 영상 촬영 장치 및 방법
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
US9894294B2 (en) 2013-01-25 2018-02-13 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) * 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6338436B2 (ja) 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
CN109644230B (zh) * 2016-08-25 2020-10-30 佳能株式会社 图像处理方法、图像处理装置、图像拾取装置和存储介质
JP6848301B2 (ja) * 2016-09-26 2021-03-24 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法
JP2018081545A (ja) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018116589A (ja) 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP2018133749A (ja) 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP6780537B2 (ja) 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) * 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
US10275670B1 (en) * 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061290A (ja) 2014-07-23 2018-04-12 ソニー株式会社 撮像装置、撮像方法、及びプログラム
JP2017183775A (ja) 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法および撮像素子

Also Published As

Publication number Publication date
JPWO2020045598A1 (ja) 2021-09-24
US11889177B2 (en) 2024-01-30
TWI820194B (zh) 2023-11-01
JP7386792B2 (ja) 2023-11-27
EP3846442A4 (en) 2021-09-15
US20210297585A1 (en) 2021-09-23
TW202032968A (zh) 2020-09-01
EP3846442A1 (en) 2021-07-07
CN112585942A (zh) 2021-03-30
WO2020045598A1 (ja) 2020-03-05
CN112585942B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI785049B (zh) 成像裝置、固態影像感測器及電子裝置
TWI759433B (zh) 成像設備及電子裝置
JP7386792B2 (ja) 電子機器及び固体撮像装置
US11119633B2 (en) Information processing device and method
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
JPWO2018221039A1 (ja) ぶれ補正装置及び撮像装置
JP2021108427A (ja) 撮像装置および撮像装置の製造方法
JP6646347B2 (ja) 固体撮像装置および電子機器
WO2020202648A1 (ja) 撮像装置、撮像信号処理装置、撮像信号処理方法
JP2022143220A (ja) 撮像装置、撮像方法及び電子機器
JPWO2020174876A1 (ja) レンズ鏡筒及び撮像装置

Legal Events

Date Code Title Description
A201 Request for examination