Рейтинг:  5 / 5

Звезда активнаЗвезда активнаЗвезда активнаЗвезда активнаЗвезда активна
 

SyNAPSE Project

SyNAPSE Project (USA)
Проект SyNAPSE (США)

SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) - DARPA-funded program, USA.
The stated purpose is to "investigate innovative approaches that enable revolutionary advances in neuromorphic electronic devices that are scalable to biological levels.
Laboratories/Organizations: The project is primarily contracted to IBM and HRL who in turn subcontract parts of the research to various US universities and companies (All participants).


ОглавлениеAGI
Краткое описание проекта - Project Description
Хроника проекта - Project Timeline
Структура проекта - Project Research Areas
Участники проекта - Project Participants
Взаимосвязанные проекты - Related Projects
Ссылки на источники информации - References


Краткое описание проекта - Project Description

Проект SyNAPSE представляет собой долговременную программу агенства DARPA, целью которой является развитие технологий электронных нейроморфных машин, масштаб которых доходит до биологических уровней. Проще говоря, это попытка построить новый вид когнитивного компьютера с формой, функциями и архитектурой, подобными мозгу млекопитающих.
Например, такой искусственный мозг будут использовать в роботах, чей интеллект будет сопоставим с нервной системой с точки зрения общего количества нейронов, синапсов и соединений.


Хроника проекта - Project Timeline

2007 Подготовительный этап
В апреле 2007 г. Тод Хилтон (Todd Hylton) присоединяется к DARPA, чтобы начать проект SyNAPSE и другие проекты. Становится первым менеджером проекта.

2007: Developed a massively parallel cortical simulator and demonstrated simulation at unprecedented scale of ~4×1011 synapses on Blue Gene/L.

2008 Апрель – DARPA публикует предложение для предварительных заявок на проект Systems of Neuromorphic Adaptive Plastic Scalable Electronics (SyNAPSE).
04.09.2008 Публикация объявления о проекте Solicitation Number: BAA08-28 (смотри оригинальный документ .doc) (смотри извлечение ниже).
Определены цели и задачи проекта, примерный объем финансирования. Потенциальные участники проекта могут подавать соответствующие заявки.
  Извлечение
За шесть десятилетий современная электроника развивалась через серию крупных разработок (например, транзисторов, интегральных микросхем, памяти, микропроцессоров), ведущих к программируемым электронным машинам, широко распространенным сегодня.
Эти машины из-за ограничений, как в аппаратных средствах, так и в архитектуре, имеют ограниченную полезность в сложных, реальных средах, требующих интеллекта, который еще не был включен в парадигмы алгоритмических вычислений.
Программа Synapse стремится нарушить эту парадигму программируемой машины и определить новый путь движения вперед для создания полезных, интеллектуальных машин.

Целью программы DARPA СИНАПС является разработка технологии электронного нейроморфного устройства, которая является масштабируемой до биологических уровней. Программируемые устройства ограничены не только их вычислительной мощностью, но и  архитектурой, требующей создаваемых человеком алгоритмов, как для описания, так  и для обработки информации из окружающей среды. В противоположность этому, биологические нейронные системы автономно обрабатывают информацию в сложных средах, автоматически обучаясь на основе соответствующих, вероятностно стабильных характеристик и ассоциаций. Поскольку системы реального мира всегда имеют дело с задачами многих тел с бесконечной комбинаторной сложностью, нейроморфные электронные устройства были бы более предпочтительными в целом ряде приложений, но полезные и практические реализации пока не существуют.

Ключом к достижению целей программы СИНАПС станет беспрецедентный междисциплинарный подход, который может координировать агрессивную деятельность по разработке технологий в следующих областях:
1. Аппаратные средства
2. Архитектура
3. Моделирование;
4. Среда.

Аппаратные средства – реализация, скорее всего, будет включать КМОП-схемы, новые синаптические компоненты, а также сочетания проводниковых и программируемых/виртуальных межсоединений. Они будут поддерживать критически важные методы обработки информации, наблюдаемые в биологических системах, такие как кодирование нейроимпульсов (спайков) и зависящей от времени пластичности спайков.

Архитектура – должна поддерживать критически важные структуры и функции, наблюдаемые в биологических системах, такие как connectivity, иерархическую организацию, схему ядерной структуры, конкурентную самоорганизацию, модуляторные/обучаемые системы. Как и в биологических системах, обработка информации должна быть максимально распределенной, нелинейной и устойчивой к шумам и отказам.

Моделирование – крупно-масштабные цифровые имитации схем и систем должны подтверждать функционирование компонентов и всей системы и обеспечивать информирование о разработке всей системы в продвижении к реализации нейромофных аппаратных средств.

Среда – развивающиеся виртуальные платформы для испытания, оценивания и сравнительного анализа интеллектуальных устройств в различных аспектах восприятия, познания и реагирования.

Реализация этой амбициозной цели потребует сотрудничества в многочисленных технических областях, таких как нейровычисления, искусственные нейронные сети, сверхпроизводительные вычисления, нейроморфные интегральные схемы, информатика, когнитология, материаловедение, нетрадиционная наноэлектроника, проектирование и производство КМОП-схем.

Фазы проекта
Ни одна из фаз не должна превышать 18 месяцев.
Ближайшие цели  задаются для 2008 года перед стартом проекта.
Цели для каждой фазы могут меняться по времени в зависимости от результатов завершенных фаз.

2008 Октябрь – Объявлены выигравшие заявки исполнителей проекта (Список)
2008 Фаза 0 проекта - Предварительный этап (Начало - ноябрь 2008 г., завершение - август 2009 г.)
Разработка технико-экономического обоснования проекта (в течение девяти месяцев)
See IBM Communications: Phase 0
Цели (для Фазы 0):
Аппаратные средства: Продемонстрировать электронный синаптический компонент, обладающий свойствами: spike-timing-dependent plasticity (STDP) и характеристиками:
Synaptic density scalable to >10-10/cm2
Operating speed >10 Hz
Consumes < 10-12 Joules per synaptic operation at scale
Dynamic range of synaptic conductance > 10
Synaptic conductance increase >1%/pulse for presynaptic spike applied somewhere <80-1 msec before a postsynaptic spike
Synaptic conductance decrease >1%/pulse for presynaptic spike applied somewhere within 1-80 msec after postsynaptic spike
0%-0.02% conductance decrease if presynaptic spike applied > 100 msec before or after postsynaptic spike
Performance maintained over 3 x 10-8 synaptic operations

Архитектура – Разработать спецификацию и подтвердить с помощью моделирования функции сборочных узлов из микросхем нейронных ядер, использующих измеряемые синаптические свойства. Выбранные микросхемы должны поддерживать архитектуру системы большего масштаба и демонстрировать свойства: spike time encoding, spike time dependent plasticity, and competitive neural dynamics.

2008 Ноябрь - Запуск проекта
Выделено финансирование по крайней мере 10,8 млн. дол.
2009 HP и    выходят из проекта, начав собственный проект MONETA и EX
2009 14.11.2009  В Ливерморской национальной лаборатории (Lawrence Livermore National Laboratory) на суперкомпьютере Blue Gene/P успешно проведена имитация неокортекса на уровне кошки в режиме (~643 x slower than real time).
Статья: The cat is out of the bag.
In 2009, Modha's group performed cortical simulations at scale of cat cerebral cortex (one billion neurons, 10 trillion synapses) on a BlueGene/P supercomputer. This work received ACM’s Gordon Bell Prize.

2009: Developed a massively parallel cortical simulator and demonstrated simulation at unprecedented scale of 1013 synapses on Blue Gene/P.

2009 Фаза 1 проекта (старт – ноябрь 2009 г., завершение ориентировочно - июль 2011 г.)
See IBM Communications: Phase 1
Цели (для Фазы 1):
Аппаратные средства и Архитектура:
- Продемонстрировать все функции микросхемы с нейронными ядрами в виде аппаратных средств
- Разработать спецификацию процесса производства, поддерживающего архитектуру с числом элементов > 10-10 synapse/cm2, > 10-6 neurons/cm2
- Продемонстрировать методологию проектирования нейроморфных устройств, которая может задавать все компоненты, подсистемы и связи целостной системы.
- Разработать спецификацию соответствующей электронной реализации методологии нейроморфного проектирования, поддерживающей > 10-14 синапсов, > 10-10 нейронов, связи для млекопитающих < 1 kW, < 2 L

Моделирование – Продемонстрировать динамическую нейронную активность, стабильности сети, синаптическую пластичность и самоорганизацию в ответ на сенсорную стимуляцию и модуляцию на системном уровне / обучение с подкреплением в системе ~ 10-6  нейронов

Среда - Продемонстрировать виртуальные среды с визуальным восприятием, принятием решений и планированием, а также навигацией с выбираемым диапазоном сложности,  соответствующей примерно возможностям, демонстрируемым в  диапазоне ~ 10-4 размера мозга у малых и средних особей млекопитающих.

2009 Август  Выделено финансирование на выполнение фазы 1 проекта:
IBM - 16,1 млн. дол., HRL - 10,7 млн. дол.
2009 Сентябрь Начало фазы 1
2009 Ноябрь – Объявлено о имитации мозга на уровне кошки
2010 In 2010, Modha,s group compiled, visualized, and analyzed the largest long-distance network currently in existence of the Macaque monkey brain.
2011 Первоначально одной из главных целей Фазы 1 было: продемонстрировать имитацию нервной системы в один миллион нейронов, действующей на уровне мыши в виртуальной среде. 
18.08.2011 IBM - Представлен нейроморфный чип, содержащий 256 нейронов и ~ 250 000 синапсов. Он может учиться распознавать рукописные цифры и играть в теннис.
Декабрь – HRL - объявлено о реализации первого мемристорного чипа.
Проект SyNAPSE назван одной из лучших инноваций 2011 года.

In 2011, Modha's team demonstrated two path-breaking neurosynaptic cores that move beyond von Neumann computers and programming to ultra-low, super-dense brain-inspired cognitive computing chips.

2011: Presented the vision of bringing together neuroscience, supercomputing, and nanotechnology to discover, demonstrate, and deliver the brain's core algorithms.

2011: Demonstrated a neurosynaptic core comprising 256 neurons and 256×256 binary synapses with on-chip learning based on spike-timing dependent plasticity.

2011: Demonstrated a key building block of a novel architecture, namely, a neurosynaptic core, with 256 digital integrate-and-fire neurons and a 1024×256 bit SRAM crossbar memory for synapses using IBM 45nm SOI process. For more design details, see here.
2011 31.08.2011 Выделено финансирование на выполнение фазы 2 проекта:
IBM - 21,0 млн. дол. (August 2011), HRL - 17.9 млн. дол. (July 2011)
2012 Фаза 2 проекта (Январь 2012 г.  – настоящее время)

See IBM Communications: Phase 2
Цели
(для фазы 2):
Аппаратные средства и Архитектура:
Chip fabrication of >1010 synapse/cm2, >106 neurons/cm2
Design a complete neural system of ~1010 synapses and ~106 neurons for simulation testing
Design a corresponding single chip neural system of ~1010 synapses and ~106 neurons

Моделирование:
Demonstrate a simulated neural system of ~106 neurons performing at mouse level in the virtual environment

Среда:
Expand the Sensory Environment to include training and evaluation of Auditory Perception and Proprioception
Expand the Navigation Environment to include features stressing Competition for Resources and Survival
Demonstrate a selectable range of complexity corresponding roughly to the capabilities demonstrated across a ~106 range in brain size mammalian species

2012 Февраль - Тод Хилтон покидает DARPA, Джил Пратт (Gill Pratt) становится новым менеджером проекта.
2012 23.03.2012 HRL Labs демонстрирует первый функционирующий массив мемристоров, наложенных на обычные полупроводниковых КМОП-схемы. Статья: press release and the full science paper.
2012 Май - Опубликован проект нейроморфной архитектуры TrueNorth.
Статья: A Neuromorphic Architecture for Object Recognition and Motion Anticipation Using Burst-STDP
15.05.2012 Статья: Paper published describing a minimal framework neuromorphic architecture for object recognition and motion anticipation. The architecture contains 766 spiking artificial neurons which could be deployed on IBM's neurosynaptic core. Developed by the DARPA SyNAPSE researchers at the University of Wisconsin-Madison.
30.05.2012 New video tour of IBM's Brain Lab given by project manager Dharmendra Modha.
06.06.2012 Paper published describing how the SyNAPSE project's 256-neuron neuromorphic chip was used to capture essential functional properties of olfactory bulb glomerular-layer computations.
15.11.2012 IBM - объявлено о имитации 530 млн. нейронов с помощью архитектуры TrueNorth и симулятора Compass Статья: Compass: A scalable simulator for an architecture for Cognitive Computing
In 2012, using 96 Blue Gene/Q racks of the Lawrence Livermore National Lab Sequoia supercomputer (1,572,864 processor cores, 1.5 PB memory, 98,304 MPI processes, and 6,291,456 threads), Modha's group achieved an unprecedented scale of 2.084 billion neurosynaptic cores containing 530 billion neurons and 137 trillion synapses running only 1542 times slower than real time.

2012: Demonstrated several applications of the neurosynaptic core: (i) a robot driving in a virtual environment, (ii) the classic game of pong, (iii) visual digit recognition and (iv) an autoassociative memory.

2012: Demonstrated a biomimetic system that captures essential functional properties of the glomerular layer of the mammalian olfactory bulb.

2012: Developed a new non-von Neumann, modular, parallel, distributed, fault-tolerant, event-driven, scalable architecture inspired by the function, low power, and compact volume of the organic brain. The architecture comprises of a scalable network of configurable neurosynaptic cores.

2012: Developed a new multi-threaded, massively parallel functional simulator for the new architecture and a parallel compiler.

2012: Demonstrated the simulation of the new architecture at unprecedented scale of 1014 synapses on Blue Gene/Q.
2013 Январь 2013 - программа находится на стадии фазы 2, третьей из пяти этапов.
Это предполагает, среди прочего, проектирование системы из мультичипов, способной эмулировать 1 млн. нейронов и 1 млрд синапсов.
Согласно начальным требованиям программы, фаза не должна длиться дольше, чем 18 месяцев. Это означает, что конструкция с миллионом нейронов должна быть завершена до февраля 2013 года. Создание этой системы перейдет в фазу 3, которая должна быть завершена в августе 2014 года.
2013: Visualized Connectivity of a Cognitive Computer Based on the Macaque Brain.
2013 Февраль Ожидаемый анонс многоядерных нейро-синаптических процессоров. Каждый процессор, содержащий 1 млн. нейронов (256 нейронов на ядро, примерно 4,000 ядер в одном процессоре).
2013 Фаза 3 проекта март (предполагаемое время начала – конец 2012 г. – начало 2013 г.)

See IBM Communications: Phase 3
Цели
(для Фазы 3):
Изготовить одно-процессорную микросхему нервной системы с числом элементов около 10-6 нейронов (1 млн.) в виде полностью функционирующего сборочного узла.
Показать производительности в виртуальной среде на уровне мыши.
Создать проект нервной системы с числом элементов около 10-12 синапсов (1 трлн.) и около 10-8 нейронов (100 млн.) для тестирования моделирования
Создать проект соответствующей одно-процессорной нервной системы с числом элементов около 10-12 синапсов (1 трлн.) и около 10-8 нейронов (100 млн.)
Продемонстрировать имитируемую нейронную систему с числом элементов около 10-8 нейронов, функционирующую на уровне кошки.
Добавить осязания в сенсорную среду.
Добавить символическую среду.

После завершения этапов 0, 1, 2, IBM и соисполнителям проекта (Cornell University и iniLabs, Ltd) агентство DARPA выделило дополнительно около 12 млн. долларов для Фазы 3 проекта Synapse, в результате чего совокупное финансирование составило около 53 млн. долларов.

2013 In 2013, Modha's team unveiled a software ecosystem to program SyNAPSE consisting of a new functional simulator for the new architecture; a new neuron model; a new programming model; a new library of cognitive algorithms and applications, an end-to-end software development environment, and a teaching curriculum; and new conceptual models for cognitive systems.
Последние результаты описаны в четырех работах:

- Developed a simple, digital, reconfigurable, versatile spiking neuron model that supports one-to-one equivalence between hardware and simulation and is implementable using only 1272 ASIC gates.
- Developed a new programming paradigm that permits construction of complex cognitive algorithms and applications while being efficient for our cognitive computing chip architecture and effective for programmer productivity.
- Developed a set of abstractions, algorithms, and applications that are natively efficient for our cognitive computing architecture. These applications span in scale from 102 to 107 synapses.
- Envisioned a set of industrial design models to communicate SyNAPSE's value for science, technology, government, business and society.

2014 Фаза 4 проекта
Ориентировочно начало: конец 2013 г. - конец 2015 г.; дата завершения: конец 2014 г. - конец 2017 г.

Цели
(для Фазы 4):
Конечной целью является изготовление много-процессорной нервной системы с числом элементов 10-8 нейронов (100 миллионов) и установка ее в робота, который действует на уровне кошки.
2014 Октябрь -  Фаза 4 (начало – предполагаемая дата)
   
2015  
   
2016 Окончание программы  (ориентировочно)
   

 


Структура проекта - Project Research Areas

 


Участники проекта - Project Participants

Modha, Dharmendra S.

Dharmendra Modha
Senior Manager, IBM's Cognitive Computing initiative
IBM Research - Almaden, San Jose, CA, USA
IBM Research

 

Dr. Dharmendra Modha is the founder of IBM’s Cognitive Computing group at IBM Research – Almaden and the principal investigator for DARPA SyNAPSE team globally. In this role, Dr. Modha leads a global team across neuroscience, nanoscience and supercomputing to build a computing system that emulate the brain’s abilities for perception, action, and cognition – all while consuming many orders of magnitudes less power and space than today’s computers.

Narayan Srinivasa, manager of HRL's Center for Neural and Emergent Systems
HRL Laboratories (HRL)


Взаимосвязанные проекты - Related Projects

  


Ссылки на источники информации - References

http://en.wikipedia.org/wiki/SyNAPSE

- специалисты по искусственному интеллекту вовсю создают новые модели.

Есть и более громоздкая модель с 1,6 миллиарда нейронов, сопоставимая по числу нейронов и синапсов с кошачьим мозгом (Rajagopal Ananthanarayanan et al., 2009. The cat is out of the bag: cortical simulations with 109 neurons, 1013 synapses, PDF, 2,07 Мб).
Во всех этих моделях делается упор на количество проводящих путей, на количество и параметры связей между ними. Показателем реалистичности служит, как правило, сходство с электрофизиологическими характеристиками целого мозга и его частей или выполнение какой-либо одной элементарной функции.