Оглавление

Патрик Лэнгли, Джон Лэйрд, Сет Роджерс. Когнитивные архитектуры: вопросы и проблемы исследований (перевод)

1. Предыстория и мотивация
2. Образцы когнитивных архитектур
3. Возможности когнитивных архитектур
    3.1. Распознавание и категоризация
    3.2. Принятие решений и выбор
    3.3. Восприятие и оценивание ситуации
    3.4. Прогнозирование и мониторинг
    3.5. Решение задач и планирование
    3.6. Обеспечение рассуждений и убеждений
    3.7. Исполнение и действие
    3.8. Взаимодействие и общение
    3.9. Запоминание, отражение и обучение
4. Свойства когнитивных архитектур
    4.1. Представление знаний
    4.2. Организация знаний
    4.3. Использование знаний
    4.4. Приобретение и совершенствование знаний
5. Критерии оценки когнитивных архитектур
    5.1. Общность, универсальность и разносторонность
    5.2. Рациональность и оптимальность
    5.3. Эффективность и масштабируемость
    5.4. Реактивность и живучесть
    5.5. Способность к совершенствованию
    5.6. Автономность и длительность работы
6. Открытые вопросы в когнитивных архитектурах
Приложение. Представительные когнитивные архитектуры
Литература - References

Когнитивные архитектуры: вопросы и проблемы исследований
Патрик Лэнгли, Джон Лэйрд, Сет Роджерс

Перевод КА01: Тимофеев А.В. (ред.), Тимофеев В.Ф., Project-AI.org Team, 2013 г.

Источник: Pat Langley /a, John E. Laird /b, Seth Rogers /a, Cognitive architectures: Research issues and challenges, Cognitive Systems Research Volume 10, Issue 2, June 2009, Pages 141–160. doi:10.1016/j.cogsys.2006.07.004
/a Computational Learning Laboratory, Center for the Study of Language and Information, Stanford University, Stanford, CA, USA
/b EECS Department, The University of Michigan, Ann Arbor, MI, USA

1. Предыстория и мотивация

Когнитивная архитектура определяет базовую инфраструктуру интеллектуальной системы. Вкратце, архитектура включает в себя те аспекты когнитивного агента, которые постоянны во времени и в различных областях применения.

Они, как правило, включают в себя:
- краткосрочную и долгосрочную память, в которых хранится содержимое об убеждениях (beliefs), целях и знаниях агента;
- представление элементов, которые содержатся в этих видах памяти, и их организацию в крупномасштабные ментальные структуры;
- функциональные процессы, которые действуют в этих структурах, в том числе механизмы обеспечения производительности, которые их используют, и механизмы обучения, которые их изменяют.

Поскольку содержимое видов памяти агента может меняться с течением времени, можно было бы не рассматривать знания и убеждения, закодированные в них для того, чтобы быть частью архитектуры этого агента. Так же, как различные программы могут работать на одной и той же архитектуре компьютера, так и различные базы знаний и убеждения могут быть интерпретированы одной и той же когнитивной архитектурой. Существует также прямая аналогия с архитектурой здания, состоящего из постоянных частей, таких как его основание, крыша и помещения, а не с мебелью и техникой, которые можно перемещать или заменять.

Как мы увидим, альтернативные когнитивные архитектуры могут отличаться в части конкретных предположений, которые в них сделаны по этим вопросам, так же, как различные здания отличаются схемами своего расположения. В дополнение к принятию различных обязательств о том, как представлять, приобретать или использовать знания и убеждения, могут потребоваться альтернативные структуры, более или менее встроенные в этот архитектурный уровень, так же, как в некоторых зданиях полки и шкафы вставлены в их стационарных сооружения, тогда как у других те же функции выполняются с помощью сменной мебели.

Исследования когнитивных архитектур важны, потому что они поддерживает главную цель искусственного интеллекта и когнитивной науки: создание и понимание искусственных агентов, которые поддерживают те же возможности, что и люди. Некоторые работы сосредоточены на моделировании инвариантных аспектов человеческого познания, в то время как в других работах архитектуры рассматриваются в качестве эффективного пути к созданию интеллектуальных агентов. Тем не менее, эти цели не противоположны друг другу; когнитивная психология и искусственный интеллект имеют долгую историю строительства на основе других идей [Langley, 2006], и исследования когнитивных архитектур сыграли ключевую роль в этом полезном обмене идеями.

В некотором смысле, когнитивные архитектуры составляют антитезу экспертным системам, которые обеспечивают квалифицированное поведение в узко определенном контексте. В противоположность этому, исследование архитектур направлено на широту охвата через разнообразный набор задач и областей. Что более важно, оно предлагает учет интеллектуального поведения на системном уровне, а не на уровне методов отдельных компонентов, предназначенных для решения специализированных задач. Ньюэлл [Newell, 1973b] убедительно доказывает это для исследования системного уровня в когнитивной науке и искусственном интеллекте, утверждая "Вы не можете играть с природой в игру на 20 вопросов и победить".

Вместо проведения микроисследований, которые адресованы лишь к одному вопросу в один момент времени, мы должны пытаться объединить множество полученных данных на единой теоретической основе, а затем переходить к проверке и уточнению этой теории.

Начиная с этого призыва к действию, наблюдается постоянный поток исследований когнитивных архитектур. Это движение было изначально связано с определенным классом архитектур, известных как продукционные системы [Newell, 1973b], [Neches, Langley, Klahr, 1987] и направленных на объяснение психологических явлений, причем многие нынешние архитектуры-кандидаты по-прежнему имеют ту же форму и аналогичные интересы.

Тем не менее, в течение последних трех десятилетий появилось множество других классов архитектур, которые меньше озабочены поведения человека, а делают совершенно разные предположения о представлении, организации, приобретении и использовании знаний.

По крайней мере, три проведенных симпозиума собрали приглашенных исследователей в этой области [Laird, 1991], [VanLehn, 1991], [Shapiro & Langley, 2004], и было издано, по крайней мере, два сборника статей [Sun, 2005], [VanLehn, 1991].

Это движение вышло за пределы фундаментальных исследований в коммерческий сектор с приложениями в виде правдоподобных агентов, действующих в среде тренажеров-симуляторов (например, [Tambe et al., 1995]), компьютерных обучающих систем [Koedinger, Anderson, Hadley, & Mark,1997] и интерактивных компьютерных игр (например, [Magerko, Laird, Assanie, Kerfoot, & Stokes, 2004]). Несмотря на этот прогресс, остается необходимость дополнительных исследований в области когнитивных архитектур. По мере созревания искусственного интеллекта и когнитологии, они раздробились на ряд четко определенных поддисциплин, каждая со своими целями и собственными критериями оценки.

Тем не менее, для коммерческих и государственных приложений все чаще требуются интегрированные системы, которые демонстрируют интеллектуальное поведение, а не только улучшение компонентов таких систем. Это требование может быть выполнено путем оказания повышенного внимания к архитектурам системного уровня, которые поддерживают сложное когнитивное поведение в широком диапазоне соответствующих задач.

В этой статье мы рассмотрим некоторые ключевые вопросы, которые возникают при проектировании и исследовании интегрированных когнитивных архитектур.

Поскольку мы не можем надеяться обследовать все пространство архитектурных теорий, мы сосредоточимся на способности генерировать интеллектуальное поведение, а не на соответствии результатам психологических экспериментов. /1

/1 В работе [Sun (2007)] предоставлено другое рассмотрение когнитивных архитектур, в котором эта вторая тема обсуждается более подробно.

Начнем с краткого обзора некоторых образцов архитектур, затем обсудим возможности и функции, которые такие системы должны поддерживать.

После этого, рассмотрим ряд проектных решений, которые относятся к свойствам когнитивных архитектур, затем приведем некоторые параметры, по которым их следует оценивать.

В заключение отметим некоторые открытые вопросы в этой области и предложим некоторые направления будущих исследований, которые следует предпринять для их решения.

2. Образцы когнитивных архитектур

Прежде чем перейти к абстрактным вопросам, которые возникают в исследованиях когнитивных архитектур, мы должны рассмотреть некоторые конкретные примеры,  которые были описаны в литературе. Здесь мы рассматриваем четыре различные структуры, которые попадают в различные точки пространства архитектур. Мы выбрали эти архитектуры, потому что каждая из них достаточно часто цитируется в литературе, а также потому, что они демонстрируют разную степень связи с объяснением человеческого поведения. Мы выбрали их в связи именно с этим измерением, а не более утонченные психологические модели, пришедшие раньше.

В каждом случае мы обсуждаем, каким образом данная архитектура представляет, организует,  приобретает и использует знания, наряду с ее достоинствами. Поскольку мы рассматриваем только маленький образец существующих архитектур, мы кратко суммируем множество других структур в Приложении. Тем не менее, этот набор должен дать читателям некоторое общее представление о пространстве когнитивных архитектур, которое в последующих разделах обсуждается более явно.

Одна общая особенность архитектур, которые мы рассматриваем, заключается в том, что, хотя у них есть некоторые теоретические обязательства в отношении параллелизма, особенно при поиске в памяти, они также используют один или несколько модулей принятия решений. Мы не включили в наше рассмотрение коннекционистские подходы, потому что, насколько нам известно, они не продемонстрировали широкую функциональность, связанную с когнитивными архитектурами, в том смысле, который мы обсуждаем здесь.

Тем не менее, у них есть возможность служить важными компонентами в крупномасштабных архитектурах, как в когнитивной структуре CLARION [Sun, Merrill и Peterson(2001)].

2.1. ACT

Когнитивная архитектура ACT-R [Anderson & Lebiere, 1998], [Anderson et al., 2004] является последней в семействе когнитивных архитектур ACT, связанных, прежде всего, с моделированием человеческого поведения, которое непрерывно развивается с конца 1970-х годов.

Версия ACT-R6 состоит из набора модулей, каждый из которых обрабатывает различные типы информации. К ним относятся сенсорные модули для обработки визуальных данных, двигательные модули для действий, модуль намерений для целей и декларативный модуль для долгосрочных декларативных знаний. Каждый модуль имеет связанный с ним буфер, который хранит реляционную декларативную структуру – порции памяти (часто называемую 'куски' ‘chunks’, но отличающуюся от тех, которые имеются в архитектуре Soar). Взятые вместе, эти буферы составляют кратковременную память архитектуры ACT-R.

Долговременная память продукционных правил координирует обработку модулей. Условия каждой продукции тестируют порции памяти (chunks) в буферах краткосрочной памяти, в то время как ее действия изменяют применение этих буферов. Некоторые изменения модифицируют существующие структуры, тогда как другие инициируют действия в соответствующих модулях, таких как выполнение команды двигателя или извлечение порции  памяти из долгосрочной декларативной памяти. Каждая порция декларативной памяти имеет активацию соответствующей базы, которая отражает ее прошлое использование и влияет на ее извлечение из долговременной памяти, в то время как каждая продукция имеет ожидаемую стоимость (с точки зрения времени, необходимого для достижения целей) и вероятность успеха.

В каждом цикле АСТ определяет, какие продукции совпадают с содержимым кратковременной памяти. Этот процесс поиска зависит от активации базы для каждой порции памяти, которая ему соответствует. ACT вычисляет полезность (utility) для каждой соответствующей продукции как разницу между ее ожидаемой пользой (желательность ее цели, помноженная на вероятность ее успеха - the desirability of its goal times its probability of success) и ее ожидаемой стоимостью. Система выбирает продукцию с самой высокой полезностью (после добавления шума к этому результату расчета) и выполняет ее действия. Новая ситуация приводит новые продукции к соответствию и исполнению правила и цикл продолжается.

Обучение в ACT-R происходит как на структурном, так и на статистическом уровнях. Например, активация базы порций декларативной памяти увеличивается с использованием продукций, но слабеет в противном случае, тогда как стоимость и вероятность успеха для продукций обновляется на основе их наблюдаемого поведения.

Архитектуру можно полностью обучить новым правилам из решений-образцов в рамках процесса компиляции продукции, который анализирует зависимости многократных исполнений правила, заменяет константы переменными, и объединяет их в новые условия и действия [Taatgen, 2005].

Сообщество ACT-R использует свою архитектуру для моделирования различных явлений экспериментальной психологии, взятых из литературы, включая аспекты памяти, внимания, рассуждений, решения задач и обработки языка. В большинстве публикаций сообщалось о точном совпадении с полученными для человека количественными данными о времени реакции и проценте ошибок. Совсем недавно [Anderson (2007)] связал модули ACT-R с различными областями мозга и разработал модели, которые согласуются с результатами исследований визуализации мозга (brain-imaging studies).

Есть более прикладные применения: эта архитектура играет центральную роль в обучающих системах, которые нашли широкое применение в школах [Koedinger et al., 1997], и она также была использована для управления мобильными роботами, которые взаимодействуют с людьми  [Trafton et al., 2005].

2.2. Soar

Soar  [Laird, 2008], [Laird, Newell,& Rosenbloom, 1987], [Newell, 1990] – это когнитивная архитектура, непрерывное развитие которой ведется с начала 1980-х годов. Процедурные долгосрочные знания в Soar принимают форму продукционных правил, которые в свою очередь, организованы в терминологии операторов, связанных с пространствами задач. Некоторые операторы описывают простые, примитивные действия, которые изменяют внутреннее состояние агента или генерируют примитивные внешние действия, в то время как другие операторы описывают более абстрактные деятельности. На протяжении многих лет Soar представляла все долгосрочные знания в этой форме, но в последнее время были добавлены отдельные эпизодическая память и семантическая память. Эпизодическая память [Nuxoll & Laird, 2007] хранит историю предыдущих состояний, в то время как семантическая память содержит ранее известные факты.

Все задачи в Soar сформулированы как попытки достижения поставленных целей. Операторы выполняют основные делиберативные акты системы, знания используются для динамического определения их выбора и применения. Основной цикл обработки повторно предлагает, выбирает и применяет операторы текущего пространства задач к пространству задач, продвигаясь вперед на одно решение за один момент времени. Однако, когда знаний о выборе оператора недостаточно для определения следующего оператора, который следует  применить, или когда абстрактный оператор не может быть реализован, возникает тупик; в ответ Soar создает новую цель, чтобы определить, какой оператор должен быть выбран, или как должен быть реализован этот абстрактный оператор.

Этот процесс может привести к динамической генерации иерархии целей, в которой задачи разлагаются на подзадачи по мере необходимости. «Состояние» конкретной цели включает в себя все свойства задач, находящихся выше нее в иерархии, плюс любые дополнительные когнитивные структуры, необходимые для выбора и применения операторов в этой подцели. Обработка в подцели включает тот же основной цикл обработки выбора и применения операторов.

Подцели могут также получать делиберативный (deliberately) доступ к эпизодической или семантической памяти, чтобы получить знания, необходимые для выхода из тупика. Верхнее состояние включает в себя все сенсорные данные, полученные из внешней среды, поэтому эта информация также доступна для всех подзадач. В любом цикле, состояния на различных уровнях иерархии целей могут изменяться, как правило, в связи с изменением сенсорных данных или в результате применений операторов в подцелях. Когда система разрешает тупиковую ситуацию, созданную какой-либо целью, эта цель исчезает вместе со всеми подзадачами, расположенными ниже.

Soar имеет несколько механизмов обучения для различных видов знаний: разбиение данных на порции (chunking) и обучение с подкреплением позволяют приобрести процедурные знания, тогда как эпизодическое и семантическое обучение позволяют приобрести соответствующие им виды декларативных знаний. Разбиение данных на порции (chunking) происходит, когда в подцели производится один или несколько результатов [Laird, Rosenbloom,& Newell, 1986]. Когда это происходит, Soar узнает новую порцию данных, представленную, как продукционное правило, которое суммирует обработку, которая сгенерировала эти результаты. Действия какой-либо порции данных основаны на этих результатах, в то время как ее условия основаны на тех аспектах целей, расположенных выше данной подцели, которые имеют отношение к определению этих результатов.

Как только агент узнал порцию данных (обучился), он добавляет ее (fires) и исполняет в новых ситуациях, которые подобны по соответствующим измерениям, что часто сразу дает требуемые результаты, исключая таким образом тупик, который привел к его образованию.

Обучение с подкреплением регулирует числовые значения, связанные с правилами, которые помогают выбрать операторы [Nason & Laird, 2004]. Эпизодическое обучение записывает содержимое рабочей памяти в моментальные снимки (snapshots), в то время как семантическое обучение хранит отдельные элементы рабочей памяти для последующего извлечения.

Исследователи использовали Soar для разработки разнообразных изощренных агентов, которые продемонстрировали впечатляющую функциональность. Наиболее заметным был агент TAC-Air-Soar [Tambe et al., 1995], который моделировал пилотов истребителей в военных учениях, в которых применялись сценарии воздушных боев.

Совсем недавно архитектура Soar стала поддерживаться рядом интеллектуальных агентов, которые управляют синтетическими персонажами в интерактивных компьютерных играх [Magerko et al., 2004]. Другой успех связан с использованием Soar в моделировании деталей обработки человеческого языка [Lewis, 1993], категоризации [Miller & Laird, 1996] и других аспектов познания, но акцент был сделан на демонстрации функциональности высокого уровня, а не на пригодности к количественным измерениям.

2.3. ICARUS

ICARUS  является более новой архитектурой [Langley, Cummings, & Shapiro, 2004], в которой хранятся две различные формы знаний. Концепции (понятия - concepts) описывают классы  ситуаций окружающей среды в терминах других понятий и ощущений (percepts), в то время как навыки (skills) указывают, как достичь целей путем декомпозиции их в упорядоченные подцели. Как концепции, так и навыки включают отношения между объектами, и оба вызывают иерархическую организацию долговременной памяти, причем концепции основываются на ощущениях, а навыки на исполняемых действиях. Кроме того, навыки относятся к концепциям целей, которые достигаются, условиям их инициации и условиям их продолжения.

Базовый интерпретатор архитектуры ICARUS работает в цикле "распознавание-действие" (recognize-act cycle). На каждом шаге архитектура помещает описания видимых объектов в перцепционный буфер. Система сравнивает примитивные концепции (primitive concepts) с этими ощущениями и добавляет совпадающие экземпляры (instances) в кратковременную память, как убеждения (beliefs). Это, в свою очередь запускает согласование концепций более высокого уровня, и процесс продолжается, пока ICARUS не произведет дедуктивный  вывод всех подразумеваемых убеждений. Далее, начиная с цели верхнего уровня, он находит путь вниз по иерархии навыков, в которой каждый поднавык (subskill) удовлетворял бы  условиям, но не удовлетворял цели.

Когда путь заканчивается на примитивном навыке с исполнением действий, архитектура применяет эти действия, чтобы оказать воздействие на окружающую среду. Это приводит к новым ощущениям, изменениям убеждений и реактивному исполнению путей дополнительных навыков для достижения целей агента.

Если же ICARUS не может найти приемлемый путь в иерархии навыков, который имеет отношение к цели верхнего уровня, он прибегает к решению задачи с использованием варианта анализа "средства-цели" (means-ends analysis). Этот модуль следует за любым навыком, который позволил бы достичь текущей цели, или за определением концепции цели, и это перемежает решение задачи с исполнением в том, что выполняются выбранные навыки, когда они становятся применимыми.

Всякий раз, когда решение задачи позволяет достичь цели, ICARUS создает новый навык, индексированный по этой цели и с одной или несколькими заданными подцелями, которые основаны на этом решении задачи. Если же эта система столкнется с подобными задачами в будущем, она исполняет приобретенные навыки, действуя реактивно, без необходимости делиберативного решения этой задачи [Langley & Choi, 2006b].

Исследователи использовали ICARUS для разработки агентов для ряда областей, которые включают комбинацию вывода, исполнения, решения задач и обучения.

К их числу относятся такие задачи, как Ханойская башня, вычитание в столбик, пасьянс Свободная ячейка (FreeCell solitaire) и планирование логистики. Они также использовали архитектуру для управления синтетическими персонажами в моделируемых виртуальных средах, в том числе теми, которые связаны с вождением внутри города [Langley & Choi, 2006a] и персонажами игр-стрелялок [Choi, Konik, Nejati, Park, & Langley, 2007]. Текущая работа направлена на то, чтобы связать ICARUSс физическими роботами, которые осуществляют совместную с человеком деятельность.

2.4. PRODIGY

PRODIGY [Carbonell, Knoblock, & Minton, 1990] - еще одна когнитивная архитектура, получившая широкое развитие с середины 1980-х до конца 1990-х. Эта архитектура включает в себя два основных вида знания. Правила предметной области (domain rules) кодируют условия, при которых действия имеют определенные последствия (effects), где последствия описываются как добавление или удаление выражений первого порядка. Они относятся как к физическим действиям, которые влияют на окружающую среду, так и к правилам вывода, которые являются чисто когнитивными. Напротив, правила управления указывают условия, при которых в процессе поиска эта архитектура должна выбрать, отвергнуть или предпочесть заданный оператор, набор операторов привязки (operator bindings), состояние задачи или цель.

Как и в архитектуре ICARUS, базовый модуль решения задач архитектуры PRODIGY включает в себя поиск в пространстве задач, чтобы достичь одну или несколько целей, которые он также рассматривает как выражения первого порядка. Этот поиск опирается на анализ "средства-цели", выбирающий оператор, который уменьшает некоторую разницу между текущим состоянием и целью, что в свою очередь может привести к подзадачам с собственными текущими состояниями и целями.  В каждом цикле PRODIGY использует свои правила управления, чтобы выбрать оператор, набор связей, состояние или цель, отвергнуть их или предпочесть одни другим. В отсутствие таких знаний управления, эта архитектура делает выбор случайным образом и производит поиск типа “сначала-вглубь” с возвратом при анализе "средства-цели".

Имеющийся в архитектуре PRODIGY модуль обучения на основе объяснений  строит правила управления на основе его опыта решения задач [Minton, 1990]. Успешное достижение цели после поиска приводит к созданию правил выбора или предпочтения, связанных с той целью и теми операторами, которые были применены. Неудача в достижении цели приводит к созданию правил отказа выбора или предпочтения для операторов, целей и состояний, которые не привели к решению. Для создания этих правил управления PRODIGY вызывает метод обучения, который анализирует следы решения задач и доказывает причины (proves the reasons) успеха или неудачи. Эта архитектура также собирает статистику по правилам обучения и сохраняет только те, включение которых приводит со временем к более эффективному решению задач.

Кроме того, PRODIGY включает в себя отдельные модули для управления поиском по аналогии с более ранними решениями [Veloso & Carbonell, 1993], для обучения описаний операторов, полученных от наблюдаемых решений или экспериментов [Wang, 1995], и для повышения качества решений [Perez & Carbonell, 1994].

Хотя большинство исследований в этих рамках посвящено исключительно планированию и решению задач, PRODIGY также легла в основу впечатляющей системы с перемежающимся  планированием и выполнением для мобильного робота, который принимал асинхронные запросы от пользователей [Haigh & Veloso, 1996].

3. Возможности когнитивных архитектур

Любая интеллектуальная система предназначена для ведения определенных видов  деятельности, которые, вместе взятые, составляют ее функциональные возможности. В этом разделе мы обсудим разнообразные возможности, которые когнитивная архитектура может поддерживать. Хотя только несколько способностей, таких как распознавание и принятие решений, строго необходимы для поддержки четко определенной архитектуры, по-видимому, требуется весь набор, чтобы охватить полный спектр интеллектуальной деятельности человеческих уровня.

Центральный вопрос, который стоит перед разработчиком когнитивной архитектуры, как обеспечить агентам доступ к различным источникам знаний. Многие из возможностей, которые мы обсудим ниже, дают доступ агенту к таким знаниям. Например, знания об окружающей среде приходят через ощущение, знания о последствиях нынешней ситуации приходят через планирование, рассуждения и предсказания, знания от других агентов приходят через общение, а знания из прошлого приходит через запоминание и обучение. Чем больше таких возможностей поддерживает архитектура, тем к большему количеству источников знаний она может получить доступ, чтобы информировать о своем поведении.

Другой ключевой вопрос заключается в том, поддерживает ли когнитивная архитектура какую-то возможность напрямую, используя встроенные процессы, или вместо этого она обеспечивает пути реализации этой возможности с точки зрения знаний. Проектные решения такого рода влияют на то, чему агент может учиться на собственном опыте, что разработчики могут оптимизировать в самом начале, и какую функциональность можно получить от специализированных представлений и механизмов.

В этом разделе мы попытаемся описать функциональность, не обращаясь к основным механизмам, которые обеспечивают их реализацию, но это важный вопрос, который заслуживает большего внимания в будущем.

3.1. Распознавание и категоризация

Интеллектуальный агент должен иметь какую-то связь между его окружением и его знаниями. Это требует умения распознавать ситуации или события как экземпляры известных или знакомых моделей. Например, читатель должен распознавать буквы и слова, из которых они составлены, шахматист должен идентифицировать значимые конфигурации на доске, а аналитик изображений должен обнаружить здания и транспортные средства на аэрофотоснимках. Однако не обязательно ограничивать распознавание только статическими ситуациями. Учитель фехтования может идентифицировать различные типы атак, а футбольный тренер может различать ведение отдельных игр командой противника, и оба они связаны с динамическими событиями.

Распознавание тесно связано с категоризацией, которая включает присваивание объектам, ситуациям и событиям известных понятий или категорий. Тем не менее, в исследованиях в области когнитивных архитектур обычно предполагают, что распознавание – это примитивный процесс, который происходит за один цикл, и который лежит в основе многих функций более высокого уровня, в то время как категоризация иногда рассматривается как функция более высокого уровня. Распознавание и категоризация тесно связаны с ощущениями, в том, что они часто действуют на выходе системы восприятия, и в некоторых архитектурах они рассматриваются как неразличимые. Тем не менее, оба процесса могут работать в абстрактных ментальных структурах, в том числе созданных внутри, поэтому мы будем рассматривать их как различимые.

Для поддержки распознавания и категоризации, когнитивная архитектура должна обеспечить некоторый способ представления паттернов и ситуаций в памяти. Так как эти паттерны должны применяться в похожих, но разных ситуациях, они должны кодировать общие соотношения, которые запоминаются в этих ситуациях. Архитектура должна также включать некоторый процесс распознавания, который позволяет определить, когда конкретная ситуация соответствует хранимому паттерну или категории и, возможно, измерить степень этого соответствия. В архитектурах с системой продукций, этот механизм определяет, когда условия каждой продукции совпадают, и конкретные способы различения отдельных экземпляров (instantiated). Наконец, полная архитектура должна включать в себя некоторые средства обучения новым паттернам или категориям на основании инструкций или опыта и, при необходимости, уточнения существующих паттернов.

3.2. Принятие решений и выбор

Для работы в некоторой среде интеллектуальной системе также необходима способность принятия решений и выбора между альтернативами. Например, студент должен решить, какая операция упростит задачу по интегрированию, выступающий должен выбрать, какое следующее слово использовать в высказывании, а бейсболист должен решить, какое следующее действие предпринять. Такие решения часто связаны с распознаванием ситуации или паттерна, и наиболее когнитивные архитектуры объединяют эти два механизма в цикле распознавание-действие (recognize-act cycle), что лежит в основе всего когнитивного поведения.

Такое одношаговое принятие решения имеет много общего с выбором на более высоком уровне, но отличается по своей сложности. Например, рассмотрим покупателя, решающего, какой бренд моющего средства выбрать, чтобы сделать покупку, водителя, выбирающего маршрут поездки, или генерала, выбирающего цель для бомбардировки. Каждое из этих решений может быть достаточно сложным в зависимости от того, сколько времени и энергии человек готов на него потратить. Таким образом, мы должны различать решения, которые принимаются на архитектурном уровне и более сложные решения, которые позволяет сделать эта архитектура.

Для поддержки принятия решений когнитивная архитектура должна обеспечивать некоторый способ представления альтернативных вариантов или действий, будь то внутренние когнитивные операции или внешние. Следует также предложить некоторый процесс выбора среди этих альтернатив, который в большинстве архитектур разделен на два шага. Первый определяет, является ли данный выбор или действие допустимым, как правило, связывая его с некоторым паттерном и рассматривая его только в случае сопадения с этим паттерном. Например, мы можем определить условия, при которых шахматный ход является законным, и затем рассматривать этот ход только тогда, когда эти условия будут выполнены. Второй шаг производит выбор среди допустимых альтернатив, часто путем вычисления некоторого числового показателя и последующего выбора одной или нескольких альтернатив с лучшими его значениями. Такое разрешение конфликтов принимает совершенно разные формы в разных архитектурах.

Наконец, идеальная когнитивная архитектура должна включать в себя некоторый способ улучшать свои решения путем обучения. Хотя она может, в принципе, включать в себя обучение новым альтернативам, большинство механизмов сфокусировано или на обучении или пересмотре условий, при которых существующее действие считается допустимым, или на изменении числовых функций, используемых на стадии разрешения конфликта. Полученные усовершенствования принятия решений будут затем отражаться в общем поведении агента.

3.3. Восприятие и оценивание ситуации

Познание не происходит изолированно; интеллектуальный агент существует в контексте некоторой внешней среды, которую он должен ощущать, воспринимать и интерпретировать. Агент может ощущать мир через различные виды ощущений (модальности), так же, как человек имеет зрение, слух и осязание. Чувствительные элементы (сенсоры) могут варьироваться от простых устройств, таких как термометр, который генерирует одно непрерывное значение, до более сложных механизмов, таких как стереоскопическое зрение или гидролокатор, которые генерируют карту рельефа дна для локального окружения в поле зрения агента. Восприятие может также включать в себя интеграцию результатов различных видов ощущений в единое оценивание или описание окружающей ситуации, которую какая-либо архитектура может представлять для использования другими когнитивными процессами.

Восприятие - это широкий термин, который охватывает многие типы обработки от недорогих типов, которые архитектура может поддерживать автоматически, до тех, которые требуют ограниченных ресурсов и поэтому должны вызываться осознанно.

Например, зрительная система человека может без особых усилий обнаруживать движение на периферии, но центральная ямка (сетчатки глаза) может извлекать информацию только из той малой области, на которую она направлена. Когнитивная архитектура, которая включает в себя эту вторую форму чувствительного элемента, должна решать вопрос внимания, то есть, принимать решение о том, как распределить и направить свои ограниченные ресурсы восприятия, чтобы обнаружить соответствующую информацию в сложной среде.

В архитектуре, которая поддерживает восприятие, также должен быть рассмотрен вопрос о том, что чувствительные элементы дают лишь неточную и частичную картину среды, окружающей агента, и часто на нее накладывается шум.

Динамическая окружающая среда еще более усложняет дело из-за того, что агент должен отслеживать изменения, которые иногда происходят с большой скоростью. Эти проблемы могут быть компенсированы с помощью перцептивных знаний о том, какие чувствительные элементы вызывать, где и когда их сосредоточивать, и какие выводы являются правдоподобными. Архитектура может также приобретать и улучшать эти знания путем обучения на основе предыдущего опыта восприятия.

Интеллектуальный агент должен также быть в состоянии выйти за рамки восприятия изолированных объектов и событий, чтобы понять и интерпретировать окружающую ситуацию более широко. Например, офицер корабля, управляющий огнем, должен понимать расположение, силу и траекторию орудийного огня в целях эффективного реагирования, в то время как генерал должен быть осведомлен о расположении, количестве и ресурсах противника, чтобы успешно от него защититься. Таким образом, оценивание ситуации требует, чтобы интеллектуальный агент объединял перцептивную информацию о многих сущностях и событиях, получаемую по возможности из многих источников, чтобы составить крупномасштабную модель текущего окружения. Как таковая, она опирается как на распознавание и категоризацию знакомых паттернов в этом окружении, которые мы обсуждали ранее, так и на механизмы вывода, которые мы вкратце рассмотрим.

3.4. Прогнозирование и мониторинг

Когнитивные архитектуры существуют во времени, что означает, что они могут получить выигрыш от способности точно предсказывать будущие ситуации и события. Например, хороший водитель примерно знает, когда топливо в его автомобиле закончится, успешный студент может предсказать, сколько он должен учиться, чтобы достичь финала, а опытный пилот может судить, насколько близко к земле он может лететь без аварии. Идеальный прогноз во многих ситуациях может оказаться невозможным, но совершенство редко необходимо, чтобы делать прогнозы, которые полезны для интеллектуальной системы.

Прогнозирование требует наличия определенной модели окружающей среды и последствий, которые действия вызывает в ней, а архитектура должна представлять эту модель в памяти. Один общий подход предполагает хранение некоторого отображения описания текущей ситуации и действия при описании ситуации, получившейся в результате. Другой подход кодирует последствия действий или событий с точки зрения изменений окружающей среды.

В любом случае, для этой архитектуры также требуется какой-то механизм, который использует эти структуры знаний для прогнозирования будущих ситуаций, скажем, путем распознавания класса ситуаций, в которых любое действие будет иметь определенные последствия. Идеальная архитектура должна также включать в себя способность к обучению прогнозных моделей на основании опыта и их усовершенствованию с течением времени.

Если какая-либо архитектура имеет какой-то механизм, чтобы делать прогнозы, его также можно использовать для мониторинга окружающей среды. Например, водитель танка может подозревать, что его танк имеет утечку топлива, если указатель уровня топлива показывает более быстрое снижение, чем обычно, и командир может заподозрить действия противника, если разведывательная команда не смогла представить отчет  вовремя. Поскольку мониторинг соотносит данные чувствительных элементов с прогнозированием, это ставит вопрос о фокусе внимания, когда какая-то архитектура имеет ограниченные ресурсы восприятия. Мониторинг также обеспечивает естественную поддержку обучения, так как ошибки могут помочь агенту улучшить его модель окружения.

3.5. Решение задач и планирование

Поскольку интеллектуальные системы должны достигать своих целей в новых ситуациях, те когнитивные архитектуры, которые их поддерживают, должны быть в состоянии генерировать планы и решать задачи. Например, беспилотный летательный аппарат получает преимущество от наличия разумного плана полета, менеджер проекта хочет иметь план, который распределяет задачи конкретным людям в конкретное время, а генерал редко перемещается на территорию противника без какого-то хотя бы абстрактного плана наступления. Исполнение этих планов в реальности часто происходит не так, как запланировано, но это не делает их менее полезными для размышления интеллектуального агента в отношении будущего.

Планирование возможно только тогда, когда агент имеет модель окружающей среды, которая прогнозирует последствия его действий. Для поддержки планирования, когнитивная архитектура должна иметь возможность представлять какой-то план в виде упорядоченного  (по крайней мере, частично) набора действий, ожидаемых последствий и того, каким образом эти последствия сказываются на более поздних действиях.

Этот план не обязательно должен быть полным, чтобы направлять поведение, т.к. он может распространяться в будущее лишь на короткое время или обращаться к абстрактным действиям, которые можно расширять различными способами. Его структура может также включать условные действия и ветвления, которые зависят от результатов более ранних событий, которые заметил агент.

Интеллектуальный агент должен также уметь строить план из компонентов, доступных в памяти. Эти компоненты могут относиться к низкоуровневым двигательным и сенсорным действиям, но чаще они будут более абстрактными структурами, в том числе предварительно сохраненными подпланами. Существует множество механизмов создания планов из компонентов, а также механизмов  адаптации планов, которые извлекаются из памяти. Все эти методы имеют то общее, что они включают в себя решение задач или поиск.

То есть, они выполняют шаги в пространстве состояний задач, рассматривая на каждом шаге  применимые операторы, выбирая один или несколько операторов и применяя его для создания состояния новой задачи. Этот процесс поиска продолжается, пока система не найдет приемлемый план или не решит отказаться от поиска.

Понятие решения задач является несколько более общим, чем планирование, хотя они, как правило, рассматриваются как тесно связанные. В частности, планирование обычно относится к когнитивной деятельности в “голове” агента, в то время как решение задач может также происходить в физическом мире. Особенно, когда какая-то ситуация является сложной и эта архитектура имеет ограничения памяти, агент может осуществлять поиск, применяя операторы или действия в окружающей среде, а не пытаясь построить какой-то план внутри.

Решение проблем может также основываться на смеси внутреннего планирования и внешнего поведения, но это, как правило, предполагает многоступенчатое построение решения проблемы. Подобно планированию решение задач часто характеризуется поиском в пространстве задач, который применяет операторы для генерации новых состояний, выбирает перспективных кандидатов и продолжается до достижения цели распознавания. Планирование и решение задач также могут извлекать пользу от обучения. Естественно, улучшенные модели прогнозирования действий могут приводить к более эффективным планам, но обучение может также происходить и на уровне поиска в пространстве задач,  происходит эта деятельность в голове агента или в физическом мире. Такое обучение может  опираться на разнообразные источники информации.

В дополнение к обучению на основе прямого инструктирования, архитектура может обучаться по результатам поиска в пространстве задач [Sleeman, Langley, & Mitchell, 1982], через наблюдение поведения другого агента или клонирование поведения [Sammut, 1996], через обучение с подкреплением (с отложенным подкреплением) [Sutton & Barto, 1998]. Обучение может быть направлено на усовершенствование поведения при решении задач двумя способами [Langley, 1995a]. Один способ направлен на сокращение коэффициента ветвления поиска либо путем добавления эвристических условий для операторов пространства задач, либо путем уточнения числовой функции оценивания, применяемой для руководства выбором. Другой способ направлен на формирование макро-операторов или сохраняемых планов, которые снижают эффективную глубину поиска за счет применения более протяженных шагов в пространстве задач.

Интеллектуальные агенты, которые работают в динамических средах и производят их мониторинг, часто приходится модифицировать существующие планы в ответ на непредвиденные изменения. Это может происходить в нескольких контекстах. Например, агент должен обновить свой план, когда он обнаруживает изменившуюся ситуацию, которая делает некоторые запланированные действия неприменимыми, и, следовательно, требует других действий. Другой контекст наблюдается, когда новая ситуация предполагает некоторый более желательный способ достижения цели агента; такое приспосабливаемое планирование может использовать преимущество этих неожиданных изменений.

Мониторинг выполнения плана также может приводить к пересмотру оценок эффективности плана, и в предельном случае к решению о выборе другого курса действий с более высоким потенциалом. Перепланирование может опираться на те же самые механизмы, что и при генерации плана с самого начала, но требует дополнительных операторов для удаления некоторых действий или их замены другими шагами. Подобные методы могут также адаптировать к текущей ситуации известный план, который агент извлек из памяти.

3.6. Обеспечение рассуждений и убеждений

Решение задач тесно связано с рассуждениями, другой центральной познавательной деятельностью, которая позволяет агенту увеличивать свое состояние знаний. В то время как планирование связано в первую очередь с достижением целей в мире путем совершения действий, рассуждения производят умственные заключения из других убеждений или предположений, которыми агент уже владеет. Например, пилот может сделать вывод, что, если другой самолет меняет свой курс, чтобы пересечь его собственный, то это, вероятно, вражеский истребитель. Точно так же студент, изучающий геометрию, может сделать вывод, что два треугольника равны, потому что они имеют некоторые общие стороны и вершины, а генерал может сделать вывод, что если он не получил ни одного недавнего сообщения о движении противника, расположенные неподалеку силы противника по-прежнему находятся в лагере, где они были днем раньше.

Для поддержки таких рассуждений, когнитивная архитектура должны сначала иметь возможность представлять отношения между убеждениями. Общим формализмом для кодирования таких отношений является логика первого порядка, но также используются и многие другие нотации, начиная с продукционных правил до нейронных сетей и байесовских сетей. Отношения, представленные таким образом, могут быть описаны логически или вероятностно, но это не является обязательным; знания о рассуждениях могут быть также эвристическими или приблизительными и все еще будут весьма полезными для интеллектуального агента. Не менее важно, чтобы этот формализм мог быть более или менее выразительным (например, ограниченным логикой высказываний) или вычислительно эффективным.

Естественно, когнитивной архитектуре также требуются механизмы, чтобы делать выводы, используя эти структуры знаний. Дедуктивные рассуждения являются важной и хорошо изученной формой вывода, которая позволяет объединять общие и частные убеждения, чтобы прийти к заключению о других убеждениях, которые следуют из них логически. Тем не менее, агент может также участвовать в индуктивных рассуждениях, которые движутся от частных убеждений к более общим и которые можно рассматривать как одну из форм обучения. Архитектура может также поддерживать абдуктивный (правдоподобный) вывод, который объединяет в себе общие знания и частные убеждения, чтобы выдвигать гипотезы о других частных убеждениях, как это происходит в медицинской диагностике.

В ситуациях с ограничениями агент может просто делать все выводы, которые следуют из его базы знаний, но чаще он должен выбрать, какой способ вывода знаний применять. Это поднимает вопросы поиска, очень сходные с теми, которые применяются в задачах планирования, наряду с вопросами обучения, которые позволяют сделать поиск более эффективным.

Рассуждения играют важную роль не только при выводе новых убеждений, но и при принятии решения о поддержке существующих. Поскольку определенные убеждения в какой-то степени зависят от других, агент должен отслеживать эти последние, чтобы определить, должен ли он по-прежнему доверять им, отказаться от них, или иным образом изменить свое доверие к ним. Такое обеспечение убеждений особенно важно в динамическом окружении, в котором ситуации могут изменяться самым неожиданным образом, вызывая последствия в поведении агента. Общий ответ на этот вопрос включает в себя поддержание в памяти структур зависимостей, которые соединяют убеждения, чтобы  архитектура могла использовать эти структуры для распространения изменений по мере их возникновения.

3.7. Исполнение и действие

Познание происходит для того, чтобы поддерживать активность в окружающей среде и управлять ею. С этой целью, когнитивная архитектура должна иметь способность представлять и хранить двигательные навыки, которые позволяют осуществлять такую деятельность. Например, мобильный наземный робот или беспилотный летательный аппарат должны обладать навыками или политикой для навигации при перемещении из одного места в другое, для манипулирования окружающими предметами с помощью эффекторов (исполнительных элементов), а также для координирования своего поведения с другими агентами в их команде. Они могут быть закодированы только лишь с точки зрения примитивных или составных действий, но для них также могут быть заданы и более сложные многошаговые навыки или процедуры. Эти процедуры могут принимать форму планов, которые агент сгенерировал или получил из памяти, особенно в архитектурах, которые выросли из работ по решению задач и планирования. Однако и другие концепции исполнения двигательных навыков, такие как контроллеры с обратной связью, также надо исследовать.

Когнитивная архитектура также должна быть в состоянии исполнять навыки и действия в окружающей среде. В некоторых архитектурах, это происходит полностью реактивным способом, когда агент выбирает одно или несколько примитивных действий в каждом цикле принятия решений, выполняет их и повторяет этот процесс во время следующего цикла. Этот подход связан со стратегиями исполнения с обратной связью, когда агент может также ощущать окружающую среду в течение каждого шага во времени.

Использование более сложных навыков поддерживает исполнение без обратной связи, в котором агент обращается к хранимой процедуре через много циклов без проверки окружающей среды. Тем не менее, гибкая архитектура должна, так же как и люди, поддерживать все пространство действий от полностью реактивного поведения, поведения с обратной связью до автоматизированного поведения без обратной связи.

В идеале, когнитивная архитектура должна также иметь способность обучаться навыкам и политикам исполнения на основе обучения и опыта. Такое обучение может принимать различные формы, многие из которых параллельны тем, которые возникают в процессе планирования и решения задач. Например, агент может обучаться, наблюдая за поведением другого агента, путем успешного достижения своих целей и путем отложенного подкрепления. Аналогично, он может обучаться или уточнять свои знания для выбора примитивных действий либо при эвристических условиях их применения либо используя  числовую функцию оценки, которая отражает их полезность. В качестве альтернативы агент может приобретать более сложные навыки или пересматривать их с точки зрения известных навыков или действий.

3.8. Взаимодействие и общение

Иногда для агента самый эффективный способ - получить знания от другого агента, обеспечивая общение - еще одну важную способность, которую архитектура должна поддерживать. Например, командир может отдавать приказы подчиненным и получать от них отчеты, в то время как покупатель на блошином рынке может торговаться о цене товара с его владельцем. Точно так же путешественник на углу улицы может спрашивать о направлении и получать ответ, в то время как адвокат может задавать ответчику вопрос о том, где он был в эту ночь. Агенты существуют в среде вместе с другими агентами, и есть много случаев, когда они должны передавать знания от одного к другому.

Какой бы ни была модальность, в которой это общение происходит, общающийся агент должен представлять знания, которые он стремится передать, или то, что, как он считает, намерен передать другой агент. Содержание, передаваемое таким образом, может включать любой из видов когнитивной деятельности, которые мы обсуждали до сих пор. Таким образом, два агента могут общаться по распознанным категориям и принятым решениям, ощущениям и действиям, прогнозам и отклонениям, планам и выводам.

Естественный подход - привлечь для общения между агентами представления, которые дают результат для этих видов деятельности, вместе с их входными и выходными данными.

Когнитивная архитектура должна также поддерживать механизмы преобразования знаний в ту форму и среду, в которой они будут передаваться. Наиболее распространенной формой является язык устной речи или письменного текста, который следует установленным соглашениям семантики, синтаксиса и прагматики, в соответствии с которыми агент должен отображать содержимое, которое он хочет передать. Даже тогда, когда некоторые сущности общаются с помощью чисто искусственных языков, они не имеют точно такой же ментальной структуры и должны переводить содержание в какой-то внешний формат. Можно было бы считать, что генерация языка - это форма планирования и исполнения, тогда как понимание языка включает в себя вывод и рассуждения. Тем не менее, особая природа обработки языка делает эти взгляды ошибочными, поскольку эта задача вызывает много дополнительных вопросов.

Важная форма общения происходит в виде разговорных диалогов, которые требуют как генерации естественного языка, так и его понимания, а также координации с другим агентом в виде обратных действий. Обучение также является важным вопросом в языке и других формах общения, так как архитектура должна быть в состоянии приобретать синтаксические и семантические знания для использования на уровнях как изложения, так и диалога. Более того, некоторые коммуникативные задачи, подобно вопросно-ответным системам, требуют доступа к памяти прошлых событий и познавательной деятельности, что в свою очередь дает выгоду от эпизодической памяти.

3.9. Запоминание, отражение и обучение

Когнитивная архитектура может также извлечь выгоду из способностей, которые затрагивают те способности, которые описаны в предыдущих разделах, в том, что они работают на ментальных структурах, которые они производят или используют. Такие способности, которые Sloman (2001) называет механизмами метауправления, совсем не обязательны для интеллектуального агента, но их включение может значительно расширить гибкость и надежность архитектуры.

Одна из способностей такого рода включает запоминание - способность кодировать и хранить результаты когнитивных процессов в памяти, а позже находить их или получать к ним доступ. Агент не может напрямую запоминать внешние ситуации или свои физические действия, он может только вспомнить когнитивные структуры, которые описывают эти события или выводы о них. Эта идея распространяется, естественно, на память о решении задач, рассуждениях и общении. Чтобы помнить любую когнитивную деятельность, архитектура должна хранить когнитивные структуры, созданные в течение этой деятельности, индексировать их в памяти и извлекать их при необходимости. Полученное в результате содержание часто называют эпизодической памятью (памятью эпизодов).

Другой способностью, которая требует доступа к следам познавательной деятельности,  является отражение. Оно может включать обработку либо недавних ментальных структур, которые все еще доступны, либо более старых структур, которые агент должен извлечь из своей эпизодической памяти. Один из типов рефлексивной деятельности касается обоснования или объяснения выводов агента, планов, решений или действий с точки зрения познавательных шагов, которые к ним привели. Другой тип связан с мета-рассуждениями о других когнитивных действиях, которые архитектура может применять в тех же областях, что и объяснение, но в которых особое внимание обращается на их порождение (например, формирование выводов или составление планов), а не на их обоснование. В той мере, в которой рефлексивные процессы оставляют свои собственные когнитивные следы, они сами могут быть предметом отражения. Тем не менее, архитектура может также поддерживать отражение через менее прозрачные механизмы, такие как статистический анализ, которые сами по себе не проверяются агентом.

Последней важной способностью, которая применима ко многим познавательным деятельностям, является обучение. Мы обсудили ранее различные формы, которые оно может принимать, в контексте различных способностей архитектур, но мы должны также рассмотреть более широкие вопросы.

Обучение, как правило, включает в себя обобщение конкретных убеждений и событий. Хотя большинство архитектур производит это обобщение во время хранения и вводит обобщенные структуры знаний в память, некоторые механизмы обучения сохраняют конкретные ситуации и обобщение происходит во время получения данных с помощью рассуждений по аналогии или на основе прецедентов.

Каждый из подходов может приводить к различной степени обобщения или передачи, начиная от очень похожих задач, до решения других задач в пределах той же области и даже до задач в  имеющих некоторое отношение, но совсем других областях. Многие архитектуры рассматривают обучение как автоматический процесс, который не подлежит проверке или сознательному контролю, но они также могут использовать метарассуждения для поддержки обучения  более разумным образом. Данные, на которых работает обучение, могут поступать из многих источников, включая наблюдения за другим агентом, собственное поведение агента при решении задач или практические данные известных навыков. Но независимо от источника опыта, все они связаны с обработкой структур памяти для улучшения способностей агента.

4. Свойства когнитивных архитектур

Можно также охарактеризовать когнитивные архитектуры с точки зрения внутренних свойств, которые производят способности, описанные в предыдущем разделе. Естественно, эти свойства архитектур подразделяются на их представление знаний, организацию размещения этих знаний, способ, которым система использует свои знания, и механизмы, которые поддерживают приобретение и пересмотр знаний путем обучения. Ниже мы рассмотрим ряд проектных решений, которые возникают в пределах каждой из этих граней любой интеллектуальной системы, распределяя их с точки зрения структур данных и алгоритмов, которые поддерживаются на архитектурном уровне.

Хотя мы представляем большинство вопросов с противоположных точек зрения, многие из альтернатив, которые мы обсуждаем, дополняют друг друга и могут существовать в одной и той же архитектуре.

4.1. Представление знаний

Важный класс архитектурных свойств связан с представлением знаний. Напомним, что сами знания не встроены в какую-либо архитектуру потому, что они могут изменяться в разных областях и во времени. Однако формализм представления, в котором агент кодирует свои знания, является центральным аспектом любой когнитивной архитектуры.

Пожалуй, самое основное в выборе представления - это выбор, использует ли архитектура единственную, единую нотацию для кодирования своих знаний или она использует смесь формализмов. Выбор одного формализма имеет преимущества простоты и элегантности, и легче поддерживать способности, подобные обучению и отражению, так как они должны работать только с одним типом структуры знаний.

Однако, как мы увидим ниже, различные варианты представления знаний имеют свои преимущества и недостатки, поэтому сосредоточение на одном варианте может поставить архитектуру в неловкое положение при подходе к определенным проблемам. С другой стороны, даже смешанные архитектуры, как правило, ограничены несколькими типами структур знаний, чтобы избежать сложности.

Распространенной традицией является различение декларативных и процедурных представлений. Знаниями в декларативной кодировке когнитивные механизмы могут манипулировать независимо от их содержимого. Например, нотация для описания устройств может поддерживать конструкцию, диагностику и управление. Классическим примером такого представления является логика первого порядка [Genesereth & Nilsson, 1987]. Вообще говоря, декларативные представления поддерживают очень гибкое использование, но они могут привести к неэффективной обработке. В противоположность этому, процедурные формализмы кодируют знания о том, как выполнить некоторую задачу. Например, агент может иметь процедуру, которая позволяет ему решать алгебраическую задачу или управлять транспортным средством, но не распознает такую деятельность, когда она сделана другими. Правила продукций [Neches et al., 1987] являются распространенным средством представления процедурных знаний. В общем случае, процедурные представления позволяют агенту эффективно применять знания, но, как правило, негибким способом.

Мы должны пояснить, что когнитивная архитектура может поддерживать как декларативные, так и процедурные представления, поэтому они не являются взаимоисключающими. Кроме того, все архитектуры имеют некоторые декларативные и процедурные аспекты, т.к. им требуются некоторые структуры данных для распознавания и некоторые интерпретаторы для управления поведением. Тем не менее, мы, как правило, резервируем термин “знания” для ссылок на структуры, которые являются довольно стабильными (не меняясь в каждом цикле) и которые не встроены в архитектуру. Кроме того, отнесение знаний к декларативному или процедурному типу зависит не столько от их формата, сколько от того, какие механизмы архитектуры могут получить к ним доступ. Например, продукционные правила можно рассматривать как декларативные знания, если другие продукционные правила могут их проверять.

Хотя большая часть знаний агента должен состоять из навыков, концепций и фактов о мире, в котором он обитает, архитектура может также поддерживать мета-знания о собственных способностях агента. Такое знание более высокого уровня может поддерживать мета-рассуждения, позволяя агенту ''знать, что он знает " и обеспечивая естественный способ достижения когнитивной проницаемости (cognitive penetrability), то есть понимания когнитивных шагов во время  деятельности агента и их причин. Кодирование знаний  декларативным способом является одним из путей достижения мета-знания, но акцент на процедурные представления не означает, что архитектура не может достигать этих целей  другими средствами.

Другое противопоставление сравнивает общее различие между действиями и сущностями, на которых они работают. Наиболее когнитивные архитектуры, произошедшие из теорий решения задач и планирования, сфокусированы на  знаниях о навыках, т.е. знаниях о том, как генерировать или исполнять последовательности действий, будь то в голове агента или в окружающей среде. Однако не менее важным аспектом познания являются знания о понятиях, которые имеют дело с категориями объектов, ситуаций и других концепций, менее ориентированных на действия. Все познавательные архитектуры обращаются к таким категориям, но они часто сводят их к неразборчивым символам, а не представляют их значения явным образом. Была проведена значительная работа над формализмами и методами концептуальной памяти, но редко в контексте когнитивных архитектур.

Еще одно различие [Tulving, 1972] включает в себя вопрос, поддерживают ли накопленные знания семантическую память общих понятий, процедур и т.п., или они кодируются в  эпизодическую память конкретных сущностей и событий, с которыми агент встречается в окружающей среде. Большинство когнитивных архитектур фокусируется на семантической памяти, отчасти потому, что это естественный подход к получению обобщенного поведения интеллектуального агента, в то время как эпизодическая память, по-видимому, хорошо подходит для поиска конкретных фактов и событий. Тем не менее, методы рассуждений на основе аналогий и прецедентов могут производить эффект обобщенного поведения во время поиска, так что приверженность архитектуры к семантической или эпизодической памяти сама по себе не ограничивает ее способности. Не следует ограничивать привязку памяти только к одной архитектуре или другой.

Исследователи в области искусственного интеллекта и когнитивных наук исследовали эти проектные решения с помощью различных конкретных формализмов представления знаний. Более ранняя нотация, известная как семантические сети [Ali & Shapiro, 1993; Sowa, 1991], кодирует как общие, так и конкретные знания в декларативном формате, который состоит из узлов (для понятий или сущностей) и связей (для отношений между ними).

Еще одной ранней структурой представления знаний, которая по-прежнему широко используется, является логика первого порядка; она кодирует знания как логические высказывания в виде предикатов и аргументов, вместе с утверждениями, которые соотносят эти выражения в терминах логических операторов, таких как конъюнкция, дизъюнкция, импликация и отрицание.

Продукционные системы [Neches et al., 1987] обеспечивают более процедурную нотацию, сохраняя модульность логики, они представляют знания в виде набора правил “условие-действие”, которые описывают правдоподобные ответы на различные ситуации.

Фреймы [Минский, 1975] и схемы предлагают структурированные декларативные форматы, которые определяют понятия с точки зрения атрибутов (слотов) и их значений (заполнителей), в то время как планы [Хендлер, Тейта, и Drummond, 1990 г.] предусматривают структурные рамки кодирования последовательностей действий.

Кроме того, некоторые подходы наделяют символические структуры весовыми (как в нейронных сетях) или вероятностными (как в байесовских сетях) характеристиками, хотя в типичной реализации они имеют ограниченную выразительность.

4.2. Организация знаний

Еще один важный набор свойств касается способа, которым когнитивная архитектура организует знания в своей памяти. Один из вариантов выбора здесь - поддерживает ли базовая схема представления знаний напрямую "плоские" или иерархические структуры. Продукционные системы и логика высказываний являются двумя примерами плоских структур, в том смысле, что запоминаемые элементы памяти не имеют никакого прямого отношения друг к другу. Это не означает, что они не могут влиять друг на друга; ясно, что применение одного продукционного правила может привести к выбору другого в следующем цикле, но это происходит косвенно, через работу интерпретатора архитектуры.

В отличие от этого, запоминаемые элементы в структурированных форматах делают прямую ссылку на другие элементы. Один из таких подходов включает иерархию задач, в которых один план или навык вызывает непосредственно задачи компонент во многом так, как происходит вызов подпрограмм. Точно так же, иерархия отношений типа "целое – часть" ("part-of" hierarchy) описывает сложный объект или ситуацию с точки зрения ее компонентов и отношений между ними. Несколько иная организация существует в иерархии отношений типа "множество – подмножество" ("is-a" hierarchy), в которой любая категория относится к более общим понятиям (ее предков) и более специализированным понятиям (ее потомков). Большинство архитектур придерживается либо плоской, либо структурированной схемы, но выбираемые типы иерархии являются взаимодополняющими, а не взаимоисключающими.

Второе организационное свойство включает в себя степень детализации (‘зернистости” - granularity) знаний, хранящихся в памяти. Например, как продукционные системы, так и логика первого порядка составляют довольно детальные формы знания. Архитектура, которая кодирует знания таким способом, должна использовать свой интерпретатор, чтобы сформировать их для достижения сложного поведения.

Другой вариант заключается в хранении более крупнозернистых структур, таких как планы и макро-операторы, которые эффективно описывают многошаговое поведение в единых структурах знаний. Такой подход дает меньшую нагрузку на интерпретатор, но и обеспечивает меньшую гибкость и общность в применении знаний. Структурированный формат предлагает компромисс, описывая крупнозернистые элементы памяти с точки зрения мелкозернистых элементов и, таким образом, давая доступ агенту к обоим видам.

Еще один организационный вопрос касается количества различных видов памяти, которые поддерживает архитектура, и их отношений друг с другом . Интеллектуальный агент требует определенной формы долговременной памяти для хранения своих общие навыков и понятий; она должна быть относительно стабильной в течение долгого времени, хотя ее может изменить с помощью инструкций и обучения. Агент также требует кратковременной памяти, которая содержит более динамичные и короткоживущие убеждения и цели. В большинстве архитектур на основе продукционных систем, эти два вида памяти структурно различны, но связаны через процесс совпадения, который сравнивает условия долгосрочных продукционных правил с краткосрочными структурами. Другие архитектуры рассматривают кратковременную память, как активную часть долгосрочного хранения, а некоторые заменяют единую кратковременную память некоторым количеством буферов для каждого специфического вида восприятия. Когнитивная архитектура может также распределять ее устойчивые знания между различными видами долгосрочной памяти, скажем, для процедурных, концептуальных и эпизодических структур, что, как представляется, и происходят у человека.

4.3. Использование знаний

Третий класс свойств касается использования знаний, хранящихся в долгосрочной памяти. Как мы видели, оно может варьироваться от деятельности низкого уровня, такой как распознавание и принятие решений, до деятельности высокого уровня, такой как общение и отражение. Мы не можем охватить все проектные решения, которые возникают в использовании знаний, поэтому мы сосредоточимся здесь на вопросах, связанных с когнитивным поведением, которое происходит во время циклов, что, как правило, находится в центре внимания разработчиков архитектур.

Одно из таких проектных решений включает в себя вопрос, основывается ли решение задач в первую очередь на эвристическом поиске в пространстве задач или на извлечении решений или планов из долговременной памяти. Как обычно, этот вопрос не следует рассматривать как строгую дихотомию в том смысле, что сам по себе поиск в пространстве задач требует извлечения из памяти соответствующих операторов, но когнитивная архитектура может предпочесть один подход другому. Например, архитектуры на базе продукционных систем обычно строят решения с помощью эвристического поиска, в то время как системы на базе рассуждений по прецедентам извлекают решения из памяти, хотя последний способ часто необходимо адаптировать к извлекаемой структуре, что само по себе может потребовать поиска.

Когда когнитивная архитектура поддерживает многошаговое решение задач и вывод, она может делать это разными способами. Один подход, известный как прямой (логический) вывод, применяет соответствующие операторы и правила вывода к текущему состоянию задач и текущим убеждениям, чтобы производить новые состояния и убеждения. Мы можем рассматривать прямой вывод как продвижение от известного психического состояния к какому-то целевому состоянию или описанию.

И наоборот, обратный вывод применяет соответствующие операторы и правила вывода к текущим целям, чтобы генерировать новые подцели, что включает в себя продвижение от некоторого целевого состояния или описания к текущим состояниям и убеждениям.

Третий вариант, анализ "средства-цели", например [Carbonell et al., 1990; Ernst & Newell, 1969], сочетает в себе эти два подхода, путем выбора операторов через обратный вывод, но исполнения их всякий раз, когда их предпосылки удовлетворены.

Чтобы прояснить этот аспект, архитектуры на основе продукционных систем обычно работают в режиме прямого вывода, в то время как язык PROLOG [Clocksin & Mellish, 1981] представляет собой хороший пример обратного вывода. Тем не менее, важно понимать различие между методами решения задач, которые поддерживаются непосредственно самой архитектурой и методами, которые реализуются знаниями, заявленными в рамках этой архитектуры.

Например, поведение, присущее обратному выводу, может возникнуть в продукционной системе на базе прямого вывода через правила, которые дают совпадение с целями и при исполнении добавляют подцели в кратковременную память [например, Anderson & Lebiere, 1998]. Такое поведение, управляемое знаниями, не делает саму архитектуру менее приверженной одному методу или другому.

Ученые - компьютерщики часто делают строгое различие между последовательной и параллельной обработкой, но, как правило, это указываемое разделение вводит в заблуждение в контексте когнитивных архитектур. Потому что интеллектуальный агент существует во времени, он не может избежать некоторой последовательной обработки, при которой должна быть предприняты некоторые когнитивные и физические шаги прежде, чем другие станут возможны. С другой стороны, большинство исследований когнитивных архитектур предполагает, что извлечение из структур долговременной памяти происходит параллельно или, по крайней мере, это происходит настолько быстро, что имеет тот же эффект. Тем не менее, архитектуры могут изначально различаться по количеству когнитивных структур, которые они выбирают и применяют в каждом цикле.

Например, ранние архитектуры с продукционными системами [Newell, 1973b] находили все согласующиеся экземпляры правил в каждом цикле, но затем выбирали только одно из них для применения. В противоположность этому некоторые более поздние архитектуры, подобные Soar [Newell, 1990], применяют все соответствующие правила, но вводят ограничения в других местах, например, в количестве целей, которые могут быть одновременно у агента. Т.е. архитектуры отличаются не столько тем, поддерживают ли они последовательную или параллельную обработку, но тем, где в них размещаются узкие места последовательной обработки и детали этих ограничений. Такие архитектуры, как ACT-R (Anderson et al., 2004), моделируют когнитивные узкие места, чтобы имитировать ограничения на работоспособность человека.

Учитывая, что когнитивная архитектура имеет некоторые ограничения в ресурсах, которые требуют выбора среди альтернативных целей, правил или других структур знаний, ей необходим способ, как сделать этот выбор. Более ранние архитектуры с продукционными системами решали этот вопрос через процесс, известный как разрешение конфликтов, который выбирал одно или несколько соответствующих правил для применения на основе таких критериев, как новизна их соответствующих элементов, спецификации правил или их значения. Программы для компьютерных игр вместо этого выбирают движения с некоторой числовой оценочной функцией, которая сочетает характеристики прогнозируемых состояний, в то время как системы, включающие в себя рассуждения по аналогии или по прецедентам, обычно выбирают структуры, которые наиболее подобны некоторой цели. И снова важно различать общий механизм, который архитектура использует для выбора среди альтернативных решений или действий, и знания, которые она использует для реализации этой стратегии и которые могут отличаться для разных задач или изменяться с обучением.

Другим центральным вопросом использования знаний касается отношения между познанием и действием. Делиберативная (deliberative) архитектура - та, которая планирует и рассуждает на основе курса действий, прежде чем начинает исполнение, в то время как реактивная архитектура просто выбирает свои действия в каждом цикле принятия решений на основе своего понимания текущей ситуации.

Делиберативная архитектура имеет преимущества в предсказуемой среде, но она требует точной модели эффектов действий и заставляет агента строить план для каждой новой задачи, с которой он сталкивается. Реактивная архитектура имеет преимущества в динамических и непредсказуемых условиях, но требует наличия знаний об управлении для самых разных ситуаций. Некоторые архитектуры, например, [Carbonell et al., 1990], склоняются к делиберативному варианту, потому что они выросли из исследований по решению задач и планированию, в то время как другие архитектуры, например, [Brooks, 1986], предпочитают реактивное исполнение, чтобы исключить делиберативное. Обе позиции устанавливают предельные точки некоторого пространства значений, которое, в принципе, должно быть под управлением знаний агента, а не то, что встроено в архитектуру. / 2

/ 2 Другое решение заключается в поддержке делиберативного и реактивного управления в отдельных модулях, как это сделано в архитектуре 3T [Bonasso et al., 1997].

Аналогичный вопрос возникает по поводу отношения между восприятием и действием [Schmidt, 1975]. Система управления с замкнутым контуром управления (с обратной связью) получает ощущения окружающей среды в каждом цикле, давая, таким образом, агенту возможность отвечать на последние изменения. В противоположность этому, система с открытым контуром управления (без обратной связи) осуществляет расширенную последовательность действий в течение многих циклов, не занимаясь ощущениями окружающей среды.

Подходы с обратной связью часто связывают с реактивными системами, а методы без обратной связи - с делиберативными системами, но в действительности это различные вопросы. Управление с обратной связью имеет преимущество быстрого реагирования в динамических областях, но требует постоянного контроля, чтобы не были  превышены ресурсы агента в части восприятия. Поведение в системе с открытым контуром управления не требует работы с сенсорами и поддерживает эффективное выполнение, но, по-видимому, наиболее подходит только для сложных навыков, которые требуют малого взаимодействия с окружающей средой. Опять же, эти две крайности определяют некоторое пространство значений, и архитектура может использовать знания предметной области, чтобы определить, где ее поведение не срабатывает, а не отдавать предпочтение одному или другому подходу.

4.4. Приобретение и совершенствование знаний

Заключительный важный класс свойств связан с приобретением знаний путем инструктирования или из опыта. Хотя такие механизмы обучения могут быть вызваны агентом намеренно и могут осуществляться в делиберативном режиме, их вызов и выполнение, как правило, рассматриваются на архитектурном уровне, хотя детали могут сильно различаться. Одним из важных вопросов является то, поддерживает ли когнитивная архитектура много таких механизмов или она опирается на единственный процесс обучения, который (в идеале) взаимодействует со знаниями и опытом для достижения множества различных эффектов. Например, ранние версии архитектуры ACT включали пять различных процессов обучения, в то время как ранние версии Soar включали только один такой механизм.

В литературе по когнитивным архитектурам обычно различают процессы, которые обучают совершенно новые структуры знаний, такие как правила продукций или планы, и те процессы, которые точно настраивают уже существующие структуры, скажем, путем корректировки весовых или числовых функций. Например, архитектура Soar обучается новым правилам выбора, отвергания или предпочтения, когда она создает результаты в подцели, в то время как архитектура ACT-R обновляет стандартные программы, связанные с правилами продукций, на основе их результатов. Архитектурный механизм обучения может также исправлять существующие структуры, добавляя или удаляя компоненты. Например, ранние версии ACT включали метод дискриминации, который добавлял условия для правил продукций, и метод обобщения, который удалял их.

Еще одно распространенное различие связано с тем, является ли природа данного процесса обучения аналитической или эмпирической [Schlimmer & Langley, 1992]. Аналитические методы опираются на ту или иную форму рассуждений об опыте обучения с точки зрения знаний, доступных агенту. В противоположность этому, эмпирические методы основываются на индуктивных операциях, которые преобразуют опыт в полезные знания, основываясь на выявленных закономерностях. В общем случае аналитические методы имеют более пояснительный оттенок, а эмпирические методы - более описательный характер. На самом деле это не противоположные значения, а некоторое пространство значений, в котором критической переменной является объем обработки, основанной на знаниях, которую выполняет обучаемый. Конечно, архитектуры могут использовать гибридные методы, которые включают идеи из обоих подходов, и они могут также объединять их с помощью различных механизмов обучения. Например, архитектура PRODIGY использует аналитический метод для построения новых правил и эмпирический метод для оценивания их полезности после получения опыта работы с ними.

Еще один вопрос касается того, работают ли механизмы обучения архитектуры в “жадном” (eager) или “ленивом” (lazy) режиме. Большинство архитектур использует “жадный” подход, который формирует обобщенные структуры знаний из опыта во время ввода последнего в память. Интерпретатор может затем обработать полученные в результате опыта  обобщенные правила, планы или другие структуры знаний без дальнейшего преобразования. Хорошими примерами такого подхода являются методы для правил индукции и строительства макро-оператора. Тем не менее, некоторые архитектуры используют “ленивый” подход [Aha, 1997], который сохраняет данные опыта в памяти без их преобразования, затем выполняет неявное обобщение в момент извлечения и использования. Важными примерами такого подхода являются методы, основанные на аналогиях и прецедентах, например, [Veloso & Carbonell, 1993].

Заключительное свойство связано с тем, происходит ли обучение инкрементным или неинкрементным образом. Инкрементные методы включают обучающие примеры по одному за один момент времени, с ограниченным объемом памяти для предыдущих примеров, и обновляют свои базы знаний после обработки каждого опыта. В противоположность этому, неинкрементные методы обрабатывают все обучающие примеры за один шаг, который исполняется в процедуре пакетной обработки. Поскольку агенты существуют во времени, они накапливают опыт непрерывно, и их механизмы обучения должны иметь дело с этим ограничением. Инкрементные методы обеспечивают естественную реакцию, но порядок представления знаний может влиять на их поведение [Langley, 1995b]. Неинкрементые подходы устраняют этот недостаток, но только за счет хранения и переработки результатов всех опытов. Большинство исследований архитектур использует инкрементый подход к обучению, хотя остается место и для гибридных методов, которые работают с ограниченными подмножествами результатов опытов, например, [Pearson & Laird, 1999].

5. Критерии оценки когнитивных архитектур

Как и в любой научной теории или техническом изделии, когнитивные архитектуры требуют оценки. Однако, поскольку исследование архитектур происходит на уровне систем, это вызывает больше проблем, чем при оценке структур и методов компонентов знаний. В этом разделе мы рассмотрим некоторые измерения, по которым можно оценить когнитивные архитектуры. В общем случае они включают в себя определение шкалы, что предполагает использование количественных измерителей, а не тестов типа “все или ничего”. Лэнгли и Мессина [Langley and Messina (2004)] обсуждают дополнительные вопросы, которые возникают при оценке интегрированных интеллектуальных систем.

Напомним, что способность объяснять психологические феномены является важным измерением, по которому оценивают архитектуры. Например, в последние годы исследования в рамках ряда архитектур [Anderson et al., 2004]; [Sun et al., 2001] подчеркнули совпадение с данными (о чувстве времени и ошибках - timing and error data) из детальных психологических экспериментов, но не на это сейчас обращено наше внимание. Не менее важно продемонстрировать, что любая архитектура поддерживает такую же качественную надежность, которую показывают люди. Критерии, которые мы обсудим в этом разделе, основаны непосредственно на таких качественных аспектах человеческого поведения, даже когда система может производить их с помощью совершенно разных средств.

Когнитивные архитектуры также обеспечивают различный подход к построению интегрированных интеллектуальных систем. Обычные правила разработки программного обеспечения заключаются в том, что нужно разрабатывать независимые модули, которые имеют минимальное взаимодействие. В противоположность этому когнитивная архитектура предлагает единую теорию познания [Newell, 1990] с тесно связанными модулями, поддерживающими синергетические эффекты. Тем не менее, заявления о синергии в когнитивных системах трудно проверить эмпирически /3, так что здесь мы сосредоточимся на других критериях, которые непосредственно связаны с функциональностью.

/3 Лэнгли и Чой (2006a) представляют качественные аргументы, что их архитектура ICARUS выигрывает от взаимодействия между ее модулями, но даже доказательств такого рода не достаточно.

5.1. Общность, универсальность и разносторонность

Напомним, что когнитивные архитектуры предназначены для поддержки общего интеллектуального поведения. Таким образом, общность – это ключевое измерение, по которому оценивают архитектуру-кандидата. Мы можем измерить общность архитектуры, используя ее для построения интеллектуальных систем, которые предназначены для широкого набора задач и окружающих условий, а затем тестируя ее поведение в этих областях. Чем больше окружений, в которых архитектура поддерживает разумное поведение, и чем шире диапазон этих окружений, тем выше ее общность.

Однако, демонстрирование общности архитектуры может требовать больше или меньше усилий со стороны разработчика системы. Для каждой области можно было бы реализовать новую систему в кодах низкоуровневого программирования, которая обеспечивала бы  несколько теоретических обязательств или механизмов высокого уровня, но этот подход занял бы слишком много времени. Мы можем определить универсальность какой-либо когнитивной архитектуры с точки зрения трудностей, с которыми сталкиваются при построении интеллектуальных систем для заданных наборов задач и окружений. Чем меньше усилий надо приложить, чтобы заставить архитектуру производить интеллектуальное поведение в этих окружениях, тем больше ее универсальность.

Общность и универсальность связаны с третьим понятием - разносторонностью архитектуры, которое признает, что долгосрочное знание - не единственный фактор, определяющий поведение агента в какой-либо предметной области. Короче говоря, это касается способности архитектуры выполнять различные задачи в ответ на цели или другие внешние команды от человека или другого агента. Чем больше задач может выполнять архитектура в ответ на такие команды и чем больше их разнообразие, тем больше ее разносторонность. Она в свою очередь может влиять на общность и универсальность, так как может позволять архитектуре охватывать более широкий круг задач с меньшими усилиями со стороны разработчика.

5.2. Рациональность и оптимальность

Мы обычно считаем агента интеллектуальным, когда его поведение следует некоторым причинам, что делает рациональность архитектуры другим важным измерением для его оценивания. Мы можем измерить рациональность архитектуры, проверяя соотношение его целей, знаний и действий. Например, Newell (1982) заявляет, ‘‘Если у агента есть знание, что одно из его действий приведет к одной из его целей, то тогда агент выберет это действие”. Так как архитектура принимает много решений относительно действия в течение долгого времени, мы можем оценить этот смысл рациональности, отмечая процент времени, когда ее поведение удовлетворяет этому критерию.

Обратите внимание на то, что такое понятие рациональности не занимает никакой позиции в вопросе о том, как сделать выбор между многократными действиями, которые имеют отношение к целям агента. Один из ответов на этот вопрос исходит от Андерсона (1991), который заявляет: '' когнитивная система оптимизирует адаптацию поведения организма".
Понятие оптимальность предполагает некоторую числовую функцию в пространстве поведений, причем оптимальным поведением является то, которое дает лучшее значение этой функции. Хотя оптимальность является критерием типа “все-или-ничего”, мы можем измерить степень приближения архитектуры к оптимальности, отмечая процент времени, когда ее поведение оптимально во многих циклах принятия решения, или соотношение фактического и оптимального значения, которое достигается в среднем по времени.

Однако Саймон (1957) утверждал, что, поскольку интеллектуальные агенты имеют ограниченные когнитивные ресурсы, понятие ограниченной рациональности подходит больше для характеристики их поведения, чем оптимальность. С его точки зрения агент имеет ограниченную рациональность, если он ведет себя так, что его поведение почти  оптимально по отношению к его целям, насколько это позволяют его ресурсы. Мы можем измерять степень, в которой когнитивная архитектура проявляет ограниченную рациональность, тем же способом, что и для оптимальности, при условии, что мы можем включить некоторую меру ресурсов, которые имеются в наличии для каждого решения.

5.3. Эффективность и масштабируемость

Поскольку когнитивные архитектуры должны использоваться на практике, они должны быть в состоянии выполнять задачи в условиях определенных временных и пространственных ограничений. Таким образом, эффективность является дургой важной метрикой для использования при оценивании архитектуры. Мы можем измерять эффективность в количественном выражении, как время и пространство, необходимое системе, или с точки зрения “все-или-ничего”, основанной на том, удовлетворяет ли система жестким ограничениям по времени и пространству, как при работе в системах реального времени. Мы также можем измерять эффективность либо на уровне цикла “распознавание-действие” архитектуры либо на уровне полных задач, которые могут дать очень разные результаты.

Однако, поскольку архитектуры должен обрабатывать задачи и ситуации различной сложности, мы также хотим знать их масштабируемость. Эта метрика тесно связана с понятием сложности, используемым в формальном анализе алгоритмов. Таким образом, мы можем измерять пространственную и временную эффективность архитектуры с точки зрения того, как на них влияют трудность задач, неопределенность окружающей среды, длительность работы и другие осложняющие факторы. Мы можем исследовать профиль сложности архитектуры в некотором диапазоне задач и количества знаний. Чем меньшее влияние на эффективность архитектуры оказывают эти факторы, тем выше ее масштабируемость.

Особый случай масштабируемости, привлекающий значительное внимание, возникает у когнитивных архитектур, которые обучаются в течение долгого времени. По мере того, как механизмы обучения добавляют знания в их долговременную память, многие такие системы работают все медленнее в части поведения, связанного с решением задач, так как они имеют больше альтернатив, из которых можно выбирать. Эта проблема полезности (utility problem) [Minton, 1990] возникала в различных архитектурах, которые используют разнообразные формализмы представления заний и механизмы их извлечения. Создание архитектур, более масштабируемых по отношению к такому нарастанию знаний, остается открытым вопросом  для исследования.

5.4. Реактивность и живучесть

Многие когнитивные архитектуры направлены на поддержку агентов, работающих во внешних средах, которые могут изменяться непредсказуемым образом. Таким образом, способность реагировать на такие изменения является еще одним измерением для оценивания архитектур-кандидатов. Мы можем измерять реактивность архитектуры с точки зрения той скорости, с которой она реагирует на неожиданные ситуации или события, или с точки зрения вероятности того, что она будет реагировать во время данного цикла “распознавание-действие”. Чем быстрее реагирует архитектура или чем больше ее шансы на реагирование, тем больше ее реактивность. /4

Конечно, это определение должно учитывать связь между окружающей средой и моделью агента этой среды. Если эта модель предсказывает точно то, что происходит, то реактивность становится менее важной проблемой. Но если среда является неопределенной, или если агент имеет слабую модель, то реактивность приобретает решающее значение для достижения целей агента. Альтернативные когнитивные архитектуры могут занимать различные позиции в этом спектре, и мы должны понять их позиции при оценивании их реактивности.

Вопрос, связанный с реактивностью, который получил значительное внимание, известен как проблема фреймов  (frame problem) [McCarthy, 1963]. Она возникает в любой динамической среде, где агент должен поддерживать свою модель мира в соответствии с самим миром, несмотря на неспособность агента ощущать этот мир во всей его полноте. Даже тогда, когда само по себе обнаружение изменений в окружающей среде не составляет труда, распространение влияния этих изменений на знания, цели и действия может быть трудным. Усилия многих исследователей направлены на решение проблемы фреймов, но сделать архитектуры более надежными в этом направлении – это открытая область исследований.

Несмотря на важность реактивности, следует отметить, что во многих контекстах живучесть  не менее важна. Архитектура, которая всегда немедленно реагирует на малые изменения окружающей среды, может терять из вида свои долгосрочные цели и бесцельно колебаться от одного вида деятельности к другому. Мы можем измерять живучесть как определенный уровень, до которого архитектура продолжает следовать своим целям, несмотря на изменения в окружающей среде. Реактивность и живучесть – это не противоположности, какими они могут показаться на первый взгляд. Агент может реагировать на краткосрочные изменения, все еще продолжая следовать своим долгосрочным целям.

/4 Понятие “способность прерываний” (interruptability) тесно связано с реактивностью, но в первую очередь связано с архитектурами, осуществляющими рассуждения или следующими явным планам, которые могут быть прерваны, когда происходят неожиданные события.

5.5. Способность к совершенствованию

Мы ожидаем, что интеллектуальные агенты должны улучшать свое поведение с течением времени. Одно из средств достижения этой цели подразумевает непосредственное добавление знаний программистом или пользователем системы. Ключевой вопрос здесь не в том, возможны ли такие дополнения, а насколько эффективно они улучшают поведение агента. Таким образом, мы можем измерять способность к совершенствованию определенного типа архитектур с точки зрения способности агента выполнять задачи, с которыми он не мог справиться до этого добавления знаний. Более конкретно, мы можем измерять скорость, с которой производительность повышается, как функцию от времени, затраченного программистом, так как некоторые архитектуры могут требовать меньше усилий для улучшения, чем другие.

Другой путь улучшения включает в себя обучение агента на основе его опыта взаимодействия с окружающей средой или с его собственными внутренними процессами. Мы можем измерять способность архитектуры к обучению таким же способом, как и при добавлении знания – в терминах ее способности выполнять новые задачи. Так как когнитивные агенты существуют в течение долгого времени, это означает измерение улучшения их производительности как функцию опыта. Таким образом, этот метод, обычно используемый в области машинного обучения путем отдельной тренировки на прецедентах, здесь не имеет смысла, и мы должны вместо этого собирать кривые обучения, которые вычерчивают график зависимости производительности от опыта при удаленной настройке.

Следует отметить, что различные формы обучения фокусируются на различных типах знаний, поэтому нельзя ожидать, что данный механизм будет улучшать поведения на всех направлениях. Например, некоторые процессы обучения предназначены для улучшения способности агента точно распознавать объекты или ситуации, другие сосредоточены на приобретении новых навыков, а третьи стремятся сделать эти навыки более эффективными. Чтобы оценивать способность архитектуры к обучению для различных типов знаний, мы должны использовать разные тесты, хотя можно было бы ожидать, что всесторонняя архитектура проходит все эти тесты.

Поскольку обучение основано на опыте с конкретными объектами или событиями, оценивание обобщения, передачи и многократного использования получаемых знаний также критически важно. Мы хотим, чтобы обучение включало в себя больше, чем запоминание конкретных опытных состояний, хотя такая эпизодическая память также используется. Можно определять степень обобщения и передачи, подвергая агента воздействию ситуаций и задач, которые по-разному отличаются от его предыдущего опыта, и измеряя его производительность для них. Опять же, ключевыми вопросами являются скорость обучения или количество полученных знаний, которое необходимо, чтобы архитектура поддерживала желаемое поведение.

5.6. Автономность и длительность работы

Хотя нам нужны интеллектуальные агенты, которые могут следовать инструкциям, иногда мы также ожидаем, чтобы они работали сами по себе в течение длительного периода. С этой целью архитектуры, которые их поддерживают, должны быть в состоянии создавать свои собственные цели и задачи. Кроме того, они должны быть достаточно надежными, чтобы сохранять безотказную работу при столкновении с неожиданными ситуациями, и не допускать замедления работы по мере накопления опыта в течение длительных периодов времени. Другими словами, надежная архитектура должна обеспечивать как автономность, так и длительную работу.

Можно измерять поддержку архитектурой автономии, представляя агентам задачи высокого уровня, которые требуют автономного принятия решений для достижения успеха и которые получают выгоду от знаний о предметной области. Например, можно снабдить агента способностью запрашивать инструкции, когда он не знает, как поступить, а затем измерить частоту обращений за помощью как функцию от его знаний. Можно измерять связанную с этим способность к длительной работе, помещая агента в открытые среды, такие как моделируемая межпланетная экспедиция, и отмечая, как долго, в среднем, он работает до  полного отказа или попадания в неактивное состояние. Можно также измерять эффективность агента как функцию времени его работы в этой области, чтобы определить, хорош ли он по этому измерению.

6. Открытые вопросы в когнитивных архитектурах

Несмотря на наличие многих концептуальных достижений в течение трех десятилетий исследований в области когнитивных архитектур, а также, несмотря на практическое применение для реальных проблем, которое прошли некоторые архитектуры, остается значительной необходимость дополнительной работы по этой важной теме. В этом разделе мы отметим некоторые нерешенные вопросы, которые заслуживают внимания исследователей в этой области.

Наиболее очевидной ареной для улучшения является введение новых способностей. Существующие архитектуры демонстрируют многие из способностей, описанных в разделе 3, но немногие поддерживают их все, и даже они достигают определенных функциональностей только при значительных усилиях программистов.

Некоторый прогресс был достигнут в архитектурах, которые сочетают делиберативное решение задач с реактивным управлением, но нужно больше усилий по унификации с рядом других направлений:
- Большинство архитектур делают упор на генерацию решений задач или исполнение действий, но категоризация и понимание также являются критически важными аспектами познания и необходимо увеличить внимание к этим способностям.
- Фокусирование на решении задач и процедурных навыках отвлекает внимание от эпизодических знаний. Необходимо больше исследований архитектур, которые прямо поддерживают как эпизодическую память, так и рефлективные процессы, действующие на структурах, которые ее содержат.
- Большинство архитектур уделяют особое внимание логике или тесно связанным с ней формализмам представления знаний, в то время как люди, по-видимому, используют также зрительные, слуховые, схематичные и другие специализированные схемы представления.
Нужны расширенные архитектуры, которые могут кодировать знания в различных формализмах, связывать их друг с другом и использовать их для поддержки интеллектуального поведения более гибко и эффективно.
- Хотя в рамках некоторых архитектур была продемонстрирована обработка естественного языка, немногие интеллектуальные системы объединили ее со способностью общаться по поводу своих решений, планов и других когнитивных действий общепринятым способом.
- Физические агенты имеют ограниченные ресурсы для восприятия мира и влияния на него, но лишь немногие архитектуры заняты решением этого вопроса. Нужны расширенные архитектуры, которые управляли бы ресурсами агента, чтобы выборочно сосредотачивать его внимание на восприятии, его эффекторах и задачах, которые он преследует.
- Хотя многие архитектуры взаимодействуют со сложной окружающей средой, они редко заняты взаимодействиями между телом и разумом, которые возникают в связи с реальным воплощением. Например, необходимо исследовать способ, которым физическое тело воздействует на мышление, и рассмотреть происхождение первичных целей агентов с точки зрения внутренних мотивов.
- Эмоции играют центральную роль в поведении человека, но лишь несколько систем предлагают какой-либо учет своих целей или механизмов. Нужны новые архитектуры,  проявляющие эмоции такими способами, которые связаны непосредственно с другими когнитивными процессами и которые модулируют интеллектуально поведение.
- С технической точки зрения, архитектуры интересны, если они облегчают разработку интеллектуальных агентов через их повторное использование, но необходимо исследовать, как этого лучше достигать - через специализированные функциональные способности, которые используются повторно или через повторно используемые знания, которые поддерживают многие задачи.
Архитектуры, которые демонстрируют эти новые способности, будут поддерживать более широкий класс интеллектуальных систем, чем те, для которых этот вопрос еще не удалось разработать. Необходимо также дополнительное исследование на структурах и процессах, которые поддерживают такие способности.

Существующие когнитивные архитектуры включают многие из основных свойств, которые мы описали в разделе 4, но ряд вопросов остается еще нерешенным:
- Некоторые структуры представления знаний - продукционные системы и планы - доминировали в архитектурных исследованиях. Чтобы исследовать это пространство архитектур более полно, необходимо также рассмотреть проекты, которые построены на других структурах представления знаний, подобных фреймам (Minsky, 1975), базам прецедентов (Aamodt & Plaza, 1994), описательным логикам (Nardi & Brachman, 2002) и вероятностным формализмам (Richardson & Domingos, 2006).

Многие архитектуры занимают только одну позицию в свойствах, связанных с использованием знаний, но это не является единственной альтернативой. Необходимо также исследовать архитектуры, которые динамически меняют свое местоположение в заданном спектре (например, делиберативное поведение на реактивное) на основе их ситуации.

- Большинство архитектур включает в себя некоторую форму обучения, но ни одна из них не показала того богатства улучшения, которое демонстрируют люди. Нужны более надежные и гибкие механизмы обучения, которые предназначены для продолжительной работы в сложных, незнакомых областях, и которые построены с учетом накапливаемых результатов предыдущего обучения в течение длительных периодов времени. Эти дополнительные структуры и процессы должны как увеличить наше понимание пространства когнитивных архитектур, так и предоставить способности, которые не доступны в данный момент.

Исследовательское сообщество должно также уделять более серьезное внимание методам вдумчивого оценивания когнитивных архитектур. Метрики, подобные тем, которые предложены в Разделе 5, являются необходимым, но недостаточным условием, чтобы научно понять соотношение свойств архитектур и способностей, которые они поддерживают. Кроме того, необходимо определить или создать сложные среды, как физические, так и смоделированные, чтобы проверять эти способности и предоставлять реальные возможности для их измерения.

Также необходим экспериментальный метод, который признает тот факт, что когнитивные архитектуры включают в себя интеграцию многих компонентов, которые могут иметь синергетические эффекты, а не состоят из независимых, но не связанных между собой модулей (Langley & Messina, 2004). Экспериментальные сравнения архитектур играют важную роль, но в них следует тщательно контролировать задачи, которые выполняются, и количество знаний, которое закодировано, и они должны измерять зависимые переменные  объективными и информативными способами.

Систематические эксперименты, которые предназначены для выявления источников мощи когнитивных архитектур, скажут нам гораздо больше об их природе, чем упрощенные соревнования.

Нам надо еще много пройти в данной области, прежде чем мы в полной мере поймем пространство когнитивных архитектур и тех принципов, которые лежат в основе их успешной разработки и использования. Тем не менее, теперь у нас есть опыт более чем двух десятилетий построения и использования множества таких архитектур для широкого круга задач, наряду с целым рядом проблем, которые возникли в этой гонке. Если пейзаж, обнаруженный на этих первоначальных шагах, чем-то показателен, дальнейшее путешествие обещает еще более интересные и интригующие места и достопримечательности.

Приложение. Представительные когнитивные архитектуры

Многие исследователи предлагали и изучали когнитивные архитектуры за последние три десятилетия. Некоторые из них были только мысленными экспериментами, другие были реализованы и использованы в качестве инструментов людьми во многих учреждениях.
Здесь мы кратко рассмотрим ряд архитектур, которые описаны в литературе. Мы не пытались представить исчерпывающее описание, но этот набор должен дать читателям представление о большом разнообразии исследований в этой области.

- ACT-R [Anderson, 2007; Anderson et al., 2004], самый последний экземпляр семейства архитектур ACT, включает декларативную память для фактов и процедурную память, содержащую правила продукций. Архитектура работает путем сопоставления продукций с  восприятиями и фактами, передаваемыми вещественными уровнями активации объектов, и их исполнения для воздействия на окружающую среду или изменения декларативной памяти. Обучение в ACT-R включает в себя создание новых фактов и продукций, а также обновление базовых активаций и стандартных программ, связанных с этими структурами.

- Архитектура AIS [Hayes-Roth, Pfleger, Lalanda, Morignot, & Balabanovic, 1995] хранит процедурные знания в виде набора поведений, каждое со связанными условиями запуска, и планов управления, которые задают временные закономерности шагов плана. Они согласуются, изменяются и взаимодействуют через декларативную память, которая хранит фактические знания, намерения-деятельности и следы опыта агента. Во время каждого цикла мета-контроллер оценивает разрешенные поведения и выбирает, какие из них исполнить. Архитектура включает делиберативный когнитивный слой, который отвечает за оценивание ситуаций и планирование, и более быстрый физический слой, который обрабатывает восприятие и действия в окружающей среде.

- Архитектура APEX [Freed, 1998] организует знания в иерархические процедуры, причем элементы более высокого уровня индексируются по задаче, которой они адресованы,  и ссылаются на подзадачи, которые они вызывают. Они согласуются с содержимым памяти восприятий с помощью процесса выбора, добавляющего задачи в повестку дня. Архитектура связана с когнитивными, воспринимающими и двигательными ресурсами; это может приводить к конфликтам между задачами в повестке дня, который система разрешает, выбирая задачи с наивысшим приоритетом. Это может приводить к прерыванию задач и последующему их возобновлению, когда ресурсы становятся доступными.

- Архитектура CIRCA [Musliner, Goldman, & Pelican, 2001] включает в себя статическую память для возможных действий, переходов, зависящих от времени и событий, а также динамическую память для конкретных планов и событий. Когнитивная подсистема генерирует планируемый курс действий, закодированный как граф недетерминированных конечных состояний, начиная сначала с абстрактного плана и улучшая его при необходимости. Архитектура передает эту структуру в подсистему, работающую в режиме реального времени, которая работает параллельно с когнитивной подсистемой, позволяя первой выполнять план, а второй пытаться его улучшить.

- Архитектура CLARION [Sun et al., 2001] хранит знания, как связанные с действиями, так и не связанные с ними, в неявном виде, используя многослойные нейронные сети, и в явном виде, используя символические правила продукций. Соответствующая краткосрочная память содержит активации в узлах и символические элементы, которые архитектура согласует с  долгосрочными структурами. Поведение системы включает прохождение сенсорной информации в неявный слой, который генерирует альтернативные действия с высоким значением, и в явный слой, который использует правила, чтобы предлагать действия; затем архитектура выбирает кандидата с наивысшим ожидаемым значением. Обучение включает в себя пересмотр весовых коэффициентов в неявной системе путем использования комбинации обучения с подкреплением и метода обратного распространения ошибки для оценки функций значений и конструирования правил продукций путем извлечения из неявного слоя, управляемого ошибками исправления и конкретизации шаблонов правил.

- CogAff [Sloman, 2001] является архитектурной схемой или структурой, разработанной, чтобы поддержать взаимодействие между познанием и эмоциями. Хотя она не обязывает к конкретным представлениям, она постулирует три различных уровня обработки. Реактивный уровень использует ассоциации “условие-действие”, которые реагируют на непосредственные ситуации в окружающей среде. Делиберативный слой работает с ментальными целями, состояниями и планами, формируя рассуждения о будущих сценариях. Наконец, механизмы метауправления позволяют агенту думать о его собственных мыслях и переживаниях. Эмоциональный опыт связан с прерыванием некоторых слоев другими слоями с более сложными эмоциями, происходящими на более высоких уровнях.

- Архитектура Emile [Gratch, 2000] обеспечивает учет эмоций и их влияния на поведение. Долгосрочные знания включают в себя Strips-операторы для использования при генерации планов и фреймов связи (construal frames), которые определяют условия (касающиеся событий, ожиданий, целей и стандартов) для выявления различных эмоций. По мере того, как агент приобретает новую информацию об ожидаемых событиях, модуль оценивания генерирует в ответ эмоции с начальной интенсивностью, являющейся функцией их вероятности и важности, но убывающей со временем. Собственные эмоции агента фокусируются на усилиях модуля планирования и выбора действия из набора предубеждений, в то время как выводы об эмоциях других агентов направляют выбор его диалогов.

- The Entropy Reduction Engine (ERE) [Drummond, Bresina, & Kedar, 1991] включает долгосрочную память для операторов предметной области, описывающих последствия действий, область и ограничения поведения, а также правил управления, зависящих от ситуации, которые предлагают меры для достижения целей, и правил редукции энтропии, которые производят декомпозицию сложных задач на более простые. Архитектура использует свои операторы и ограничения, чтобы производить временные прогнозы, компилируемые затем в правила управления, которые интерпретатор “распознавание-действие” использует, чтобы определить, какое действие надо выполнить. К процессу прогнозирования добавлен модуль редукции задач, который использует правила декомпозиции, чтобы ограничить его поиск. Успешные результаты прогнозирования принуждают систему обучаться новым правилам управления, тогда как неудачи прогнозирования приводят к исправлению операторов и ограничений предметной области.

- Архитектура EPIC [Meyer & Kieras, 1997] кодирует долгосрочные знания в виде продукционных правил, организованных как методы выполнения целей, которые совпадают с элементами множества краткосрочных видов памяти, включая визуальные, слуховые и тактильные буферы. Работа заключается в выборе совпадающих правил и их применении, чтобы параллельно двигать глазами, управлять руками или изменять содержимое памяти.

Исследования архитектуры EPIC включали сильный акцент на достижение количественных совпадений с человеческим поведением, особенно в задачах, которые включают в себя взаимодействие со сложными устройствами.

- Архитектура FORR [Epstein, 1992] включает в себя декларативную память для фактов и процедурную память, представленную как иерархия эвристики с весовыми коэффициентами. Эта архитектура согласовывает восприятия и факты с условиями эвристики, причем при совпадении  структур  предлагаются действия - кандидаты и оценивается их рейтинг. Исполнение влияет на окружающую среду или изменяет содержимое декларативной памяти. Обучение включает в себя создание новых фактов и эвристики, корректировку весовых коэффициентов и реструктурирование иерархии, основанное на фактах и метаэвристике для учета точности, полезности, риска и скорости.

- Архитектура GLAIR [Shapiro & Ismail, 2003] хранит содержимое на уровне знаний или когнитивном уровне, на чувственно-двигательном уровне и на сенсорно-приводном уровне. Самый верхний слой включает обобщенные структуры, которые определяют предикаты в логических терминах, предельно упрощая абстрактные понятия, а также процедуры в виде  особенностей восприятия и стандартных программ поведения в среднем слое. Система поддерживает вывод, пересмотр убеждений, планирование, исполнение и обработку естественного языка, производя вывод убеждений высокого уровня из восприятий и формируя команды на сенсорно-приводном уровне из целей и планов агента.

- Архитектура ICARUS [Langley & Choi, 2006a; Langley et al., 2004], обеспечивает представление долгосрочных знаний в раздельных участках памяти для иерархических навыков и понятий, причем краткосрочные убеждения, цели и намерения хранятся как экземпляры этих общих структур. Исполнительный элемент сначала выводит все убеждения, подразумеваемые его понятиями и его восприятиями окружающей среды, затем выбирает применимый путь через иерархию навыков, чтобы их выполнить. Когда никакие навыки, относящиеся к текущей цели, не применимы, происходит решение задач методом анализа "средства-цели", тогда как обучение создает новые навыки, основанные на следах успешного решения задач.

- PolyScheme [Cassimatis, Trafton, Bugajska, & Schultz, 2004] является когнитивной архитектурой, направленной на достижение интеллекта человеческого уровня путем интеграции многих представлений, методов рассуждений и методов решения задач. У каждого представления есть связанный с ним модуль специалиста, который поддерживает прямой вывод, формирование подцелей и другие основные операции, которые согласуются с разделяемой динамической памятью с элементами, основанными на восприятии и действии. Архитектура PolyScheme берет на себя более сильные семантические обязательства, чем большая часть архитектур, кодируя все структуры с помощью базового набора отношений, касающихся времени, пространства, событий, идентичности, причинно-следственых связей и убеждений.

- Архитектура PRODIGY [Carbonell et al., 1990] кодирует два вида долгосрочных структур – операторы предметной области, которые описывают последствия действий, и правила управления, которые определяют, когда система должна выбрать, отклонить или предпочесть заданный оператор, связь, состояние или цель. Краткосрочные структуры включают описания состояний и содержание стека целей. Решение задач включает анализ “средства-цели”, который неоднократно выбирает оператор, чтобы уменьшить различия между текущей целью и состоянием, пока не найдет последовательность, которая достигает цели верхнего уровня. Модуль обучения на основе объяснения анализирует следы решения задач и создает новые правила выбора, отклонения и предпочтения, чтобы уменьшить поиск в будущих задачах. Другие модули управляют поиском по аналогии с более ранними решениями, узнают описания оператора из экспериментов и обучаются повышению качества решений.

- PRS (Procedural Reasoning System) [Ingrand, Georgeff, & Rao, 1992]  была ранней архитектурой, разработанной в парадигме BDI Намерения-Желания-Убеждения (Beliefs–Desires–Intentions). Эта структура хранит иерархические процедуры с условиями, эффектами и предписанными шагами, которые вызывают подпроцедуры. Динамические структуры включают в себя убеждения об окружающей среде, желания, которые агент хочет достигнуть, и намерения, которые агент планирует выполнить. В каждом цикле PRS решает, продолжить ли исполнять ее текущее намерение или выбрать новое намерение, которому необходимо следовать.

- Архитектура Remote Agent [Pell et al., 1997] была разработана для управления автономным, ориентированным на задания космическим кораблем. Долгосрочные структуры включают в себя цели задания, возможные действия и ограничения на их исполнение, а также качественные модели компонентов космического корабля, тогда как динамические структуры включают в себя планы действий, которым надо следовать, графики их выполнения и выводы о режимах работы или сбоев. Эта архитектура включает в себя процессы, которые производят поиск целей высокого уровня, генерируют планы и графики их достижения, исполняют эти графики путем вызова команд низкого уровня, контролируют режимы работы каждого компонента космического корабля и восстанавливают работу в случае сбоя.

- RCS [Albus et al., 1992] является структурой архитектур для разработки интеллектуальных физических агентов. Экспертные знания размещаются в иерархическом наборе модулей знаний, причем каждый имеет свою собственную долгосрочную и краткосрочную память. Представление знаний является неоднородным, включая фреймы, правила, изображения и карты. Модули работают параллельно, причем сенсорный интерпретатор проверяет текущее состояние, модель мира прогнозирует будущие состояния, модуль оценки значений производит выбор среди альтернатив, а модуль генерации поведения исполняет задачи. Модули более высокого уровня оказывают влияние сверху вниз на нижерасположенные модули, тогда как нижестоящие модули передают информацию назад своим родительским модулям.

- Архитектура Soar [Laird et al., 1987; Newell, 1990] кодирует процедурную долгосрочную память в виде правил продукций, тогда как рабочая память содержит множество элементов с атрибутами и значениями. Исполнительная система согласовывает продукции с элементами в рабочей памяти и автоматически генерирует подцели, когда она не может продолжать свою работу. Когда обработка в подцели позволяет агенту преодолеть этот тупик, архитектура добавляет новую порцию (chunk) в долгосрочную память, которая суммирует обработку подцели. В недавних версиях эпизодическое и семантическое обучение сохраняет элементы рабочей памяти как структуры долгосрочной памяти, в то время как обучение с подкреплением изменяет весовые коэффициенты, связанные с правилами, которые выбирают операторы.

- Архитектура 3T [Bonasso et al., 1997] хранит долгосрочное знание в трех слоях или рядах (tiers). Самый низкий уровень состоит из чувственно-двигательных поведений, которые эта архитектура выполняет реактивным образом, тогда как средний слой хранит пакеты реактивных действий (Firby, 1994), которые задают последовательность этих поведений. Самый верхний слой содержит абстрактные операторы, которые использует делиберативный планировщик, чтобы генерировать частный план, который средний слой преобразует в последовательность действий и исполняет. В дополнение к этому плану высокого уровня, каждый навык и пакет реактивных действий имеет свою собственную краткосрочную память.
Предшественник архитектуры 3T архитектура ATLANTIS (Gat, 1991), организовывала свои знания и поведение очень похожим образом.

Литература - References

Aamodt, A., & Plaza, E. (1994). Case-based reasoning: Foundational issues, methodological variations, and system approaches. AI Communications, 7, 39–59. (pdf)

Aha, D. W. (1997). Lazy learning. Dordrecht, Germany: Kluwer.

Albus, J. S., Pape, C. L., Robinson, I. N., Chiueh, T.-C., McAulay, A. D., Pao, Y.-H., et al. (1992). RCS: A reference model for intelligent control. IEEE Computer, 25, 56–79.

Ali, S. S., & Shapiro, S. C. (1993). Natural language processing using a propositional semantic network with structured variables. Minds and Machines, 3, 421–451.

Anderson, J. R. (1991). Cognitive architectures in a rational analysis. In K. VanLehn (Ed.), Architectures for intelligence. Hillsdale, NJ: Lawrence Erlbaum.

Anderson, J. R. (2007). How can the human mind exist in the physical universe? New York: Oxford University Press.

Anderson, J. R., Bothell, D., Byrne, M. D., Douglass, S., Lebiere, C., & Qin, Y. (2004). An integrated theory of the mind. Psychological Review, 111, 1036–1060.

Anderson, J. R., & Lebiere, C. (1998). The atomic components of thought. Mahwah, NJ: Lawrence Erlbaum.

Bonasso, R. P., Firby, R. J., Gat, E., Kortenkamp, D., Miller, D., & Slack, M. (1997). Experiences with an architecture for intelligent, reactive agents. Journal of Experimental and Theoretical Artificial Intelligence, 9, 237–256.

Brooks,R.A. (1986).A robust layered control system fora mobile robot. IEEE Journal of Robotics and Automation, RA-2, 14–23.

Carbonell, J. G., Knoblock, C. A., & Minton, S. (1990). PRODIGY: An integrated architecture for planning and learning. In K. Van Lehn (Ed.), Architectures for intelligence. Hillsdale, NJ: Lawrence Erlbaum.

Cassimatis, N. L., Trafton, J., Bugajska, M., & Schultz, A. (2004). Integrating cognition, perception and action through mental simulation in robots. Journal of Robotics and Autonomous Systems, 49, 13–23.

Choi, D., Konik, T., Nejati, N., Park, C., & Langley, P. (2007). A believable agent for first-person shooter games. In Proceedings of the third annual artificial intelligence and interactive digital entertainment conference (pp. 71–73). Stanford, CA: AAAI Press.

Clocksin, W. F., & Mellish, C. S. (1981). Programming in PROLOG. Berlin: Springer Verlag.

Drummond, M., Bresina, J., & Kedar, S. (1991). The Entropy Reduction Engine: Integrating planning, scheduling, and control. SIGART Bulletin, 2, 61–65.

Epstein, S. L. (1992). For the right reasons: The FORR architecture for learning in a skill Domain. Cognitive Science, 18, 479–511.

Ernst, G., & Newell, A. (1969). GPS: A case study in generality and problem solving. New York: Academic Press.

Firby, R. J. (1994). Task networks for controllingcontinuous processes. In Proceedings of the second international conference on AI planning systems (pp. 49–54). Chicago: AAAI Press.

Freed, M. (1998). Managing multiple tasks in complex, dynamic environments. In Proceedings of the fifteenth national conference on artificial intelligence (pp. 921–927). Madison, WI: AAAI Press.

Gat, E. (1991). Integrating planning and reacting in a heterogeneous asynchronous architecturefor mobilerobots. SIGART Bulletin,2,17–74.

Genesereth, M. R.,& Nilsson, N. J. (1987). Logical foundations of artificial intelligence. Los Altos, CA: Morgan Kaufman.

Gratch, J. (2000). Emile: Marshalling passions in training and education. In Proceedings of the fourth international conference on autonomous agents (pp. 325–332). Barcelona, Spain.

Haigh, K., & Veloso, M. (1996). Interleaving planning and robot execution for asynchronous user requests. In Proceedings of the international conference on intelligent robots and systems (pp. 148–155). Osaka, Japan: IEEE Press.

Hayes-Roth, B., Pfleger, K., Lalanda, P., Morignot, P., & Balabanovic, M. (1995). A domain-specific software architecture for adaptive intelligent systems. IEEE Transactions on Software Engineering, 21, 288–301.

Hendler, J., Tate, A.,&Drummond, M. (1990). AI planning: Systems and techniques. AI Magazine, 11, 61–77.

Ingrand, F. F., Georgeff, M. P., & Rao, A. S. (1992). An architecture for real-time reasoning and system control. IEEE Expert, 7, 34–44.

Koedinger, K. R., Anderson, J. R., Hadley, W. H., & Mark, M. (1997). Intelligent tutoring goes to school in the big city. International Journal of Artificial Intelligence in Education,8, 30–43.

Laird, J. E. (1991). Preface for special section on integrated cognitive architectures. SIGART Bulletin, 2, 12–123.

Laird, J. E. (2008). Extending the Soar cognitive architecture. In Proceedings of the artificial general intelligence conference. Memphis, TN: IOS Press.

Laird, J. E., Newell, A., & Rosenbloom, P. S. (1987). Soar: An architecture for general intelligence. Artificial Intelligence, 33, 1–64.

Laird, J. E., Rosenbloom, P. S., & Newell, A. (1986). Chunking in Soar: The anatomy of a general learning mechanism. Machine Learning, 1, 11–46.

Langley, P. (1995a). Elements of machine learning. San Francisco: Morgan Kaufman.

Langley, P. (1995b). Order effects in incremental learning. In P. Reimann & H. Spada (Eds.), Learning in humans and machines: Towards and interdisciplinary learning science. Oxford: Elsevier.

Langley, P. (2006). Intelligent behavior in humans and machines (technical report). Computational Learning Laboratory, CSLI, Stanford University, CA.

Langley, P., & Messina, E. (2004). Experimental studies of integrated cognitive systems. In Proceedings of the performance metrics for intelligent systems workshop. Gaithersburg, MD.

Langley, P., & Choi, D. (2006a). A unified cognitive architecture for physical agents. In Proceedings of the twenty-first AAAI conference on artificial intelligence. Boston: AAAI Press.

Langley, P., & Choi, D. (2006b). Learning recursive control programs from problem solving. Journal of Machine Learning Research, 7, 493–518.

Langley, P., Cummings, K., & Shapiro, D. (2004). Hierarchical skills and cognitive architectures. In Proceedings of the twenty-sixth annual conference of the cognitive science society (pp. 779–784). Chicago, IL.

Lewis, R. L. (1993). An architecturally-based theory of sentence comprehension. In Proceedings of the fifteenth annual conference of the cognitive science society (pp. 108–113). Boulder, CO: Lawrence Erlbaum.

Magerko, B., Laird, J. E., Assanie, M., Kerfoot, A.,& Stokes, D. (2004). AI characters and directors for interactive computer games. In Proceedings of the sixteenth innovative applications of artificial intelligence conference (pp. 877–884). San Jose, CA: AAAI Press.

McCarthy, J. (1963). Situations, actions and causal laws (memo 2). Artificial Intelligence Project. Stanford, CA: Stanford University.

Meyer, M., & Kieras, D. (1997). A computational theory of executive control processes and human multiple-task performance. Part 1: Basic mechanisms. Psychological Review, 104, 3–65.

Miller, C. S., & Laird, J. E. (1996). Accounting for graded performance within a discrete search framework. Cognitive Science, 20, 499–537.

Minsky, M. (1975). A framework for representing knowledge. In P. Winston (Ed.), The psychology of computer vision. New York: McGraw-Hill.

Minton, S. N. (1990). Quantitative results concerning the utility of explanation-based learning. Artificial Intelligence, 42, 363–391.

Musliner, D.J., Goldman, R.P., & Pelican, M.J. (2001). Planning with increasingly complex models. In Proceedings of the international conference on intelligent robots and systems.

Nardi, D., & Brachman, R. J. (2002). An introduction to description logics. In F. Baader et al. (Eds.), Description logic handbook. Cambridge: Cambridge University Press.

Nason, S., & Laird, J.E. (2004). Soar-RL: Integrating reinforcement learning with Soar. In Proceedings of the sixth international conference on cognitive modeling (pp. 220–225).

Neches, R., Langley, P., & Klahr, D. (1987). Learning, development, and production systems. In D. Klahr, P. Langley, & R. Neches (Eds.), Production system models of learning and development. Cambridge, MA: MIT Press.

Newell, A. (1973a). You can’t play 20 questions with nature and win: Projective comments on the papers of this symposium. In W. G. Chase (Ed.), Visual information processing. New York: Academic Press.

Newell, A. (1973b). Production systems: Models of control structures. In W. G. Chase (Ed.), Visual information processing. New York: Academic Press.

Newell, A. (1982). The knowledge level. Artificial Intelligence, 18, 87–127.

Newell, A. (1990). Unified theories of cognition. Cambridge, MA: Harvard University Press.

Nuxoll, A. M. & Laird, J. E. (2007). Extending cognitive architecture with episodic memory. In Proceedings of the twenty-second AAAI conference on artificial intelligence. Vancouver, BC: AAAI Press.

Pearson, D. & Laird, J. E. (1999). Toward incremental knowledge correction for agents in complex environments. In K. Furakawa, D. Michie, & S. Muggleton (Eds.). Machine intelligence (Vol. 15, pp. 185–204). Oxford University Press.

Pell, B., Bernard, D. E., Chien, S. A., Gat, E., Muscettola, N., & Nayak, P. P. (1997). An autonomous spacecraft agent prototype. In Proceedings of the first international conference on autonomous agents (pp. 253–261). Marina del Rey, CA: ACM Press.

Perez, M. A.,& Carbonell, J. G. (1994). Control knowledge to improve plan quality. In Proceedings of the second international conference on AI planning systems (pp. 323–328). Chicago: AAAI Press.

Richardson, M. & Domingos, P. (2006). Markov logic networks. Machine Learning, 62, 107–136.

Sammut, C. (1996). Automatic construction of reactive control systems using symbolic machine learning. Knowledge Engineering Review, 11, 27–42.

Schlimmer, J. C. & Langley, P. (1992). Machine learning. In S. Shapiro (Ed.), Encyclopedia of artificial intelligence (2nd ed.). New York: John Wiley & Sons.

Schmidt, R. A. (1975). A schema theory of discrete motor skill learning. Psychological Review, 82, 225–260.

Shapiro, D. & Langley, P. (2004). Symposium on learning and motivation in cognitive architectures: Final report. Institute for the Study of Learning and Expertise, Palo Alto, CA. <http://www.isle.org/symposia/cogarch/arch.final.pdf>.

Shapiro, S. C. & Ismail, H. O. (2003). Anchoring in a grounded layered architecture with integrated reasoning. Robotics and Autonomous Systems, 43, 97–108.

Simon, H. A. (1957). Models of man. New York: John Wiley.

Sleeman, D., Langley, P., & Mitchell, T. (1982). Learning from solution paths: An approach to the credit assignment problem. AI Magazine,3, 48–52.

Sloman, A. (2001). Varieties of affect and the CogAff architecture schema. In Proceedings of the AISB’01 symposium on emotion, cognition, and affective computing. York, UK.

Sowa, J. F. (Ed.). (1991). Principles of semantic networks: Explorations in the representation of knowledge. San Mateo, CA: Morgan Kaufman.

Sun, R. (Ed.). (2005). Cognition and multi-agent interaction: Extending cognitive mdoeling to social simulation. Cambridge University Press.

Sun, R. (2007). The importance of cognitive architectures: An analysis based on CLARION. Journal of Experimental and Theoretical Artificial Intelligence, 19, 159–193.

Sun, R., Merrill, E.,& Peterson, T. (2001). From implicit skills to explicit knowledge: A bottom–up model of skill learning. Cognitive Science, 25, 203–244.

Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning: An introduction. Cambridge, MA: MIT Press.

Taatgen, N. A. (2005). Modeling parallelization and speed improvement in skill acquisition: From dual tasks to complex dynamic skills. Cognitive Science, 29, 421–455.

Tambe, M., Johnson, W. L., Jones, R. M., Koss, F., Laird, J. E., Rosenbloom, P. S., et al. (1995). Intelligent agents for interactive simulation environments. AI Magazine, 16, 15–39.

Trafton, J. G., Cassimatis, N. L., Bugajska, M., Brock, D., Mintz, F., & Schultz, A. (2005). Enabling effective human–robot interaction using perspective-taking in robots. IEEE Transactions on Systems, Man and Cybernetics, 25, 460–470.

Tulving, E. (1972). Episodic and semantic memory. In E. Tulving & W. Donaldson (Eds.), Organization of memory. New York: Academic Press.

VanLehn, K. (Ed.). (1991). Architectures for intelligence. Hillsdale, NJ: Lawrence Erlbaum.

Veloso, M. M., & Carbonell, J. G. (1993). Derivational analogy in PRODIGY: Automating case acquisition, storage, and utilization. Machine Learning, 10, 249–278.

Wang, X. (1995). Learning by observation and practice: An incremental approach for planning operator acquisition. In Proceedings of the twelfth international conference on machine learning (pp. 549–557). Lake Tahoe, CA: Morgan Kaufman.

Источник:
Langley, P. et al., Cognitive architectures: Research issues and challenges, Cognitive Systems Research (2008), doi:10.1016/j.cogsys.2006.07.004
Cognitive Systems Research Volume 10, Issue 2, June 2009, Pages 141–160
Pat Langley  /a, John E. Laird /b, Seth Rogers /a
/a Computational Learning Laboratory, Center for the Study of Language and Information, Stanford University, Stanford, CA 94305, USA
/b EECS Department, The University of Michigan, 1101 Beal Avenue, Ann Arbor, MI 48109, USA

Подробности

Категория: Approaches

Обновлено: 07 мая 2019

Просмотров: 6283