Это вторая статья серии. В первой мы рассказали, как запустили модель мозга мухи — 139 тысяч нейронов и 15 миллионов связей — на домашней видеокарте и нашли два нейрона, от которых зависит, выпустит ли муха хоботок на сахар. Теперь — про память.
Как муха запоминает запах
У мухи есть центр памяти — грибовидное тело. В нём около пяти тысяч клеток Кеньона. Каждый запах зажигает свой небольшой набор этих клеток — как уникальный рисунок. От них сигнал идёт на выходные нейроны, которые решают: подлететь или улететь.
Обучение устроено просто. Если в момент запаха приходит «наказание» — у живой мухи это удар током, — в мозге выделяется дофамин. Связи от тех клеток Кеньона, что горели именно в этот момент, ослабевают. В следующий раз этот запах почти не проходит к выходному нейрону, который тянет муху к запаху, — и муха его избегает.
Такой опыт на живых мухах поставили Хиге и коллеги (Neuron, 2015). Мы повторили его в модели:
- запах A подаём вместе с дофамином «наказания» три раза;
- память меряем по тому, насколько ослаб вход выходного нейрона MBON11 на запах A;
- для проверки берём похожий запах A′ (три из четырёх «обонятельных клубочков» общие) и непохожий B (ни одного общего).
Деталь, которая нам понравилась: пару «дофаминовый нейрон наказания → выходной нейрон» мы не брали из справочника. Она нашлась сама по карте связей: 894 контакта между ними.
Сначала модель не запоминала ничего — точнее, запоминала всё
Первый прогон выглядел странно. После обучения запах A ослаб на 98%. Но и непохожий B — тоже на 98%. Модель «боялась» всего подряд.
Причина нашлась быстро: в исходной модели любой запах зажигал 66–94% клеток центра памяти, и рисунки разных запахов совпадали почти полностью. Если все запахи выглядят одинаково, наказать один — значит наказать все.
Дальше был небольшой детектив. Мы пошли по слоям, от носа к памяти:
- Обонятельные рецепторы различают запахи нормально: сходство кодов A и B — 0,43.
- Следующий слой — проекционные нейроны — уже не различает: сходство 1,00.
- Значит, запахи сливаются в первом обонятельном центре, антеннальной доле.
Виновник — местные нейроны антеннальной доли. У живой мухи возбуждающие местные нейроны связаны в основном электрическими контактами (Yaksi & Wilson, Neuron, 2010; Huang et al., Neuron, 2010). Под электронным микроскопом такие контакты почти не видны, и в карте связей их нет. Модель вместо них подставила обычные возбуждающие связи — и любой запах разливался по всем клубочкам.
Мы исправили это и ещё две вещи: связи «аксон к аксону» между самими клетками Кеньона, которые в модели передавали импульс, и дофамин, который в модели работал как быстрый сигнал, хотя на деле он меняет связи. После правок на запах отвечают 10–12 проекционных нейронов — ровно его четыре клубочка, — а сходство кодов A и B в центре памяти упало до 0,03.
Мораль, которая пригодится не только нейробиологам: открытая модель — это инструмент, а не истина. Ошибку нашли, потому что проверили систему слой за слоем, а не поверили красивой картинке.
Ручка «насколько мозг тихий»
В центре памяти мухи есть один большой тормозящий нейрон — APL. Он держит грибовидное тело почти тихим: чем сильнее он тормозит, тем меньше клеток горит на каждый запах. Это и есть наша ручка. ×1 — сила, как в карте связей; дальше мы делали её слабее и сильнее.
| Торможение | Активно клеток | Импульсов в секунду | Память о запахе A | Перенос на похожий A′ | Перенос на непохожий B |
|---|---|---|---|---|---|
| ×0 | 13,4% | 22 200 | 83% | 77% | 13% |
| ×1 | 6,6% | 9 300 | 83% | 75% | 6% |
| ×2 | 4,5% | 6 000 | 81% | 73% | 6% |
| ×4 | 3,3% | 4 000 | 73% | 62% | 4% |
| ×8 | 2,4% | 2 500 | 71% | 55% | шум |
| ×16 | 1,8% | 1 700 | 54% | 42% | шум |
| ×64 | 1,3% | 800 | 38% | 21% | шум |
«Память» — на сколько процентов ослаб ответ на запах после обучения. «Шум» — при сильном торможении на запах B отвечает так мало клеток, что результат прыгает от повтора к повтору.
Что из этого следует
1. Память избирательная. Выученный запах ослаблен примерно на 80%, непохожий почти не задет — на 4–6%. Модель запоминает именно то, что было связано с наказанием.
2. Экономия почти бесплатна — до определённого предела. От «без торможения» до ×2–×4 импульсов в центре памяти становится в 4–5 раз меньше. А память почти та же: 83% → 81–73%. Мозг тратит в разы меньше энергии и учится почти так же хорошо.
3. Похожие запахи различаются лучше, когда мозг тише. Но эффект умеренный. Если сравнивать перенос на A′ с памятью о самом A, он плавно падает: 93% без торможения, 90% при ×1–×2, 84% при ×4, 77–78% при ×8–×16. Когда горит меньше клеток, пересечений между похожими запахами становится немного меньше. Направление совпадает с опытами на живых мухах (Lin et al., Nature Neuroscience, 2014): когда у мухи выключали APL, ей становилось труднее отличать похожие запахи.
4. Есть излом. После ×8 экономия начинает съедать память: 54% при ×16, около 37% при ×32–×64. Клеток горит так мало, что запомнить нечем.
5. Оптимум — 3–5% активных клеток. Лучшее соотношение цены и памяти — при 3–5% активных клеток. Это рядом с живой мухой, у которой в центре памяти на запах отвечают 5–10%. Ручку крутили мы, но где окажется оптимум, заранее не знали.
При чём тут искусственный интеллект
Мозг человека тратит около 20 ватт — как тусклая лампочка. Нейросети на порядки прожорливее, и одна из причин в том, что при каждом шаге в них работает огромная часть всех вычислений. В мозге в каждый момент молчит почти всё.
Обычно это считают вынужденной экономией: энергии мало, приходится терпеть. Наш опыт на модели мухи показывает другое: тишина в разумных пределах почти не мешает учиться, а похожие запахи помогает различать чуть лучше. Экономия и обучение не враги, у них общий оптимум.
Это перекликается с тем, куда сейчас движется индустрия: модели, где для каждого слова включается лишь часть «экспертов», нейроморфные чипы, которые считают импульсами. Природа пришла к этому раньше.
Честно о пределах
- Это модель, а не живая муха. Три правки модели — наши. Они обоснованы биологией, но это наша интерпретация, а не авторов модели.
- Результаты предварительные: один прогон, один набор случайных условий, четыре повтора на точку.
- Память меряем по входу выходного нейрона, а не по его импульсам: при тихом центре памяти MBON11 в модели почти не стреляет. Это ещё одно расхождение с живой мухой.
- Правило обучения мы взяли из литературы — «клетка горела и пришёл дофамин → связь ослабла». Оно не выросло в модели само.
Что дальше
В AI.LAB есть и вторая линия опытов: мы выращиваем цифровой организм с нуля — эволюцией, на той же видеокарте. Он тоже научился экономить: его мозг сам стал тише. А вот учиться на ходу он так и не начал. В мозге мухи механизм обучения уже есть, и он показывает, где искать. О том, как эволюция раз за разом обманывала наши метрики, — в следующей статье.
Источники: модель мозга — Shiu et al., Nature, 2024; карта связей — Dorkenwald et al., Nature, 2024, FlyWire 783; опыт с обучением — Hige et al., Neuron, 2015; разреженный код и различение — Lin et al., Nature Neuroscience, 2014. Опыты — AI.LAB · Искусственная жизнь, результаты предварительные.
Вопросы
Как муха запоминает запахи?
В центре памяти мухи — грибовидном теле — каждый запах зажигает свой небольшой набор клеток. Если запах совпал с наказанием, дофамин ослабляет связи от этих клеток к выходному нейрону, и в следующий раз муха избегает этого запаха.
Что такое разреженное кодирование?
Это когда на каждый сигнал отвечает лишь малая часть нейронов. Так кодирует информацию живой мозг: например, в центре памяти мухи на запах отвечают 5–10% клеток. Разреженный код дешевле по энергии и меньше путает похожие сигналы.
Почему мозг тратит так мало энергии?
Одна из причин — в каждый момент активна лишь небольшая часть нейронов, остальные молчат. Наш опыт на модели мухи показал, что такая тишина до определённого предела почти не мешает памяти, а различение похожих запахов даже улучшает.
Чем обучение мозга отличается от обучения нейросети?
Нейросеть обучают один раз на огромном наборе данных, потом она не меняется. Мозг учится на ходу, из одного-трёх случаев, меняя лишь связи тех клеток, что были активны в нужный момент. Это дешевле и не требует переучивать всё заново.
Можно ли верить открытым моделям мозга?
Как инструменту — да, как истине — нет. В исходной модели мозга мухи все запахи сливались в один, потому что в карте связей не видны электрические контакты, и модель заменила их обычными возбуждающими связями. Ошибку нашли, проверив модель слой за слоем.