Йерархична временна памет

Йерархична временна памет (ЙВП, на английски: HTM – Hierarchical Temporal Memory) е машинен самоучещ се до полусебеучещ се онлайн модел създаден от Джев Хаукинс и Дилип Джордж от „Нумента Инкорпорейтед“, която моделира някой от структурните и лагоритмични свойства на неокортекса. ЙВП е биометричен модел базиран на паметнопредсказателната теория на мозъчната функция описана от Джев Хаукинс в книгата си „За интелекта“. ЙВП е мотод за откриване и дедуциране на причините от високо ниво на наблюдавани модели и секвенции, които се вкарват, и така създава изключително комплексен модел на света.

Джев Хаукинс казва че ЙВП не предлага нови идеи в теорията, обаче комбинира вече съществуващи идей за да имитира мозъкът с прост дизайн, който предлага много възможности. ЙВП комбинира и разширява методите използвани в Рядкодистрибутианата памет, Мрежа на Байесиан, пространствени и временни групови алгоритми, използвайки дървообразна йерархия от клони, често срещана в неврните мрежи.

ЙВП структура и алгоритми

Типична ЙВП мрежа е дървообразна йерайрия от нива, които са съставени от малки елементи, наречени възли или колони. Едно ниво в йерархията също така се нарича и регион или област. По-висиките йерархични нива често имат малко възли и следователно по-малко разложимост. По-висиките йерархични нива могат да преизползват вече научени модели в по-ниските нива, като ги комбинират и запомнят за по сложни модели.

Всеки ЙВП възел има една и съща функционалност. В учещите и дедуциращи модели сензорни данни идват от възлите в по-ниските нива. Когато е нагласена да генерира долните нива изкарват генерираният модел на дадена категория. Най-горното ниво обикновено е един възел, съхраняващ най-общите категории (концепции), които определят или са определени от по-малки концепции на по-ниските нива, които са по-ограничени във времето и пространството. Когато е нагласена да дедуцира по един възел на всяко ниво интерпретира информацията, идваща от дъщерните възли в по-ниските нива, представена като вероятности на категориите, които има в своята памет.

Всеки ЙВП регион се ущи като идентифицира и запомня пространствени модели – комбинации от вкарани битове, които често се появяват по едно и също време. Тогава идентифицира променени секвенциални модели които се появяват един след друг.

Цел 1: първо поколение възлови алгоритми

По време на обучението един възел получава временна секвенция от пространствени модели като входящи данни. Процесът на учене се състои от два етапа:

Пространственото обединение идентифицира често срещани модели и ги запомня като съвпадения. Моделите, които са много близки, се третират като едно и също съвпадение. Голям брой възможни входящи модели се редуцират до лесно управляем брой от познати модели.
Паметно обединение разделя съвпадения, които често се срещат едно след друго в обучаващата секвенция, във временна група. Всяка група от модели представя „причина“ за входящ модел (или име в книгата „За Интелекта“).

По време на всяка дедукция (разпознаване) възелът изчислява множество от вероятности за моделът да принадлежи на всяко познато съвпадение. После изчислява вероятността за входящите данни да представят временната група. Множеството от вероятности наложено на групата се нарича „вярата“ на възела за входящия модел. (В по проста имплементация вярата на възела се състои от само една печеливша група). Тази вяра е резултатът от дедукцията, която е предадена от един или повече майчини възли в по-високо ниво на йерархията.

„Неочаквани“ модели на възела нямат доминиращи вероятности за принадлежност към някоя от временните групи, но имат близо еднакви вероятности да принадлежат на някои от групите. Ако секвенциите на моделите са подобни на трениращите секвенции, тогава присвоените вероятности на групите няма да се променят със същата честоъо на получаване на моделите. Изходните данни на възела няма да се променят често и една резолюция от времето е изгубена.

В по обща схема възловите вярвания могат да бъдат изпратени към входа на който и да е възел в което и да е ниво, но връзките между възлите са фиксирани. Възелът от по-високо ниво комбинира тези изходни данни с другите такива от други дъщерни възли и така формира собствен изходен модел

Тъй като резолюцията във времето и пространството се губи във всеки възел, както е описано по-горе, вярванията формирани от възлите от високо ниво представят по-голям диапазон от време и пространство.

Външни препратки

Официално

Cortical Learning Algorithm overview
HTM Cortical Learning Algorithms Архив на оригинала от 2011-12-27 в Wayback Machine.. PDF.
Numenta, Inc.
HTM Cortical Learning Algorithms Archive
Association for Computing Machinery talk from 2009 by Subutai Ahmad from Numenta Архив на оригинала от 2012-12-08 в Wayback Machine.
OnIntelligence.org Forum Архив на оригинала от 2017-04-16 в Wayback Machine., an Internet forum for the discussion of relevant topics, especially relevant being the Models and Simulation Topics Архив на оригинала от 2016-11-27 в Wayback Machine. forum.
Hierarchical Temporal Memory Архив на оригинала от 2016-08-17 в Wayback Machine. (Microsoft PowerPoint presentation)
Cortical Learning Algorithm Tutorial: CLA Basics, talk about the cortical learning algorithm (CLA) used by the HTM model on YouTube

Други

Pattern Recognition by Hierarchical Temporal Memory by Davide Maltoni
Vicarious Startup rooted in HTM by Dileep George
The Gartner Fellows: Jeff Hawkins Interview Архив на оригинала от 2012-02-05 в Wayback Machine. by Tom Austin, Gartner
Emerging Tech: Jeff Hawkins reinvents artificial intelligence^{[неработеща препратка]} by Debra D'Agostino and Edward H. Baker, CIO Insight
Putting your brain on a microchip^{[неработеща препратка]} by Stefanie Olsen, CNET News.com, 12 май 2006
The Thinking Machine by Evan Ratliff, Wired
Think like a human by Jeff Hawkins, IEEE Spectrum
Neocortex – Memory-Prediction Framework – Open Source Implementation with GNU General Public License
Hierarchical Temporal Memory related Papers and Books