Как работает метод Flash Attention для ускорения вычислений?

Метод Flash Attention ускоряет вычисления за счёт оптимизации работы с памятью. www.hopsworks.ai huggingface.co

В стандартных механизмах внимания для хранения, чтения и записи ключей, запросов и значений используется память с высокой пропускной способностью (HBM). www.hopsworks.ai huggingface.co Она имеет большую ёмкость, но медленную скорость обработки. www.hopsworks.ai huggingface.co Для обработки данных используется другая память — SRAM, которая имеет меньшую ёмкость, но обеспечивает быстрый доступ к информации. www.hopsworks.ai huggingface.co

В стандартных механизмах внимания данные часто перемещаются между HBM и SRAM. www.hopsworks.ai Например, во время вычислений ключи, запросы и значения загружаются из HBM в SRAM для обработки, а промежуточные результаты и окончательные выводы записываются обратно в HBM после каждого шага механизма внимания. www.hopsworks.ai

Flash Attention оптимизирует перемещение данных. www.hopsworks.ai Вместо выполнения этих операций для каждого отдельного шага внимания, Flash Attention загружает ключи, запросы и значения только один раз, объединяет операции механизма внимания и затем записывает результаты обратно в память. www.hopsworks.ai huggingface.co

Кроме того, загруженные данные делятся на более мелкие блоки, что способствует параллельной обработке. www.hopsworks.ai

В результате Flash Attention позволяет ускорить обучение и вывод моделей на основе трансформаторов. www.hopsworks.ai huggingface.co