Масштабирование чтения

Проблема

Представим ленту Можнограм. Когда мы открываем приложение, нужно сразу загрузить десятки фотографий, и для каждой из них требуется несколько запросов к базе: метаданные изображения, информация о пользователе, число лайков, превью комментариев. В сумме это легко может быть больше 100 операций чтения только для одной загрузки ленты. При этом мы можем публиковать всего одну фотографию в день, то есть делать одну запись.

Такой перекос встречается постоянно. На каждый опубликованный твит приходится тысячи чтений. На каждый товар, который добавляют на Озон, приходится сотни просмотров. YouTube ежедневно обслуживает миллиарды просмотров видео, хотя загрузок намного меньше. Стандартное соотношение чтений к записям начинается с 10:1, но для приложений с контентом легко доходит до 100:1 и выше.

По мере роста числа чтений базе данных все труднее выдерживать нагрузку.

Чаще всего это не та проблема, которую можно исправить программно. Это физика. CPU может выполнить только ограниченное число инструкций в секунду, память может держать только ограниченный объем данных, а дисковый ввод-вывод ограничен скоростью дисков и SSD. Когда мы упираемся в эти физические пределы, еще немного "умного кода" уже не помогает.

Что с этим делать? Давайте разберем.

Решение

Масштабирование чтения обычно развивается по естественной траектории: от простых оптимизаций к более сложным распределенным системам.

1. Оптимизировать чтение внутри базы данных
2. Масштабировать базу данных горизонтально
3. Добавить внешние слои кэширования

Вот как работает каждый из этих шагов.