cheatsnake/backend-cheats
1
1
Fork 0
mirror of https://github.com/cheatsnake/backend-cheats.git synced 2024-11-30 11:14:17 +03:00
Code Issues Projects Releases Wiki Activity
ef1643834a
backend-cheats/README.md
Yury ef1643834a 📝 Update
2022-04-01 22:01:37 +03:00

70 KiB
Raw Blame History

Backend cheats

Данный репозиторий представляет собой наглядную шпаргалку по основным темам в области Backend-разработки. Весь материал разбит на темы и подтемы. Структура материала делится на 3 части:

  • Визуальная часть - различные изображения/таблицы/шпаргалки для лучшего понимания (может отсутствовать). Все рисунки и таблицы сделаны с нуля, специально для этого репозитория.
  • Краткое описание - очень краткая выжимка информации с перечнем основных терминов и понятий. На все термины навешиваются гиперссылки ведущие на соответсвующий раздел в Википедии.
  • Ссылки на источники - ресурсы, где можно найти полную информацию по конкретному вопросу. По возможности мы стараемся указывать максимально авторитетные источники, либо же те, которые предоставляют информацию максимально простым и понятным языком.

Изучать материал можно последовательно шаг за шагом.

🛠 Репозиторий находится в стадии активной разработки, поэтому постоянно обновляется и дополняется

🤝 Если вы хотите помочь проекту, не стесняйтесь присылать свои пулл реквесты

📝 The translation into English will be start after all the main topics have been completed

Содержание

Сеть и интернет

Интернет - это всемирная система объединяющая компьютерные сети со всего мира в единую сеть для хранения/передачи информации. Изначально Интернет разрабатывался для военных. Но вскоре он стал внедряться в учреждения образования (университеты), а затем его смогли использовать частные компании, которые начали организовывать сети провайдеров, предоставляющие услуги доступа в Интернет обычным гражданам. К началу 2020 года количество пользователей в сети Интернет перевалило за 4.5 млрд человек.

История Интернета — Википедия

  • Как устроен Интернет

    Internet

    Ваш компьютер никогда не был связан с Интернетом напрямую. Поскольку он способен видеть только свою локальную сеть, в которую проводным (Ethernet) или беспроводным (Wi-Fi, Bluetooth) путем подключены другие устройства. Для связи с Интернетом в вашей локальной сети находиться специальный мини-компьютер - маршрутизатор. Далее этот маршрутизатор связывает вас с интернет-провайдером, который в свою очередь связан с другими провайдерами более высокого уровня. Таким образом, ваше сообщение, пройдя транзитом через сеть нескольких провайдеров, достигнет сеть назначения.

    • Хост

      (host - принимающий) любое устройство, которое находится в какой-либо сети.

    • Сервер

      (serve - обслуживать) специальный компьютер в сети, который обслуживает запросы поступающие от других компьютеров.

    Источники
    Как работает Интернет - MDN (mozilla.org)
    Основы программирования. Как работают сети? - YouTube
    Хост — что это такое и как он работает
    Что такое сервер и как он работает

  • Что такое DNS

    DNS

    DNS (Domain Name System) - это децентрализованная система именования адресов в Интернете, которая позволяет создавать удобные для человека буквеные наименования (доменные имена) соответствующие числовым IP-адресам, которые используются компьютерами.

    • IP-адрес

      Специальный номерной идентификатор предоставляемый устройству находящемуся в какой-либо сети.

    Источники
    Система доменных имен DNS — YouTube
    IP адрес — HackWare.ru

  • Что такое доменное имя

    Domain

    Доменные имена - это человеко-читаемые адреса веб-серверов, доступных в Интернете. Они состоят из частей (уровней) разделенных между собой точкой. Каждая из этих частей предоставляет специфическую информацию о доменном имени. Например страну, название сервиса, локализацию и т.д.

    Источники
    Что такое доменные имена - MDN (mozilla.org)
    Как работают домены

  • Браузеры и как они работают

    Browser

    Браузер - клиент, с помощью которого можно отправлять запросы на сервер для получения файлов, которые впоследствии используются для отрисовки web-страниц. Большинство пользователей используют именно браузеры для работы в сети Интернет.

    Источники
    Как работают браузеры — MDN (mozilla.org)

  • Протокол HTTP

    HTTP (HyperText Transport Protocol) - cамый важный протокол интернета. Используйтся для передачи любых данных. Сам по себе протокол работает по простому принципу: клиент посылает запрос на сервер, после чего получает ответ на этот запрос от сервера.

    • Структура HTTP-сообщений

      Стартовая строка -> Заголовки -> Тело сообщения

    • Заголовки

      Дополнительная служебная информация которая отправляется вместе с запросом/ответом.

    • Методы запросов

      GET - запрос на получение данных
      POST - запрос с передачей данных для создания новой записи
      PUT - запрос с передачей данных для изменения записи
      DELETE - запрос на удаление записи

    • Коды состояния

      Каждый ответ от сервера имеет специальный числовой код, который характеризует состояние отправленного запроса. Эти коды делятся на 5 основных классов:

      • 1хх - служебная информация
      • 2хх - успешный запрос
      • 3хх - перенаправление на другой адресс
      • 4хх - ошибка на стороне клиента
      • 5хх - ошибка на стороне сервера
    • HTTPS

      Тот же HTTP, но с поддержкой шифрования

    • Cookie

      Поскольку протокол HTTP не позволяет сохранять никакой информации о состояниях предыдущих запросов/ответов, возникает необходимость в использовании cookie. Куки позволяют серверу хранить различную информацию на стороне клиента, которую впоследующем клиент может отсылать обратно на сервер. В частности куки могут использоваться для авторизации или для сохранения различных настроек.

    • CORS

      Технология, которая позволяет одному домену получать данные от другого.

    • HTTP 1.0 vs HTTP 1.1

      Главным нововведением в вeрсии 1.1 является режим "постоянного соединения", который позволяет посылать несколько запросов за одно подключение.

    Источники
    HTTP - MDN (mozilla.org)

  • Cтек протоколов TCP/IP

    TCP/IP

    • Стек TCP/IP

      Модель (набор правил), которая описывает способ передачи данных от источника информации к получателю. Будет полезно иметь общее представление, как ваши данные проходят через все уровни протоколов.

    TCP

    • TCP

      Протокол обеспечивающий надежную передачу данных. TCP гарантирует доставку данных и сохранение порядка следования сообщений. Но это сказывается на скорости передачи. Данный протокол используется там, где потеря информации недопустима, например для отправки почты.

    UDP

    • UDP

      Простой протокол с быстрой передачей данных. Он не использует механизмов для гарантирования доставки и порядка следования данных. Используется, например в онлайн-играх, где частичная потеря пакетов не критична, но скорость передачи данных имеет гораздо более важное значение. Так же, запросы к DNS-серверам происходят через UDP протокол.

    • MAC-адрес

      Уникальный идентификатор, назначенный сетевому адаптеру какого-либо устройства.

    Источники
    Модель и стек протоколов TCP/IP — YouTube
    Протокол TCP — YouTube
    Протокол UDP — YouTube
    Всё, что вы хотели знать о МАС адресе — habr.com

  • IPv4 и IPv6

    IPv4-IPv6

    • IPv4 и IPv6

      Cоответственно 4 и 6 версии IP-адреса. IPv4 разработана в 1981 году и ограничивает адресное пространство около 4.3 млрд (2^32) возможными уникальными адресами. Но со временем распределение адресного пространства стало происходить значительно более быстрыми темпами, что вынудило создание новой версии IP-адреса для хранения большего количества адресов. IPv6 способен обеспечить более 300 млн IP-адресов на каждого жителя Земли.

    Источники
    Протоколы IPv4 и IPv6. В чем разница и что лучше?

  • Трассировка маршрутов

    Traceroute

    Процедура, позволяющая отследить по каким узлам, с какими IP адресами, передаётся отправленный вами пакет прежде чем он достигнет точки назначения. Трассировка может применяться для выявления связанных с работой компьютерной сети проблем, а также для исследования/анализа сети.

    Источники
    Трассировка сетевого маршрута — hackware.ru
    Traceroute — Википедия

Операционные системы

Операционная система (ОС) – это комплексная программная система, которая предназначена для эффективного распределения вычислительных ресурсов компьютера. Благодаря операционным системам пользователи могут без всякого труда использовать компьютеры для решения различных задач. То есть людям не приходится иметь дело непосредственно с процессором, оперативной памятью или другими комплектующими ПК.

На данном этапе нет необходимости в детальном изучении устройства и принципов работы ОС. Достаточно лишь общего понимания, как в целом функционирует вся эта система, чтобы для вас это не было каким-то чёрным ящиком.

Основы Linux

Операционные системы на базе ядра Linux это стандарт в мире серверной разработки, поскольку большинство серверов работают именно на таких ОС. Использовать Linux на серверах выгодно, ведь он рапространяется бесплатно.

Существует огромное количество дистрибутивов (сборок с набором предустановленного ПО) Linux на любой вкус и цвет. Одним из самых популярных является Ubuntu. Именно с него можно начать своё погружение в серверную разработку.

Установить Ubuntu можно на отдельный ПК или ноутбук. Если такой возможности нет, можно воспользоваться специальной программой Virtual Box, в которой можно запускать другие ОС поверх основной. Так же можно запустить Docker контейнер с образом Ubuntu (Docker - это отдельная тема, которая рассматривается в этом репозитории).

После этого можно быстро пройти вводный курс по Linux и Bash.

  • Работа с терминалом

    Терминал (или консоль) - программа в которой для управления компьютером используются специальные текстовые команды. Как правило на серверах отсутствуют графические оболочки, поэтому вам обязательно понадобятся навыки работы с терминалом.

    • Основные команды для навигации по файловой системе 
      ls # просмотр содержимого директории
cd <путь> # переход в указанный каталог
cd .. # переход на уровень выше (в родительский каталог)
touch <файл> # создание файла
cat > <файл> # ввод текста в файл из консоли (перезапись)
cat >> <файл> # ввод текста в конец файла (добавление)
cat/more/less <файл> # просмотр содержимого файла
head/tail <файл> # просмотр первых/последних строк файла
pwd # путь к текущей директории
mkdir <имя> # создать директорию
rmdir <имя> # удалить директорию
cp <файл> <путь> # копировать файл или директорию
mv <файл> <путь># перемещение или переименование
rm <файл> # удаление файла или директории
find <строка># поиск в файловой системе
du <файл># вывод размера файла или каталога
    • Команды для получения справочной информации 
      man <название_команды> # позволяет посмотреть руководство по любой команде.
apropos <слово> # поиск команды с описанием имеющим указанное слово
man -k <слово> # аналогично команде выше
whatis <название_команды> # краткое описание команды
    • Права суперпользователя

      Аналог запуска от имени администратора в Windows.

      sudo <команда> # выполняет команду с правами суперпользователя
    Источники
    Основные linux-команды для новичка – habr.com
    44 команды Linux которые вы должны знать – losst.ru

  • Менеджер пакетов

    Встроенный менеджер пакетов apt (advanced packaging tool) позволяет устанавливать/обновлять программные пакеты из сети с помощью терминала.

    • Базовые команды 
      apt install <имя_пакета> # установить пакет
apt remove <имя_пакета> # удалить пакет, но оставить конфигурацию
apt purge <имя_пакета> # удалить пакет вместе с конфигурацией
apt update # обновление информации о новых версиях пакетов
apt upgrade # обновление пакетов, установленных в системе
apt list --installed # список установленных в системе пакетов
apt list --upgradable # список пакетов, которые требуют обновления
apt search <имя> # поиск пакетов по имени в сети
apt show <имя_пакета> # информация о пакете
    Источники
    Как пользоваться apt – losst.ru
    Использование APT. Команды apt и apt-get – pingvinus.ru

  • Скрипты Bash

    С помощью скриптов (сценариев) можно автоматизировать последовательный ввод любого количества команд. В Bash можно создавать различные условия (разветвления), циклы, таймеры и т.д. для выполнения всевозможных действий связанных с вводом в консоль.

    Источники
    Bash-скрипты: начало – habr.com
    Шпаргалка оп Bash – quickref.me

  • Пользователи

    ОС на базе Linux являются многопользовательскими. Это означает, что несколько людей могут запускать множество различных приложений одновременно на одном и том же компьютере. Чтобы система Linux смогла «узнать» пользователя, он должен войти в систему, соответсвенно каждый пользователь должен иметь уникальное имя и секретный пароль.

    • Работа с пользователями 
      useradd <имя> [ключи] # создать нового пользователя
passwd <имя> # установить пароль пользователю
usermod <имя> [ключи] # редактировать пользователя
usermod -L <имя> # заблокировать пользователя
usermod -U <имя> # разблокировать пользователя
userdel <имя> [ключи] # удалить пользователя
    • Работа с группами 
      groupadd <группа> [ключи] # создать группу
groupmod <группа> [опции] # редактировать группу
groupdel <группа> [опции] # удалить группу
usermod -a -G <группы(через запятую)> <пользователь> # добивить пользователя в группы
gpasswd --delete <пользователь> <группы(через запятую)> # удалить пользователя из групп
    • Системные файлы 
      /etc/passwd # файл паролей, содержащий основную информацию о пользователях
/etc/shadow # файл теневых шифрованных паролей, содержащий зашифрованные пароли
/etc/group # файл групп, содержащий основную информацию о группах
/etc/gshadow # файл теневых групп, содержащий шифрованные пароли групп
    Источники
    Пользователи в Linux – добавление, изменение, удаление
    Группы и пользователи в Linux

  • Работа с процессами

    Процессы в Linux можно описать как контейнеры, в которых хранится вся информация о состоянии выполняемой программы. Если программа работает хорошо, то все нормально, но если она зависла и вам нужно восстановить её работу, тогда вам понадобиться навыки работы по управлению процессами.

    • Базовые команды 
      ps # вывести 'снимок' процессов всех пользователей
top # диспетчер задач в реальном времени
<команда> & # запуск процесса в фоновом режиме, то есть не занимая консоль
jobs # список запущенных в фоновом режиме процессов
fg <номер> # вернуть процесс обратно в активный режим по его номеру
bg <номер> # запуск остановленного процесса в фоновый режим
kill <id процесса> # завершить процесс по id
killall <программа> # завершить все процессы связанные с одной программой
    Источники
    Работа с процессами в Linux – YouTube
    Шпаргалка по работе процессами в Lunux – dmosk.ru

  • Работа с SSH

    Служба SSH Позволяет получить удаленный доступ к терминалу другого компьютера. В случае с персональным компьютером, это может понадобиться для срочного решения какой-либо проблемы, а в случае с сервером это вообще очень распространенная практика.

    • Базовые комнады 
      apt install openssh-server # установка SSH (хотя он почти везде идёт из коробки)
service ssh start # запуск SSH
service ssh stop # остановка SSH
ssh -p <Порт> user@remotehost # подключенние к удаленному ПК через SSH
ssh-keygen -t rsa # генерация RSA-ключа для беспарольного входа
ssh-copy-id -i ~/.ssh/id_rsa user@remotehost # копирования ключа на удаленную машину
    Источники
    Как пользоваться SSH – losst.ru

  • Проблемы Linux

Общие знания

  • Системы счисления

  • Логические операции

  • Структуры данных

    • Хэш-таблицы

    • Очередь и стек

    • Связанные списки

    • Двусвязные списки

  • Базовые алгоритмы

  • Оценка сложности алгоритмов

  • Форматы хранения данных

    • Текстовые

      JSON, YAML, XML

    • Бинарные

      Message Pack, BSON, ProtoBuf

  • Задача и понятие языка программирования

  • Классификация языков программирования

  • Что такое трансляция и компиляция

Язык программирования

На этом этапе Вам предстоит выбрать для изучения один из языков программирования. В открытом доступе полно информации по различным языкам, поэтому с обучением у Вас не должно возникнуть проблем.

Не важно какой язык вы выберете в начале своего пути. Все языки, плюс/минус, основываются на одинаковых принципах. Изучив досконально один из языков вам не составит труда использовать новый, потратив лишь немного времени на изучение синтаксиса и некоторых специфических особенностей. Примите к сведению, что язык программирования - это всего лишь инструмент. Изобилие языков обосновано тем, что каждый язык программирования, как правило, создаётся для решения определённых задач и в чём-то может уступать остальным. Поэтому в будущем, по мере вашего роста, вам всё ровно придётся столкнуться с использованием разных языков.

Тем не менее, ниже приведен список конкретных языков, которые лично по моему мнению хорошо подходят для backend-разработки.

Python - очень популярный и широко используемый. Лёгкий в изучении, благодаря простому синтаксису.

JavaScript - не менее популярный и практический единственный язык для полноценной Web-разработки. Благодаря платформе Node.js последнее несколько лет набирает популярность и в области backend-разработки.

Go - язык созданный внутри компании Google. Создавался специально для серверной разработки. Минималистичный, но в то же время обладающий очень богатой стандартной библиотекой.

В будущем здесь будет подробно рассмотрен один из языков

Базовое ПО

  • Система контроля версий Git

    Git - специальная система для управления историей изменения исходного кода. Любые изменения которые вносятся в Git могут быть сохранены, что позволяет откатываться (возвращаться) на ранее сохраненную копию проекта. На данный момент Git является стандартом для разработки.

    • Основные команды 
      git init # инициализация Git в текущей папке
git add [файл] # добавить файл в Git
git add . # добавить все файлы в папке в Git
git reset [файл] # отменить добавление указанного файла
git reset # отменить добавление всех файлов
git commit -m "ваш текст" # создать коммит (сохранение)
git status # показывает статус добавленных файлов
git push # отправить текущие коммиты в удаленный репозиторий
git pull # загрузить изменения с удаленного репозитория
git clone [ссылка] # склонировать указанный репозиторий к себе на ПК
    • Работа с ветками

      Ветвление позволяет отклонятся от основной линии разработки и продолжать работу независимо.

      git branch # показать список текущих веток
git branch [имя] # создать новую ветку от текущего коммита
git checkout [имя] # переключиться на указанную ветку
git merge [имя] # слияние указанной ветки в текущую ветку
git branch -d [имя] # удалить указанную ветку
    • Отмена коммитов 
      git revert HEAD --no-edit # создать новый коммит который отменяет изменения предыдущего
git revert [хэш_коммита] --no-edit # то же действие, но с указанным коммитом
    • История изменений 
      git log [ветка] # показать коммиты указанной ветки
git log -3 # показать 3 последних коммита текущей ветки
git log [файл] # показать историю коммитов указанного файла
    Источники
    Шпаргалка по консольным командам Git – GitHub
    Git. Большой практический выпуск – YouTube

  • Docker

    Docker - специальная программа, которая позволяет запускать изолированные песочницы (контейнеры) с различным предустановленным окружением (будь-то определенная операционная система, база данных и т.д.). Технология контейнеризации, которую предоставляет Docker, схожа с виртуальными машинами. Но, в отличие от виртуальных машин, контейнеры не создают такой дополнительной нагрузки, поскольку используют ядро хостовой ОС.

    • Образ (image)

      Специальный фиксированный шаблон, в котором содержится описание среды для запуска приложения (ОС, исходный код, библиотеки, переменные окружения, файлы конфигурации и т.д.). Образы можно скачивать с официального сайта и на их основе создавать свои.

    • Контейнер (container)

      Изолированная среда, созданная на основе какого-либо образа. По сути это является запущенным процессом на компьютере, который внутри содержит то окружение, которое описано в образе.

    • Основные команды 
      docker pull [имя_образа] # Загрузить образ из сети
docker images  # Список доступных образов 
docker run [id_образа] # Запуск контейнера на основе выбранного образа
    # Некоторые флаги для команды run:
    -d # Запуск с возвратом в консоль
    --name [имя] # Задать имя контейнеру
    --rm # Удалить контейнер после остановки
    -p [локальный_порт][порт_внутри_контейнера] # Проброс портов
docker build [путь_к_Dockerfile] # Создание образа на основе Dockerfile
docker ps # Список запущенных контейнеров
docker ps -a # Список всех контейнеров
docker stop [id/имя_контейнера] # Остановить контейнер
docker start [id/имя_контейнера] # Запустить существующий контейнер
docker attach [id/имя_контейнера] # Подключится к консоли контейнера
docker logs [id/имя_контейнера] # Вывести логи контейнера
docker rm [id/имя_контейнера] # Удалить контейнер
docker container prune # Удалить все контейнеры
docker rmi [id_образа] # Удалить образ
    • Инструкции Dockerfile

      Dockerfile представляет собой файл с набором инструкций и аргументов для создания образов.

      FROM [имя_образа] # Задание базового образа
WORKDIR [путь] # Задание корневой директории внутри контейнера
COPY [путь_относительно_Dockefile] [путь_в_контейнере] # Копирование файлов
ADD [путь] [путь] # Аналогично команде выше
RUN [команда] # Команда которая запускается только при инициализации образа
CMD ["команда"] # Команда которая отрабатывает каждый раз при запуске контейнера
ENV КЛЮЧ="ЗНАЧЕНИЕ" # Установка переменных окружения
ARG ИМЯ=ЗНАЧЕНИЕ # Задание переменных для передачи Docker во время сборки образа
ENTRYPOINT ["команда"] # Команда которая запускается во время работы контейнера
EXPOSE порт/протокол # Указывает на необходимость открыть порт
VOLUME ["путь"] # Создаёт точку монтирования для работы с постоянным хранилищем
    • Docker-compose

      Специальный инструмент позволяющий одновременно запускать несколько контейнеров с разной инфраструктурой. В каком-то смысле это Dockerfile на максималках.

    Источники
    Полное практическое руководство по Docker – habr.com
    Docker для Начинающих. Полный Курс – YouTube
    Изучаем Docker: файлы Dockerfile – habr.com
    Руководство по Docker Compose для начинающих – habr.com

  • Postman/Insomnia

    При создании серверной части приложения, возникает необходимость в тестировании его работоспособности. Это можно сделать разными способами. Один из самых простых – это воспользоваться консольной утилитой curl. Но такой способ годится если ваше приложение не большое и имеет всего несколько эндпоинтов. Намного эффективнее использовать специальное ПО для тестирования, которое имеют удобный интерфейс и весь необходимый функционал для автоматизации.

    • Postman

      Очень популярная и многофункциональная программа. Здесь точно есть всё, что Вам может пригодиться и даже больше: начиная от банального создания коллекций до поднятия mock-серверов. Основной функционал приложения является бесплатным.

    • Insomnia

      Не такой популярный, но очень приятный инструмент. Интерфейс в Insomnia, минималистичный и понятный. Здесь поменьше функционала, но все самое необходимое есть: коллекции, переменные, автоматические тесты и т.д. Имеется возможность установки сторонних плагинов.

    Источники
    Уроки по тестированию в Postman (плейлист) – YouTube
    Insomnia. Инструмент для API тестирования – YouTube

Базы данных

  • Реляционные базы данных

  • Документоориентированные базы данных

  • Redis

  • Проблемы баз данных

Безопасность

  • Криптография

    • Хэши и хеш-функции

    • Цифровые подписи

    • Соль для подписей

    • Коллизия хэшей

Дополнительные материалы и источники

Made with ♥
LICENSE 2022