squid
Squid ( англ. squid — «кальмар») — программный пакет , реализующий функцию кэширующего прокси-сервера для протоколов HTTP , FTP , Gopher и (в случае соответствующих настроек) HTTPS . Разработан сообществом как программа с открытым исходным кодом (распространяется в соответствии с GNU GPL ). Все запросы выполняет как один неблокируемый процесс ввода-вывода .
Используется в UNIX-подобных системах и в ОС семейства Windows NT . Имеет возможность взаимодействия с Active Directory Windows Server путём аутентификации через LDAP , что позволяет использовать разграничения доступа к интернет ресурсам пользователей, которые имеют учётные записи на Windows Server, также позволяет организовать «нарезку» интернет-трафика для различных пользователей.
Используется вместе с движками Mediawiki на wiki-хостингах. Использование кэширующего прокси-сервера для сайтов становится выгодно примерно с 2000 посетителей в сутки.
Сервер Squid развивается в течение уже многих лет. Обеспечивает совместимость с большинством важнейших протоколов Интернета, а также с операционными системами:
AIX BSDI FreeBSD Linux HP-UX IRIX Mac OS X Microsoft Windows NetBSD NeXTStep OSF и Digital Unix OpenBSD OS/2 , включая EComStation и ArcaOS [ 4 ] SCO Unix SunOS / SolarisSquid используется и в системе Wikimedia . [ 5 ]
Для контроля доступа к ресурсам и определения ряда действий используются списки контроля доступа [ 6 ] ( англ. access control list , acl). Каждый ACL может состоять из нескольких критериев (но только одного типа):
адрес (сеть) источника запроса, цели запроса имя ( доменное имя ) источника запроса, имя цели запроса части URL запроса протокол порт (получателя, отправителя, самого squid’а) метод (POST или GET) при передаче данных по HTTP браузер ( User-agent ) ident (запрос к рабочей станции ) Номер автономной системы отправителя/получателя (не для всех случаев) Авторизация на прокси-сервере (см. ниже) Номер соединения (чаще всего используется для ограничения количества соединений) SNMP сертификаты пользователя параметры запроса внешние обработчикиSquid поддерживает несколько видов идентификации пользователей:
По IP-адресу (или доменному имени узла) По переданным реквизитам (логин/пароль) По идентификатору пользовательского агента (браузера)Для идентификации по логину/паролю возможно использовать:
Обычные логин/пароль NTLM -авторизацию Внешние программы авторизации (определяющие формат авторизации)Squid имеет возможность переписывать запрашиваемые URL. Squid может быть сконфигурирован так, чтобы пропускать входящие URL через процесс редиректора, выполняемого как внешний процесс (подобно dnsserver), который возвращает новый URL или пустую строку, обозначающую отсутствие изменений.
Редиректор не является стандартной частью пакета Squid. Редиректор предоставляет администратору контроль за передвижениями пользователей. Использование редиректора в сочетании с прозрачным проксированием даёт простой, но эффективный контроль над доступом к нежелательным ресурсам (например к развлекательным ресурсам и социальным сетям в корпоративной сети , порнографии ). Программа-редиректор должна читать URL (один на строку) со стандартного входа и записывать изменённые URL или пустые строки на стандартный выход. Нужно заметить, что программа-редиректор не может использовать буферизированный ввод-вывод. Squid дописывает дополнительную информацию после URL, которую редиректор может использовать для принятия решения.
SAMS (SQUID Account Management System) — программное средство для администрирования доступа пользователей к прокси-серверу Squid.
На данный момент SAMS настраивает работу редиректоров:
Редиректор SAMS — редиректор, работающий напрямую с базами SAMS SquidGuard — очень мощный редиректор. Стандартный SQUID — простейший редиректор, описанный в документации к SQUIDВиды редиректоров:
Редиректор SAMSНаписан специально для SQUID, напрямую использует информацию, содержащуюся в базе данных. Позволяет включить различное перенаправление запросов для пользователей (регулируется шаблонами пользователей). Редиректор SAMS обеспечивает:
ограничение доступа пользователей к SQUID контроль времени доступа пользователей к SQUID ограничение доступа пользователей к запрещённым ресурсам (или доступ пользователей только к разрешённым ресурсам) перенаправление запросов пользователей к баннерам, счётчикам и т. п. Редиректор SquidGuardМощный редиректор с большими возможностями. В состав редиректора входят списки баннерных, порно- и пр. доменов. SAMS добавляет в файл конфигурации SquidGuard squidguard.conf настройки на списки запрещённых доменов и перенаправления доступа SAMS. Настройки на списки, идущие с SquidGuard, не изменяются и не удаляются.
При использовании редиректора SquidGuard в файл squid.conf заносятся acl, разрешающие доступ всех пользователей к SQUID. Ограничение доступа пользователей организовано средствами редиректора.
Стандартный SQUIDЭтот редиректор описан в документации на SQUID. Написан на perl. Редиректор создаётся после подачи команды на реконфигурирование SQUID на основе списков перенаправления запросов. Быстрый и лёгкий редиректор, но не различает пользователей.
При использовании этого редиректора ограничение доступа пользователей по спискам запрета доступа организовано с использованием ACL SQUID. При использовании редиректора SQUID или, если редиректор не используется вовсе, то существует возможность — при отключении пользователей за превышение трафика у них остаётся доступ к URL и IP-адресам, прописанным в списке «Локальные домены».
Ограничение максимальной скорости получения пользователем (пользователями) в squid реализовано с помощью механизма англ. delay pools (дословно — «пулы задержки»). Механизм ограничения скорости работает по принципу бассейна (откуда и название pool (бассейн)), в который «втекает» и «вытекает» информация. Отдельные конфигурируемые подобным образом области памяти называются англ. bucket (ведро). У ведра есть параметры: «ёмкость», «скорость наполнения». Если пользователь (пользователи) получают информацию на скорости ниже, чем «скорость наполнения», то ведро всегда полно. Если пользователь кратковременно поднимает скорость получения информации выше скорости наполнения, то до момента, пока ведро не пусто, он не ограничивается по скорости, как только ведро становится пустым, клиент получает информацию со скоростью наполнения ведра. В случае наличия групповых и индивидуальных вёдер они включаются последовательно.
Существует три типа (класса) delay pools [ 7 ] :
Единое ведро ( англ. aggregate bucket , class 1) ограничение на общую потребляемую полосу для всей группы. (параметры: ёмкость бассейна, скорость наполнения). Единое ведро с автоматическим формированием индивидуальных вёдер ( англ. single aggregate bucket as well as an "individual" bucket , class 2). Индивидуальные вёдра формируются из битов IP-адреса (c 25 по 32). Единое ведро, сетевые вёдра и индивидуальные вёдра ( англ. single aggregate bucket as well as a "network" bucket and a "individual" bucket , class 3). Сетевое ведро формируется по битам 17-24 IP-адреса.Для каждого ведра указываются два параметра: ёмкость и скорость наполнения. −1 означает «без ограничения».
Попадание пользователей в то или иное ведро определяется списками доступа к вёдрам, они просматриваются в порядке упоминания в файле конфигурации до первого совпадения. Пользователи, не попадающие ни в одно из вёдер, в скорости не ограничиваются.
Одной из особенностей squid является возможность работать в режиме обратного прокси (reverse proxy), также известного как «ускоритель» («HTTP accelerator»). В этом случае прокси устанавливается на стороне сервера и производит кэширование запросов множества пользователей к этому серверу. В этом режиме принятый запрос проверяется на «динамичность» (нужно ли каждый раз обрабатывать запрос с нуля) и «возраст» (актуальны ли ещё данные). Если данные ещё актуальны и не поменялись, то запрос не передаётся серверу, а отдаётся из кеша squid’а. Таким образом существенно снижается нагрузка на серверы (например, в Википедии запросы к страницам кешируются, так как от просмотра их содержимое не меняется, при этом нагрузка на серверы существенно меньше — обработка запроса к кешу много проще, чем обработка запроса к базе данных SQL , обработка вики -разметки и формирование веб-страницы ).
Кроме того, «обратный прокси» способен распределять запросы между несколькими серверами, балансируя нагрузку и/или обеспечивая отказоустойчивость, то есть фактически предоставляет функциональность, аналогичную кластеру .
В сочетании с некоторыми межсетевыми экранами и маршрутизаторами squid может работать в режиме прозрачного прокси ( англ. transparent proxy ). В этом режиме маршрутизатор вместо того, чтобы сразу пересылать HTTP-запросы пользователя HTTP-серверу в Интернете , перенаправляет их прокси-серверу, который может работать как на отдельном хосте, так и на самом маршрутизаторе. Прокси-сервер обрабатывает запрос (с возможной отдачей содержимого из кеша), это содержимое направляется к запросившему пользователю, для которого оно выглядит как «ответ» сервера, к которому адресовался запрос. Таким образом, пользователь может даже не знать, что все запросы и ответы прошли через прокси-сервер.
При таком подходе проксирования аутентификация не предусмотрена, так как прозрачность проксирования это и подразумевает.
Для возможности проксирования в прозрачном режиме HTTPS -запросов необходимо собрать с поддержкой SslBump [ 9 ] .