База данных – это место, куда можно положить нужную информацию, чтобы потом с ней работать. Например, в базе данных интернет-магазина удобно держать каталог товаров, информацию по клиентам, контент и т.д.
Но как создать такое место? Как класть в него данные, менять их, показывать другим пользователям? Для этого нужен специальный софт – система управления базами данных (СУБД). Вы указываете ей, какие данные брать и что с ними делать, а дальше система сама все выполняет.
Сегодня существует несколько сотен СУБД. Посмотрим, какие из них вошли в первую пятерку рейтинга DB-Engines в этом году.
Самая популярная и уважаемая СУБД, первая версия которой появилась еще в конце 70-тых. Мощная, практичная и статусная.
Плюсы:
Минусы:
Кому подойдет: крупным (и богатым) корпорациям, которые работают с огромными объемами данных.
Золотой стандарт СУБД для веб-приложений на Linux. Система быстрая, надежная, а главное – бесплатная. Хотя для бизнеса лучше взять платную версию.
Плюсы:
Минусы:
Кому подойдет: компаниям, которым нужна нормальная бесплатная СУБД.
Фирменная СУБД от Microsoft. Работает как с локальными, так и с облачными серверами (их даже можно использовать одновременно). С 2016-го года дружит с Linux, но оптимально использовать ее в ОС семейства Windows.
Плюсы:
Минусы:
Кому подойдет: компаниям, которые используют продукты Microsoft.
Одна из первых СУБД, разработанная почти 30 лет назад в университете Беркли. Чаще всего используется для управления базами данных веб-сайтов. Потому что удобная и бесплатная.
Плюсы:
Минусы:
Кому подойдет: компаниям с ограниченным бюджетом и большими базами данных.
Бесплатная СУБД, поддерживающая несколько языков программирования. В отличие от предыдущих систем, не работает с реляционными базами (в которых все данные взаимосвязаны).
Плюсы:
Минусы:
Кому подойдет: компаниям, которые работают с большими объемами разрозненных данных.
В настоящее время существует большое количество СУБД различных производителей, при этом наиболее распространенные СУБД являются универсальными, т.е. могут использоваться в различных предметных областях и для решения различных задач. Системы различаются по производительности, требовательности к ресурсам, стоимости обслуживания.
Наиболее распространенными промышленными СУБД до сих пор являются системы американской компании Oracle, производителя первой коммерческой промышленной СУБД. Эти системы отличает высокая надежность, возможность тонкой настройки под решаемые задачи, гибкое управление оперативной памятью, высокое быстродействие, мультиплатформенность – т.е. возможность работать под управлением как ЭВМ различной архитектуры, так и различных операционных систем. Наряду с многопользовательской версией СУБД Oracle, существует ее «облегченный» вариант – Personal Oracle или Oracle Lite. Данная версия используется обычно в небольших АИС с ограниченным кругом пользователей (как правило, не более 5 – 10 человек).
Промышленная СУБД компании Microsoft, имеющая название SQL Server, обладает не меньшими возможностями, чем СУБД компании Oracle. Однако ее недостатком является то, что она может функционировать только под управлением операционных систем самой компании Microsoft, что делает невозможным ее использование на серверах, работающих под управлением таки популярных операционных систем, как Unix, Linux, Solaris и других. Другой популярной СУБД компании Microsoft является MS Access, входящая в пакет программ Microsoft Office. Данная СУБД является однопользовательской и предназначена для ведения небольших баз данных.
Популярными и достаточно распространенными СУБД являются также DB2 компании IBM, СУБД Sybase, Informix, PostgreSQL («Пост-Грес-Кью-Эл», «постгрес») , Interbase и некоторые другие. Отдельно стоит упомянуть свободно распространяемые СУБД, многие из которых подходят для решения достаточно сложных задач. Не обладая, в полной мере, функциональностью, присущей коммерческим СУБД, они, в то же время, имеют существенно достоинство – нулевую стоимость. Как правило, такие СУБД поддерживаются независимыми группами разработчиков и распространяются в виде исходных текстов программных модулей. Наиболее популярными из таких СУБД в нашей стране являются MySQL и так называемые «клоны» коммерческой СУБД Interbase – FireBird и Yaffil.
Выбор СУБД должен учитывать потребности заказчика, возможности дальнейшего расширения информационной системы, факторы стоимости приобретения и другие параметры.
Вся жизнедеятельность человека неразрывно связана со множеством информационных каталогов и баз данных. Библиотечный реестр, записная книжка, адреса в мобильном телефоне или планшете - вот далеко не полный перечень структурированной информации, которой мы пользуемся. Но компьютеры любят точность, поэтому дадим определение.
Итак, база данных (БД) - набор логически взаимосвязанных данных, описывающий информационное состояние объектов в различных предметных областях и обрабатываемые компьютерной техникой.
Системой управления базами данных является программная и языковая среда для создания, управления и обработки информационных баз. Назначение СУБД:
Если говорить проще, то база данных определяет методику хранения информации , а СУБД предоставляет средства для ее обработки . Дополнительно системы управления базами разделяются на системы общего применения , которые могут обрабатывать различные данные и специализированные , разработанные под конкретную предметную область или тип информации. Примером специализированных систем управления базами данных являются объектно-ориентированные.
С момента появления компьютерных баз данных было создано множество моделей их работы, но реляционная модель оказалась самой универсальной. Она представляет собой связанный набор информационных таблиц, гарантирует целостность и минимальную избыточность информации. Табличная модель оказалась применима к большинству предметных областей, и рынок реляционных систем управления базами данных стал развиваться быстрыми темпами. На рисунке показан пример реляционной структуры «База студентов».
Все реляционные СУБД поддерживают ANSI стандарт языка SQL и базовые принципы реляционной модели, что обеспечивает работу приложений на разных СУБД. Дополнительно крупные СУБД имеют свои дополнения расширения SQL. Примеры системы управления для крупных проектов - это и ORACLE.
Реляционная модель успешно используется и в разработке Интернет-проектов. Примерами являются СУБД MySQL и PostgreSQL.
Увеличение объемов информации и усложнение взаимосвязей привело к появлению новых систем управления базами данных. Информация перестала быть независимой друг от друга, и иногда вообще невозможно жестко описать ее структуру. Реляционные базы уже не могут справляться с такими задачами. Это привело к появлению нового типа информационных баз и систем управления ими, получивших общее название NoSQL («нет SQL»).
Рынок продолжает развиваться и все больше склоняется к использованию NoSQL-решений. Конечно, на «классическом» SQL реализовано огромное количество программных систем различной сложности, и за ним стоят такие гиганты рынка как Microsoft и ORACLE. Но с большой долей уверенности можно предположить, что NoSQL в ближайшие годы смогут значительно потеснить лидеров в разработке сложных информационных систем.
Если вы планируете участвовать в сколь угодно серьезной разработке, знать базы данных - жизненно необходимо. Они повсюду, даже если вы об этом не догадываетесь. Рейтинг PYPL , который вычисляет популярность , и баз данных, выделяет 14 систем управления базами данных, которыми пользуется, по крайней мере, 1% пользователей. PYPL индексирует популярность исходя из количества запросов в поиске Google. Согласно обработке результатов коллективного разума, по состоянию на октябрь 2017 года самой популярной базой данных остается Oracle с результатом 32.26%. Эта кроссплатформенная СУБД - старейшина мира баз данных. Сложно поверить, но, первая версия, которая по неизвестным нам причинам называется Oracle v2, вышла ещё в 1979 году. Самая новая на сегодняшний день - Oracle 12.2 - в сентябре 2016 года. Базу данных Oracle чаще всего используют крупные компании, но есть и бесплатная версия, если захотите потренироваться, чтобы затем найти работу, связанную со «взрослой» версией. Называется она Oracle Database Express Edition, её можно загрузить с сайта Oracle . Разумеется, она имеет большое количество ограничений (она использует до 1 ГБ ОЗУ, только 1 процессор, всего одна БД до 11 ГБ).
Второе место досталось MySQL . Те, кто изучал базы данных в университете или пробовал освоить их самостоятельно, скорее всего, пользовались этой бесплатной базой данных. Это интересное решение для средних и малых приложений, сейчас также принадлежит Oracle. Кстати, во владения этой компании MySQL перешла вместе с нашим любимым языком Java, в процессе поглощения Sun Microsystems. Согласно данным PYPL, MySQL интересует 21.15% от общего числа пользователей или программистов.
На третьем месте с комфортом и 16.78% расположилась SQL Server производства Microsoft. Эта СУБД отлично подходит для управления базами данных самого разного размера, от персональных до Enterprise. Она также на рынке уже очень давно, хоть и на декаду меньше, чем Oracle: датой её рождения считается 24 апреля 1989 года. Как и подавляющее число продуктов Microsoft, SQL Server - платная (в случае с Enterprise-версией - даже очень платная), но есть и бесплатные варианты. Самый простой из них - SQL Server Express, она хорошо подходит для учебных целей и её можно развернуть на малых серверах или обычных компьютерах. Размер базы данных - до 10 ГБ. Также есть бесплатная версия для программистов. Предназначена она для создания, тестирования и демонстрации приложения на базе «настоящей» SQL Server. За продуктом Microsoft с большим отрывом следует PostgreSQL . Эта opens-source разработка Калифорнийского университета в Беркли долгое время была в тени своих конкурентов, но в последние годы её доля медленно, но верно растёт. А всё благодаря её бесплатности, лёгкой расширяемости и системе встроенных языков программирования.
Пятое и шестое место достались нереляционным базам данных MongoDB и совсем ещё молодой Firebase. Интерес к обеим явно растёт, особенно к Firebase: по сравнению с октябрём прошлого года, интерес к ней вырос на 1.4% и теперь её результат - 2.19%. Замыкают десятку SQLite, elasticsearch, Apache Hive и DB2.
| Rank | Change | Database | Share | Trend |
|---|---|---|---|---|
| 1 | Oracle | 32.26 % | -2.7 % | |
| 2 | MySQL | 21.15 % | -0.7 % | |
| 3 | SQL Server | 16.78 % | -0.7 % | |
| 4 | PostgreSQL | 3.65 % | +0.4 % | |
| 5 | MongoDB | 3.34 % | +0.4 % | |
| 6 | Firebase | 2.6 % | +1.4 % | |
| 7 | ↓ | SQLite | 2.19 % | -0.0 % |
| 8 | elasticsearch | 2.1 % | +0.5 % | |
| 9 | ↓ | Apache Hive | 1.99 % | +0.2 % |
| 10 | ↓↓↓ | DB2 | 1.89 % | -0.0 % |
1. Какие тренды в развитии серверных СУБД вы бы могли отметить в 2015–2016 годах?
Виталий Чесноков
,
QSOFT
Самые главные тренды в развитии современных СУБД: использование виртуализации и GRID-технологии, самодиагностика и автоматическое исправление, использование NoSQL-СУБД в Big Data, использование NewSQL-СУБД, выполнение C/C++ кода в адресном пространстве СУБД.
За последние несколько лет многократно выросли объемы данных, подходящих для обработки и хранения в БД. Был принято изменение закона «О персональных данных», гласящее, что персональные данные граждан РФ необходимо хранить на территории РФ. В некоторых западных странах так же действуют подобные законы. Все это приводит нас к необходимости кластеризации и разбиения данных на части.
Повсеместно растет процент использования NoSQL-СУБД, где это возможно, ввиду высокой скорости работы с данными и возможности сравнительно простой кластеризации. Получает распространение новый тип СУБД - NewSQL. В основные беспрецедентные функции NewSQL входят: возможность асинхронной мастер-мастер репликации, заменяющей классическую master-slave схему и обеспечивающей большую гибкость для высоконагруженных проектов; упрощение администрирования и обеспечение динамического управления базой; поддержка хранимых процедур на C/C++ и возможность выполнения C/C++ кода в адресном пространстве СУБД (обеспечивают практически неограниченную расширяемость и невероятный прирост в производительности); улучшение средств диагностики и отладки.
К тому же использование виртуализации в СУБД дает необходимую отказоустойчивость и возможность масштабирования.
Николай Фетюхин
,
MST
Переход к NoSQL и специализация баз данных. Например, можно обратить внимание на Redis и Tarantool. Последний содержит даже свой сервер приложений. Интересный тренд - совмещенные СУБД и backend, как Parse от Facebook. Также плавная миграция баз данных в облака.
Петр Урваев
,
SimbirSoft
Функции, успешно себя зарекомендовавшие в одних СУБД, через некоторое время реализуются и в других продуктах. Например, материализованные представления, вначале появившиеся в Oracle DBMS, через некоторое время были реализованы в MS SQL Server, а затем появились и в PostgreSQL. Преимущества, которые предоставляют NoSQL-решения постепенно также реализуются в реляционных СУБД. Например, в последних версиях PostgreSQL реализована поддержка работы с данными в формате JSON.
Евгений Гусев
,
ITECH
Изменения последних лет в сегменте СУБД носили как частный - применительно к отдельным лидирующим продуктам, так и структурный характер, так что трендов множество. Во-первых, гетерогенность. Переход к модели микросервисов дал возможность гибко подбирать средства решения задачи хранения данных, не ограничиваясь одним. Во-вторых, развитие NoSQL, in-memory storages. В-третьих, Big Data - революция, потребовавшая переосмыслить как методику хранения данных, так и само понятие «данные». В-четвертых, колоночные (column-oriented) БД.
2. По-вашему мнению, существует ли тенденция перехода СУБД в «облака»? Какие существуют плюсы и минусы данного подхода?
Виталий Чесноков
,
QSOFT
Да, безусловно такая тенденция существует. Для начала нужно разделять два принципиальных подхода в работе СУБД в облаке.
Первый - разворачивание в облаке виртуальной машины с СУБД. Можно загрузить на нее собственный образ или воспользоваться заранее заготовленным, с уже оптимизированной СУБД. По сути такая виртуальная машина принципиально не отличается от обычного физического сервера. Основным преимуществом по сравнению с физическим сервером является легкость масштабирования, как вертикального (можно в любой момент выделить для данной «виртулки» больше ресурсов), так и горизонтального (создание новой «виртуалки» занимает всего несколько минут). Еще один существенный плюс - высокая доступность облачных виртуальных машин (99,9%–99,99%). Также облачные хостеры предоставляют множество дополнительных услуг, таких как мониторинг, резервное копирование, панель управления сервером и т.д.
Принципиально иным подходом является облачная СУБД. В данном случае клиент покупает не сервер, а просто услугу использования СУБД. Текущий рынок публичных облачных СУБД, составляющий $400 млн, к 2017 году увеличится до $1,2 млрд. Основные плюсы данного подхода: оплата не предоставленных ресурсов (которые могут и «простаивать»), а лишь реально использованных: объем хранимых данных, количество обрабатываемых СУБД операций; нет необходимости настраивать и администрировать СУБД - эти задачи полностью лежат на хостере; нет необходимости задумываться о масштабировании; хостер предоставляет множество удобных и интуитивно понятных инструментов для управления СУБД; высокая доступность. Основным минусом является отсутствие возможности тонкой настройки СУБД.
Также можно отдельно выделить такой подвид облачной СУБД как DbaaS (Database as a Service). Практически всегда конкретный DbaaS - это одна определенная СУБД, предоставляемая в облаке непосредственными разработчиками. Отсюда очевидно выводится и разница в бизнес-моделях: облачные СУБД подходят для масштабных типовых задач, а DbaaS - для специализированных, под конкретную марку движка БД, с возможностью прямого общения с его разработчиками. Кроме того, DbaaS позволяет значительно точнее подобрать систему под нужную нагрузку, в частности за счет регулирования количества клиентских подключений.
Николай Апурин
,
Artwell
Тенденция существует. Большинство крупных (общероссийских) систем уже используют облачные БД.
Николай Фетюхин
,
MST
Тенденция слабая. Использование облаков хоть и снижает некоторые издержки, но приводит к новым расходам. Использование облака может быть выгодно лишь для проектов со слабой посещаемостью.
Плюсы облаков: легкая масштабируемость, высокая отказоустойчивость, доступность серверов во всем мире, легкое клонирование и разворачивание данных. Минусы: пока облака, как продукт, «сырые» - невозможно физически контролировать данные, так как они находятся под управлением поставщика облака.
Петр Урваев
,
SimbirSoft
Тенденция перехода СУБД в облака существует как часть общего тренда по переносу в облака всей IT-инфраструктуры организаций. Основным плюсом такого подхода является возможность передать сопровождение БД. К минусам можно отнести хранение важных данных на неподконтрольной площадке. Пользователь облачного хранилища при необходимости уничтожения хранящихся данных не может быть уверен, что данные действительно стерты.
Евгений Гусев
,
ITECH
Существует и является одной из первичных. Плюсов у размещения БД в облаке масса: простота шардинга и репликации, возможность эффективно в контексте производительности отделить данные от бизнес-логики, легкое и понятное управление вычислительными мощностями и целый ряд других. Критичных минусов, основываясь на опыте, мы не видим. Чем большими объемами данных приходится оперировать, чем больше требуется горизонтального масштабирования, тем более оправданным становится использование облаков.
3. Какие факторы влияют на выбор СУБД? Для каких проектов больше подходят SQL базы данных, а для каких - NoSQL?
Виталий Чесноков
,
QSOFT
Основным фактором при выборе между SQL и NoSQL-СУБД являются нужды приложения. Для одних задач лучше подходит SQL, для других - NoSQL.
Можно выделить несколько ключевых различий между этими типами СУБД. Формат данных в SQL очень строгий, есть четкие схемы таблиц с указанием, где используется какой тип данных. В NoSQL нет заранее заданных схем документов - любая информация может быть добавлена в любой документ.
В SQL существуют сложные связи между различными таблицами. Данные в одной таблице часто являются ссылкой на данные в другой (принцип нормализации данных). В NoSQL, как правило, каждый документ является изолированной информационной единицей и хранит в себе все имеющиеся данные (принцип денормализации).
В SQL есть встроенные механизмы поддержки целостности данных (например, нельзя удалить запись из таблицы, если на нее ссылаются в других таблицах). В NoSQL таких механизмов нет, поэтому важна денормализация данных (в идеале - каждый документ хранит абсолютно всю информацию о каком-либо объекте).
В SQL есть механизм транзакций, который позволяет выполнить несколько SQL-запросов по принципу «все или ничего». В NoSQL подобный механизм существует только в пределах одного документа.
В идеальном случае NoSQL работает быстрее, чем SQL, за счет более простого метода хранения данных, который позволяет получить всю информацию об объекте простым запросом одного документа. Однако есть проблема, связанная с тем, что наиболее популярные NoSQL-СУБД появились достаточно недавно. Следствием этого является меньшее количество информации по этим СУБД и большее количество пока нерешенных проблем.
NoSQL гораздо проще масштабировать за счет отсутствия сложных логических связей между документами. К тому же большая часть NoSQL-СУБД изначально создавалась с упором на механизмы масштабирования.
В итоге NoSQL лучше подходит для проектов с большим объемом данных, который можно легко разделить на отдельные самостоятельные объекты. Дает высокую скорость и масштабируемость. SQL подходит для проектов, где различные данные имеют сложные логические связи друг с другом и крайне важна их целостность.
Николай Апурин
,
Artwell
NoSQL - для нестандартных вычислений с огромным объемом данных. Но как показала практика, объемы до 20 миллионов записей отлично перерабатываются SQL-базами.
Николай Фетюхин
,
MST
Технологии NoSQL активно используются известными компаниями, в том числе в высоконагруженных проектах. Сохранение данных и простые выборки при использовании NoSQL будут действительно быстрыми. В случае более сложных запросов задачу придется решать на стороне продукта, что усложняет сам продукт. В чистом виде мы не выбираем NoSQL. Усложнение логики продукта и эмуляции базовых вещей SQL приводит к удорожанию проекта. И не каждое NoSQL-решение обеспечивает безопасность данных в критических ситуациях.
Петр Урваев
,
SimbirSoft
Выбор БД зачастую зависит от предпочтений архитектора, возможной нагрузки, необходимого функционала. SQL-БД позволяют четко определять схемы хранения данных и извлекать данные с использованием сложных запросов, NoSQL-БД позволяют хранить данные в менее упорядоченном формате и поддерживают горизонтальное масштабирование. Зачастую в распределенных системах используются одновременно SQL и NoSQL базы данных, каждая из которых решает свои задачи.
Евгений Гусев
,
ITECH
В современном состоянии SQL / NoSQL - скорее не конкурирующие, а дополняющие друг друга сущности. Использование в одном приложении SQL-решений, когда требуется работать со сложными данными в их взаимосвязи, и NoSQL, когда на передний план выходит скорость работы с неструктурированной информацией, - совершенно естественная практика.
4. Как вы оцениваете степень распространения платных лицензий СУБД среди пользователей? В каких случаях имеет смысл покупать лицензию?
Виталий Чесноков
,
QSOFT
Есть два различных варианта разделения СУБД па платные и бесплатные.
Первый - бесплатные версии коммерческих СУБД (есть у MS SQL, Oracle и т.д.) По сути это урезанная версия СУБД, в которой отсутствует часть функционала. Здесь основной фактор выбора очень прост - нужен ли данному проекту данный функционал. Реже бывает бесплатная версия, которая не отличается от коммерческой по функционалу, но реже обновляется (Couchbase Server).
Второй - бесплатные СУБД, для которых есть аналогичные коммерческие продукты (MySQL от Oracle, Percona Server или MariaDB). В данном случае преимущество коммерческого продукта обычно заключается в наличии более серьезной технической поддержки. С точки зрения функционала платные и бесплатные СУБД мало отличаются друг от друга, хотя и у тех, и у других могут быть свои инструменты, отсутствующие в других версиях.
В итоге есть две основные причины выбрать платную СУБД: наличие функционала, которого нет в бесплатных аналогах, и возможность обратиться за помощью в техническую поддержку производителя.
Николай Апурин
,
Artwell
Зачем платить, если есть бесплатные? Тем не менее, много решений, которые могут работать только с платными БД. В основном, это иностранные практики.
Николай Фетюхин
,
MST
Вопрос неоднозначный. Часто и платные СУБД имеют бесплатные версии, и бесплатные имеют компоненты, которые можно приобрести за деньги. Разница чаще всего во встроенных инструментах аналитики и мониторинга БД. Поэтому платные СУБД больше подходят для крупных проектов с большими распределенными системами.
Петр Урваев
,
SimbirSoft
Платные лицензии СУБД предпочтительнее бесплатных, когда проект полагается на возможности конкретной БД, и для него важно, чтобы используемые возможности работали так, как заявлено, а проблемы в их работе оперативно устранялись. Сейчас коммерческие и свободные БД используются одинаково часто, а большинство новых проектов выбирают свободные БД, поскольку возможности по работе с данными и стабильность примерно находятся на одном уровне у платных и бесплатных СУБД.
