При работе с JDBC (или какой-нибудь обёрткой над JDBC) процесс работы с базы строится одинаковым образом:
- Открываем соединение с базой
- Делаем запросы.
Это прекрасно работает и не вызывает никаких проблем ровно до той поры, пока все запросы выполняются в одном потоке. Но в современном мире приложения многопоточны. В самом деле, если у вас web приложение, то скорее всего в нём будет несколько нитей, которые обслуживают запросы. Если речь идёт о ETL приложении, то наверняка данные, над которыми оно работает, будут разделены на блоки, которые будут перерабатывать несколько параллельных потоков. Даже настольные приложения сейчас имеют несколько потоков. А соединение то у нас с базой одно. И это проблема.
Во-первых, JDBC это интерфейс и его реализация может быть потокобезопасной, а может и не быть. И если сейчас используется какая-либо база данных, которая позволяет разделять один единственный объект Connection между потоками, то в будущем может потребоваться перейти на другую базу, реализация JDBC драйвера которой не будет потокобезопасной. Во-вторых, запросы из разных потоков буду выполняться вразнобой, что может привести к интересным последствиям в БД. В-третьих, и главных, транзакция на одно соединение может быть только одна и если нам нужно несколько параллельных транзакций, то реализовать это не получится.
Какие есть варианты решения этой проблемы? Можно обвеситься мутексами и запрещать параллельный доступ к базе из разных нитей. Это действительно решит проблему, но возникает вопрос, зачем тогда многопоточность и где от неё выгода? Можно создавать соединение в каждой нити отдельно и по завершению нити закрывать его. Это тоже решит проблему, но плохо скажется на производительности приложения — открытие соединения с базой довольно дорогая процедура. И, наконец, лучшее решение — открыть некоторое количество соединений заранее (сформировать пул соединений), а потоки будут брать готовые соединения из пула по мере надобности и возвращать их обратно после использования.
Разумеется, лучше всего взять готовое решение, чем изобретать велосипед. Для примера я использую HikariCP и базу данных PostgreSQL.
Подготовка
Создадим пустой maven проект и добавим в него артефакты драйвера PostgreSQL JDBC и HikariCP:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <postgresql.version>9.4-1206-jdbc42</postgresql.version> <hikaricp.version>2.4.3</hikaricp.version> </properties> <dependencies> <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>${postgresql.version}</version> </dependency> <dependency> <groupId>com.zaxxer</groupId> <artifactId>HikariCP</artifactId> <version>${hikaricp.version}</version> </dependency> </dependencies> |
Кроме того, надо подготовить базу в PostgreSQL:
1 2 3 4 5 6 | CREATE ROLE test WITH PASSWORD 'test'; ALTER ROLE test WITH LOGIN; CREATE DATABASE test OWNER test; GRANT CREATE ON DATABASE test TO test; |
Создание пула
1 2 3 4 | HikariConfig config = new HikariConfig(); config.setJdbcUrl( "jdbc:postgresql://192.168.75.6/test?user=test&password=test"); HikariDataSource ds = new HikariDataSource(config); |
Пул соединений создавать не сложнее, чем одно соединение напрямую через JDBC. Мы указываем jdbc URL в объекте конфигурации, в нём же задаём дополнительные параметры, если требуется, и создаём из него объект DataSource Из DataSource можно запросить объект Connection и работать с ним как обычно:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | /** * Query that create table. */ private static final String CREATE_QUERY = "CREATE TABLE EXAMPLE (GREETING VARCHAR(6), TARGET VARCHAR(6))"; /** * Query that populates table with data. */ private static final String DATA_QUERY = "INSERT INTO EXAMPLE VALUES('Hello','World')"; try (Connection db = ds.getConnection()) { try (Statement dataQuery = db.createStatement()) { dataQuery.execute(CREATE_QUERY); dataQuery.execute(DATA_QUERY); } } catch (SQLException ex) { System.out.println("Database connection failure: " + ex.getMessage()); return; } |
Использование пула
Но использовать пул в один поток неинтересно. Давайте попробуем сделать к базе несколько параллельных запросов:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | Runnable readingThread = () -> { startLatch.countDown(); try { startLatch.await(); } catch (InterruptedException ex) { System.out.println("Synchronization failure: " + ex.getMessage()); return; } try (Connection db = ds.getConnection()) { try (PreparedStatement query = db.prepareStatement("SELECT * FROM EXAMPLE")) { ResultSet rs = query.executeQuery(); while (rs.next()) { System.out.println(String.format("%s, %s!", rs.getString(1), rs.getString("TARGET"))); } rs.close(); } } catch (SQLException ex) { System.out.println("Database connection failure: " + ex.getMessage()); } finishLatch.countDown(); }; IntStream.range(0, NO_THREADS).forEach( (index) -> new Thread(readingThread).start() ); |
Я запускаю 16 потоков, которые ждут запуска друг друга и потом одновременно начинают выполнять один и тот же запрос. А в этом время, в PostgreSQL можно наблюдать, как 16 потоков открывают 16 соединений и делают 16 запросов:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | test=# select datname, usename, client_addr, client_port, query from pg_stat_activity; datname | usename | client_addr | client_port | query ---------+----------+--------------+-------------+--------------------------------------------------------------------------------- test | postgres | | -1 | select datname, usename, client_addr, client_port, query from pg_stat_activity; test | test | 192.168.75.1 | 56777 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56778 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56779 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56780 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56781 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56782 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56783 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56784 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56785 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56786 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56786 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56786 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56786 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56786 | SELECT * FROM EXAMPLE test | test | 192.168.75.1 | 56786 | SELECT * FROM EXAMPLE (17 строк) |
Код примера доступен на github. Для запуска примера требуется установить PostgreSQL сервер и разрешить к нему доступ. Если сервер будет установлен не на локальной машине, требуется изменить его адрес в jdbc url.
