http://freesource.info/wiki/Статьи/PostgreSQL/Оптимизация History/revisions of FreeSource/Статьи/PostgreSQL/Оптимизация en-us http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija/show?time=2004-11-28+15%3A14%3A21 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".stat_i.postgresql.optimizacija" href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija&" class="">/Статьи&nbsp;/&nbsp;Postgre&nbsp;SQL&nbsp;/&nbsp;Оптимизация</a> за <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+15%3A14%3A21">2004-11-28 15:14:21</a> и <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija">2004-11-28 15:17:47</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">(C) Денис Смирнов &lt;mithraen@freesource.info&gt; 28 Nov&nbsp;2004</div><br /> <b>Удалено:</b><br /> <div class="deletions">(C) Денис Смирнов &lt;mithraen@freesource.info&gt; 25 Nov&nbsp;2004</div></div> http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija/show?time=2004-11-28+15%3A13%3A51 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija&" class="">/Статьи&nbsp;/&nbsp;Postgre&nbsp;SQL&nbsp;/&nbsp;Оптимизация</a> за <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+15%3A13%3A51">2004-11-28 15:13:51</a> и <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+15%3A14%3A21">2004-11-28 15:14:21</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h212-1"></a><h1>Оптимизация PostgreSQL</h1></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h212-1"></a><h1>Оптимизация <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a></h1></div></div> http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija/show?time=2004-11-28+15%3A13%3A03 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija&" class="">/Статьи&nbsp;/&nbsp;Postgre&nbsp;SQL&nbsp;/&nbsp;Оптимизация</a> за <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+15%3A13%3A03">2004-11-28 15:13:03</a> и <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+15%3A13%3A51">2004-11-28 15:13:51</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><hr noshade="noshade" size="1" /> (C) Денис Смирнов &lt;mithraen@freesource.info&gt; 25 Nov&nbsp;2004<br /> Размещение этого документа на&nbsp;других Internet-ресурсах, а&nbsp;также в&nbsp;печатных изданиях не&nbsp;допускается.<br /> <a href="http://freesource.info/forum/viewforum.php?f=9" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Отзывы</a> &mdash; здесь вы&nbsp;можете высказать своё мнение по&nbsp;поводу содержимого сайта <br /> <!--notypo-->{{BackLinks}}<!--/notypo--><br /> <div class="indent"><div class="indent"><div class="indent"><div class="indent"></div></div></div></div></div></div> http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija/show?time=2004-11-28+14%3A52%3A07 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija&" class="">/Статьи&nbsp;/&nbsp;Postgre&nbsp;SQL&nbsp;/&nbsp;Оптимизация</a> за <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+14%3A52%3A07">2004-11-28 14:52:07</a> и <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+15%3A13%3A03">2004-11-28 15:13:03</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Команда VACUUM используется для&nbsp;двух разных целей: очищение файлов баз&nbsp;данных от&nbsp;уже удалённых записей (можно сравнить по&nbsp;смыслу с&nbsp;дефрагментацией файловой системы), и&nbsp;сбор статистики по&nbsp;данным, которую может использовать встроеный в&nbsp;<span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> оптимизатор запросов.<br /> <!--notypo--><textarea class="code" rows="2" readonly="readonly"></textarea><!--/notypo--><br /> По-умолчанию <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> настроен на&nbsp;максимальную надёжность, а&nbsp;не максимальную производительность. Транзакция считается завершённой только после выполнения fsync (сброса кэша файлов на&nbsp;диск).<br /> Если у&nbsp;вас есть UPS, и&nbsp;вы уверены что&nbsp;некорректных перезагрузок не&nbsp;будет, то&nbsp;вы можете в&nbsp;postgresql.conf заменить fsync=yes на&nbsp;fsync=no, тем&nbsp;самым многократно увеличить производительность (ценой, разумеется, некоторого риска).<br /> В&nbsp;файле postgresql.conf можно очень гибко настаривать различные буферы, используемые <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a>. Я&nbsp;не буду здесь описывать тонкости их&nbsp;настройки, лучше ставьте тесты на&nbsp;конкретном приложении, для&nbsp;которого вы&nbsp;используете базу.<br /> Очень важный для&nbsp;работы <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> параметр &mdash; количество разделяемой памяти. Тут&nbsp;всё просто (в общем-то как&nbsp;и&nbsp;со всеми буферами) &mdash; чем&nbsp;больше, тем&nbsp;лучше. В&nbsp;реальной же&nbsp;жизни надо тестировать сколько и&nbsp;подо что&nbsp;отдавать памяти.<br /> С&nbsp;точки зрения <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> COUNT это&nbsp;такая же&nbsp;функция, как&nbsp;и&nbsp;любая другая агрегирующая функция. Точно так&nbsp;же, как&nbsp;и&nbsp;для, например, SUM, все&nbsp;данные из&nbsp;запроса будут переданы этой функции.<br /> всё содержимое таблицы будет передано функции COUNT. С&nbsp;диска таблица будет считана целиком. Если таблица большая, то&nbsp;это будет очень длительная операция.<br /> Поэтому, пожалуйста, избегайте использования COUNT(*) на&nbsp;больших запросах, пожалейте ваш&nbsp;сервер!<br /> Обычно в&nbsp;реальной работе нужно считать только небольшого количество элементов, поэтому и&nbsp;не была сделана специфичная оптимизация. Если вам&nbsp;действительно нужно знать количество элементов во&nbsp;всей таблице, то&nbsp;вам придётся написать триггеры на&nbsp;удаление/добавление записей в&nbsp;эту таблицу.<br /> В&nbsp;каждой таблице по-умолчанию создаётся int32 колонка, содержащая уникальный в&nbsp;пределах базы данных номер записи (строки).<br /> Часто это&nbsp;не&nbsp;нужно, и&nbsp;впустую тратит место на&nbsp;диске (и время при&nbsp;чтении таблицы с&nbsp;диска). Параметр WITHOUT OID&nbsp;при создании таблицы отключает эту&nbsp;особенность, экономя 4 байта на&nbsp;каждой строке.<br /> Если вам&nbsp;кажется, что&nbsp;какой-то запрос выполняется слишком долго, то&nbsp;вы можете добавить к&nbsp;нему префикс EXPLAIN ANALYZE, что&nbsp;позволит вам&nbsp;увидеть последовательность действий <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> для&nbsp;выполнения вашего запроса, и&nbsp;понять на&nbsp;каком этапе тратится слишком много времени. Обычно это&nbsp;позволяет увидеть<br /> последовательность действий <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> для&nbsp;выполнения вашего запроса, и&nbsp;понять на&nbsp;каком этапе тратится слишком много времени. Обычно это&nbsp;позволяет увидеть каким образом можно минимальными изменениями кода многократно увеличить производительность, а&nbsp;также выявить свои ошибки в&nbsp;оптимальности составленых запросов.<br /> Если вы&nbsp;добавляете в&nbsp;таблицу большое количество данных, то&nbsp;самым лучшим способом будет разбить их&nbsp;на блоки, и&nbsp;каждый блок записывать отдельной транзакцией.<br /> Если выполнять каждую запись отдельно, то&nbsp;накладные расходы будут слишком велики, если же&nbsp;попытаться залить сразу большой объём данных, то&nbsp;это потребует излишне много оперативной памяти, и&nbsp;будет работать также заметно медленнее. Обычно я&nbsp;стараюсь чтобы за&nbsp;одну транзакцию отправлялось не&nbsp;более чем&nbsp;несколько 64 килобайтных блоков данных.<br /> Например индекс типа hash позволят очень быстро выполнять поиск записи по&nbsp;строковому полю, однако не&nbsp;может быть использован для&nbsp;сортировки или&nbsp;поиска по&nbsp;шаблону.<br /> Изучите внимательно документацию на&nbsp;индексы <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a>, это&nbsp;вложение времени себя однозначно окупит.<br /> Проверяйте насколько оправдано в&nbsp;ваших приложениях использование таблиц с&nbsp;большим количеством столбцов. По&nbsp;возможности выполняйте нормализацию. Это&nbsp;классика, это&nbsp;надо делать не&nbsp;только с&nbsp;<span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a>, но... забывают почему-то :)</div><br /> <b>Удалено:</b><br /> <div class="deletions">Команда VACUUM используется для&nbsp;двух разных целей: очищение файлов баз&nbsp;данных<br /> от&nbsp;уже удалённых записей (можно сравнить по&nbsp;смыслу с&nbsp;дефрагментацией файловой<br /> системы), и&nbsp;сбор статистики по&nbsp;данным, которую может использовать встроеный<br /> в&nbsp;<span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> оптимизатор запросов.<br /> По-умолчанию <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> настроен на&nbsp;максимальную надёжность, а&nbsp;не максимальную<br /> производительность. Транзакция считается завершённой только после выполнения<br /> fsync (сброса кэша файлов на&nbsp;диск).<br /> Если у&nbsp;вас есть UPS, и&nbsp;вы уверены что&nbsp;некорректных перезагрузок не&nbsp;будет,<br /> то&nbsp;вы можете в&nbsp;postgresql.conf заменить fsync=yes на&nbsp;fsync=no, тем&nbsp;самым<br /> многократно увеличить производительность (ценой, разумеется, некоторого риска).<br /> В&nbsp;файле postgresql.conf можно очень гибко настаривать различные буферы,<br /> используемые <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a>. Я&nbsp;не буду здесь описывать тонкости их&nbsp;настройки, лучше<br /> ставьте тесты на&nbsp;конкретном приложении, для&nbsp;которого вы&nbsp;используете базу.<br /> Очень важный для&nbsp;работы <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> параметр &mdash; количество разделяемой памяти. Тут&nbsp;всё просто (в общем-то как&nbsp;и&nbsp;со всеми буферами) &mdash; чем&nbsp;больше, тем&nbsp;лучше. В&nbsp;реальной же&nbsp;жизни надо тестировать сколько и&nbsp;подо что&nbsp;отдавать памяти.<br /> С&nbsp;точки зрения <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> COUNT это&nbsp;такая же&nbsp;функция, как&nbsp;и&nbsp;любая другая<br /> агрегирующая функция. Точно так&nbsp;же, как&nbsp;и&nbsp;для, например, SUM, все&nbsp;данные<br /> из&nbsp;запроса будут переданы этой функции.<br /> всё содержимое таблицы будет передано функции COUNT. С&nbsp;диска таблица будет<br /> считана целиком. Если таблица большая, то&nbsp;это будет очень длительная операция.<br /> Поэтому, пожалуйста, избегайте использования COUNT(*) на&nbsp;больших запросах,<br /> пожалейте ваш&nbsp;сервер!<br /> Обычно в&nbsp;реальной работе нужно считать только небольшого количество элементов,<br /> поэтому и&nbsp;не была сделана специфичная оптимизация. Если вам&nbsp;действительно<br /> нужно знать количество элементов во&nbsp;всей таблице, то&nbsp;вам придётся написать<br /> триггеры на&nbsp;удаление/добавление записей в&nbsp;эту таблицу.<br /> В&nbsp;каждой таблице по-умолчанию создаётся int32 колонка, содержащая уникальный<br /> в&nbsp;пределах базы данных номер записи (строки).<br /> Часто это&nbsp;не&nbsp;нужно, и&nbsp;впустую тратит место на&nbsp;диске (и время при&nbsp;чтении<br /> таблицы с&nbsp;диска). Параметр WITHOUT OID&nbsp;при создании таблицы отключает эту<br /> особенность, экономя 4 байта на&nbsp;каждой строке.<br /> Если вам&nbsp;кажется, что&nbsp;какой-то запрос выполняется слишком долго, то&nbsp;вы можете<br /> добавить к&nbsp;нему префикс EXPLAIN ANALYZE, что&nbsp;позволит вам&nbsp;увидеть<br /> последовательность действий <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> для&nbsp;выполнения вашего запроса, и&nbsp;понять<br /> на&nbsp;каком этапе тратится слишком много времени. Обычно это&nbsp;позволяет увидеть<br /> последовательность действий <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> для&nbsp;выполнения вашего запроса, и&nbsp;понять<br /> на&nbsp;каком этапе тратится слишком много времени. Обычно это&nbsp;позволяет увидеть<br /> каким образом можно минимальными изменениями кода многократно увеличить<br /> производительность, а&nbsp;также выявить свои ошибки в&nbsp;оптимальности составленых<br /> запросов.<br /> Если вы&nbsp;добавляете в&nbsp;таблицу большое количество данных, то&nbsp;самым лучшим<br /> способом будет разбить их&nbsp;на блоки, и&nbsp;каждый блок записывать отдельной<br /> транзакцией.<br /> Если выполнять каждую запись отдельно, то&nbsp;накладные расходы будут слишком<br /> велики, если же&nbsp;попытаться залить сразу большой объём данных, то&nbsp;это потребует<br /> излишне много оперативной памяти, и&nbsp;будет работать также заметно медленнее.<br /> Обычно я&nbsp;стараюсь чтобы за&nbsp;одну транзакцию отправлялось не&nbsp;более чем&nbsp;несколько<br /> 64 килобайтных блоков данных.<br /> Например индекс типа hash позволят очень быстро выполнять поиск записи по<br /> строковому полю, однако не&nbsp;может быть использован для&nbsp;сортировки или&nbsp;поиска по<br /> шаблону.<br /> Изучите внимательно документацию на&nbsp;индексы <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a>, это&nbsp;вложение времени<br /> себя однозначно окупит.<br /> Проверяйте насколько оправдано в&nbsp;ваших приложениях использование таблиц с<br /> большим количеством столбцов. По&nbsp;возможности выполняйте нормализацию. Увы,<br /> <span class="missingpage">Postgre&nbsp;SQL</span><a href="http://freesource.info/wiki/PostgreSQL/edit?add=1&" title="Создать эту страницу">?</a> чувствителен к&nbsp;количеству столбцов в&nbsp;таблице.</div></div> http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija/show?time=2004-11-28+14%3A50%3A08 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija&" class="">/Статьи&nbsp;/&nbsp;Postgre&nbsp;SQL&nbsp;/&nbsp;Оптимизация</a> за <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+14%3A50%3A08">2004-11-28 14:50:08</a> и <a href="http://freesource.info/wiki/Stat'i/PostgreSQL/Optimizacija?time=2004-11-28+14%3A52%3A07">2004-11-28 14:52:07</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h212-1"></a><h2>Введение</h2> Часто встречаются вопросы по&nbsp;оптимизации баз&nbsp;данных. К&nbsp;сожалению качественный материал на&nbsp;эту тему найти крайне сложно. Эта&nbsp;статья является сочетанием моего опыта с&nbsp;компиляцией писем специалистов в&nbsp;мейллистах и&nbsp;форумах.<a name="h212-2"></a><h2>Конфигурация</h2> <a name="h212-3"></a><h3>fsync</h3><a name="h212-4"></a><h3>Размеры буферов</h3><a name="h212-5"></a><h3>shared memory</h3><a name="h212-6"></a><h3>enable_seqscan=false</h3></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h212-1"></a><h2>fsync</h2><a name="h212-2"></a><h2>Размеры буферов</h2><a name="h212-3"></a><h2>shared memory</h2><a name="h212-4"></a><h2>enable_seqscan=false</h2></div></div>