比特派钱包下载|powa

首页
powa

比特派钱包下载|powa

作者：比特派钱包下载

2024-03-07 20:38:49

PG性能采集分析工具之PoWA总结-腾讯云开发者社区-腾讯云

采集分析工具之PoWA总结-腾讯云开发者社区-腾讯云小麦苗DBA宝典PG性能采集分析工具之PoWA总结关注作者腾讯云开发者社区文档建议反馈控制台首页学习活动专区工具TVP最新优惠活动文章/答案/技术大牛搜索搜索关闭发布登录/注册首页学习活动专区工具TVP最新优惠活动返回腾讯云官网小麦苗DBA宝典首页学习活动专区工具TVP最新优惠活动返回腾讯云官网社区首页 >专栏 >PG性能采集分析工具之PoWA总结PG性能采集分析工具之PoWA总结小麦苗DBA宝典关注发布于 2023-04-27 13:58:319140发布于 2023-04-27 13:58:31举报文章被收录于专栏：小麦苗的DB宝专栏小麦苗的DB宝专栏简介PoWA--PostgreSQL 负载分析工具本文主要介绍 PG 的一个性能采集和分析工具 PoWA 的部署方法和使用特点，该工具利用 PG 的扩展插件实现，其性能诊断分析能力比较接近 ORACLE AWR 报表功能。PoWA是PostgreSQL 9.4及以后更新版本的性能工具，允许从各种Stats Extensions收集、聚合和清除多个 PostgreSQL 实例的统计信息，全称为PostgreSQL工作负载分析器(PostgreSQL Workload Analyzer)。PoWA组成部分如下：PoWA-archivist是PostgreSQL的插件，收集其他插件获取到的性能统计数据。PoWA-archivist是PoWA的核心组件。其主要有如下2个部分：名为“powa”的管理功能扩展。名为“powa”的模块，可以选择作为后台工作程序运行，用以收集本地实例上的性能数据。PoWA-collector是在专用存储库服务器上，用于收集远程PostgreSQL实例性能指标的守护进程。PoWA-web是PoWA-collector收集到的性能指标的用户展示界面。其它插件：安装于目标PostgreSQL数据库实例上的其他插件，其是性能指标数据的实际来源。PoWA：整个系统的总称。除了pg_stat_statements、btree_gist、powa为必须的插件，PoWA还支持以下几个插件作为新能指标采集的扩展：pg_qualstats：用于保存在WHERE语句和JOIN子句中发现的谓词的统计信息，powa 利用它来提供索引建议。pg_stat_kcache：收集有关文件系统层的实际读取和写入的统计信息，可以用于观察SQL花费多少cpu等。pg_wait_sampling：用于收集等待事件的采样统计信息，启用后它会收集如下两种统计信息:历史等待事件。它被实现为内存中的环形缓冲区，其中每个进程等待事件的样本都以给定的（可配置的）周期写入。因此，对于每个正在运行的进程，用户可以根据历史大小（可配置）查看一些最近的样本。假设有一个客户端定期读取此历史记录并将其转储到某个地方，则用户可以拥有连续的历史记录。等待分析，以内存hash表形式存在，表中存放每个进程和每个等待事件累积的样本，该表可以根据用户请求进行reset。假设有一个客户端定期转储并reset，用户可以统计一段时间内等待事件的详细。pg_track_settings：该插件提供了一个可定期调用的函数(pg_tracksettingssnapshot())。在每次调用时，它将存储自上次调用以来更改的设置。Hypopg：类似MySQL虚拟索引。pg_stat_statements：用于SQL语句监控。一些连接文档：https://powa.readthedocs.io/en/latest/GitHub地址：https://github.com/powa-teamhttps://github.com/powa-team/powa-archivisthttps://github.com/powa-team/powa-webcpu, io消耗监控

https://github.com/powa-team/pg_stat_kcachewhere条件过滤性统计

https://github.com/powa-team/pg_qualstats官网提供了一个公网的例子，可以在线查看。地址：https://demo-powa.anayrat.info/用户名：postgres密码：postgres部署架构简介在生产环境中，我们要做的是竟可能避免单个PG的powa库中的数据量过大。但是我们又要存放一段时间的快照信息用于性能分析，这个类似于Oracle的AWR快照信息。这个时候我们就需要专门创建一个单独的powa数据库用于存储各个pg采集过来的数据。所以生产环境中我们基本上采取的远程模式部署powa。在每个 PG 实例里启用插件，在独立的服务器上部署采集程序 PoWA collector 和主程序 PoWA web。

上面架构图用到的插件简介如下：pg_stat_statements ：记录指定 PG 实例上所有 SQL 的统计信息，具体数据在视图 pg_stat_statements 上。pg_qualstats ：采集 SQL 语句的 where 和 join 语句中的条件的统计信息。pg_stat_kcache ：采集主机系统指标的统计信息。pg_wait_sampling ：采集 SQL 语句的等待事件，并提供等待事件的汇总统计视图。pg_track_settings ：主要是跟踪实例的参数配置变化。PoWA-web使用示例官网提供了一个公网的例子，可以在线查看。地址：https://demo-powa.anayrat.info/用户名：postgres密码：postgres那它有没有什么风险或者说对数据库服务器有没有什么影响？PoWA的不足之处就是采集账户权限比较大，且在配置的时候还是明文密码保存。所以需要控制好 PoWA web 和 PG 的访问安全。存在如下风险或者影响：PoWA 会对PostgreSQL服务器性能产生很小的负面影响。且很难准确评估这种影响。如果不使用远程模式，数据将定期存储在本地，所以必须考虑磁盘使用情况，避免影响备份。在使用远程模式时，powa-repository中配置采集性能指标实例信息需要输入目标实例的IP、帐号及口令，并且可以通过powa_servers表查询到相关信息，其中连接口令以明文形式呈现，存在安全风险。在PoWA-collector配置文件中，powa-repository的连接信息中无连接口令配置，表示powa-repository对于PoWA-collector的连接配置项必须为trust，存在安全风险。在PoWA-web配置文件中，可选配置username、password对应powa-repository（远程模式）或者数据库实例（本地模式）的root用户及连接口令，且以明文形式存储，存在安全风险。那有什么措施杜绝这种风险呢？建议如下：检查pg_hba.conf文件，设置只容许相关网段的连接。不允许用户从外网直接访问PoWA。不允许用户从外网直接访问PostgreSQL。在HTTPS服务器上运行PoWA并禁用HTTP访问。使用SSL保护GUI和PostgreSQL之间的连接，拒绝GUI和PostgreSQL之间不受保护的连接。建议手动授权专用角色查看powa数据库中的数据。建议使用依赖其他libpq身份验证方法，杜绝纯文本密码存储，其身份验证方法详见官档https://www.postgresql.org/docs/current/auth-methods.html。数据库级性能指标General Overview图1 General Overview

点击放大字段中文解释英文解释Queries per sec每秒执行查询的次数。Number of time the query has been executed,per secondRuntime per sec每秒内执行查询的总耗时。Total duration of queries executed,per secondAvg runtime查询的平均耗时。Average query duration字段中文解释英文解释Total shared buffers hit命中共享缓冲区的数据量。Amount of data found in shared buffersTotal shared buffers miss未命中共享缓冲区的数据量。Amount of data found in OS cache or read from disk。Database Objects图2 Database Objects

点击放大字段中文解释英文解释Index scans ratio索引扫描/序列扫描的比率。Ratio of index scan / seq scanIndex scans每秒索引扫描次数。Number of index scan per secondSequential scans每秒顺序扫描次数。Number of sequential scan per second字段中文解释英文解释Tuples inserted每秒插入的行数。Number of tuples inserted per secondTuples updated每秒更新的行数。Number of tuples updated per secondTuples HOT updated每秒更新(HOT)的行数。Number of tuples HOT updated per secondTuples deleted每秒删除的行数。Number of tuples deleted per second字段中文解释英文解释# Vacuum每秒手动清理的次数。Number of vacuum per second# Autovacuum每秒自动清理的次数。Number of autovacuum per second# Analyze每秒手动分析的次数。Number of analyze per second# Autoanalyze每秒自动分析的次数。Number of autoanalyze per secondDetails for all databases图3 Details for all databases

点击放大字段注释Query执行的SQL。(Execution) #执行该SQL次数。(Execution) Time执行该SQL总时间。(Execution) Avg time执行该SQL平均时间。(I/O Time) Read读I/O等待时间。(I/O Time) Write写I/O等待时间。(Blocks) Read磁盘读页面数。(Blocks) Hit共享缓冲区命中页面数。(Blocks) Dirtied脏页面数。(Blocks) Written磁盘写页面数。(Temp blocks) Read磁盘读临时页面数。(Temp blocks) Write磁盘写临时页面数。实例级性能指标General Overview图1 General Overview性能指标

点击放大字段中文解释英文解释Queries per sec每秒执行查询的次数。Number of time the query has been executed, per secondRuntime per sec每秒执行的查询的总持续时间。Total duration of queries executed, per secondAvg runtime平均查询时长。Average query duration字段中文解释英文解释Total hit在共享缓冲区中找到的数据量。Amount of data found in shared buffersTotal read在操作系统缓存中找到或从磁盘读取的数据量。Amount of data found in OS cache or read from diskBackground Writer图2 Background Writer性能指标

点击放大字段中文解释英文解释of requested checkpoints已执行的请求检查点数。Number of requested checkpoints that have been performedof scheduled checkpoints已执行的预定检查点数。Number of scheduled checkpoints that have been performed字段中文解释英文解释Buffers alloc分配的缓冲区数。Number of buffers allocatedSync time文件同步到磁盘的检查点处理部分所花费的总时间（单位 : 毫秒）。Total amount of time that has been spent in the portion of checkpoint processing where files are synchronized to disk, in millisecondsWrite time在将文件写入磁盘的检查点处理部分中花费的总时间（单位 : 毫秒）。Total amount of time that has been spent in the portion of checkpoint processing where files are written to disk, in milliseconds字段中文解释英文解释Maxwritten clean后台编写器因写入过多缓冲区而停止清理扫描的次数。Number of times the background writer stopped a cleaning scan because it had written too many buffersBuffers clean后台写入器写入的缓冲区数。Number of buffers written by the background writer字段中文解释英文解释Buffers backend fsync后端必须执行自己的 fsync 调用的次数。Number of times a backend had to execute its own fsync call (normally the background writer handles those even when the backend does its own write)Buffers backend后端直接写入的缓冲区数。Number of buffers written directly by a backendDatabase Objects图3 Database Objects性能指标

点击放大字段中文解释英文解释Index scans ratio索引扫描/序列扫描的比率。Ratio of index scan / seq scanIndex scans每秒索引扫描次数。Number of index scan per secondSequential scans每秒顺序扫描次数。Number of sequential scan per second字段中文解释英文解释Tuples inserted每秒插入的行数。Number of tuples inserted per secondTuples updated每秒更新的行数。Number of tuples updated per secondTuples HOT updated每秒更新（HOT）。Number of tuples HOT updated per secondTuples deleted每秒删除的行数。Number of tuples deleted per second字段中文解释英文解释# Vacuum每秒手动清理的次数。Number of vacuum per second# Autovacuum每秒自动清理的次数。Number of autovacuum per second# Analyze每秒手动分析的次数。Number of analyze per second# Autoanalyze每秒自动分析的次数。Number of autoanalyze per secondDetails for all databases图4 Details for all databases性能指标

点击放大字段注释Database数据库名称。#Calls执行SQL总数。Runtime执行SQL总耗时。Avg runtime执行SQL平均耗时。Blocks read磁盘读取的页面数。Blocks hit共享缓冲区命中的页面数。Blocks dirtied脏页数。Blocks written磁盘写页面数。Temp Blocks written磁盘写临时页面数。I/O timeI/O等待时间。汇总所有插件部署方法如果要安装所有插件，命令汇总如下。其中 14 是 PG 版本号，需要根据实际情况修改。-- Debian

cat > /etc/apt/sources.list <<"EOF"

deb http://mirrors.ustc.edu.cn/debian stable main contrib non-free

deb http://mirrors.ustc.edu.cn/debian stable-updates main contrib non-free

EOF

apt-get update

-- Debian 11还需要添加该源

deb https://apt-archive.postgresql.org/pub/repos/apt stretch-pgdg main

apt install -y curl ca-certificates gnupg sudo wget lsb-release apt-utils dialog

curl https://www.postgresql.org/media/keys/ACCC4CF8.asc | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/apt.postgresql.org.gpg >/dev/null

sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

sudo apt update

apt-get install -y postgresql-14-powa postgresql-14-pg-track-settings \

postgresql-14-pg-qualstats postgresql-14-pg-stat-kcache \

postgresql-14-hypopg postgresql-14-pg-wait-sampling

-- yum安装

yum install -y powa_14 powa_14-web pg_qualstats_14 pg_stat_kcache_14 hypopg_14

-- collector需要单独安装

复制然后创建数据库 powa 并在下面创建相应扩展create database powa;

\c powa

CREATE EXTENSION pg_stat_statements;

CREATE EXTENSION btree_gist;

CREATE EXTENSION powa;

CREATE EXTENSION pg_qualstats;

CREATE EXTENSION pg_stat_kcache;

CREATE EXTENSION pg_wait_sampling;

CREATE EXTENSION pg_track_settings;

CREATE EXTENSION hypopg;

CREATE ROLE powa SUPERUSER LOGIN PASSWORD 'lhr' ;

复制修改配置文件 postgresql.conf 并重启 PG 实例。show data_directory;

cat >> /var/lib/postgresql/data/postgresql.conf <<"EOF"

shared_preload_libraries = 'pg_stat_statements,powa,pg_qualstats,pg_stat_kcache,pg_wait_sampling'

# Add settings for extensions here

pg_stat_statements.max = 10000

track_io_timing = on

pg_qualstats.enabled = true

pg_qualstats.max = 10000

pg_qualstats.track_pg_catalog = false

pg_qualstats.resolve_oids = false

pg_qualstats.track_constants = true

pg_qualstats.sample_rate = 0.1

pg_wait_sampling.profile_period = 50

pg_wait_sampling.profile_pid = true

pg_wait_sampling.profile_queries = true

EOF

复制重启实例后，在数据库 powa 里再运行下面语句。SELECT powa_kcache_register();

SELECT powa_wait_sampling_register();

SELECT powa_track_settings_register();

复制查看所有插件情况powa=# \dx

List of installed extensions

Name | Version | Schema | Description

--------------------+---------+------------+------------------------------------------------------------------------

btree_gist | 1.7 | public | support for indexing common datatypes in GiST

hypopg | 1.3.1 | public | Hypothetical indexes for PostgreSQL

pg_qualstats | 2.0.4 | public | An extension collecting statistics about quals

pg_stat_kcache | 2.2.1 | public | Kernel statistics gathering

pg_stat_statements | 1.10 | public | track planning and execution statistics of all SQL statements executed

pg_track_settings | 2.1.0 | public | Track settings changes

pg_wait_sampling | 1.1 | public | sampling based statistics of wait events

plpgsql | 1.0 | pg_catalog | PL/pgSQL procedural language

powa | 4.1.4 | public | PostgreSQL Workload Analyser-core

(9 rows)

powa=#

复制在需要监控的其它数据库中都执行如下的SQL:CREATE EXTENSION pg_stat_statements;

CREATE EXTENSION btree_gist;

CREATE EXTENSION powa;

CREATE EXTENSION pg_qualstats;

CREATE EXTENSION pg_stat_kcache;

CREATE EXTENSION pg_wait_sampling;

CREATE EXTENSION pg_track_settings;

CREATE EXTENSION hypopg;

SELECT powa_kcache_register();

SELECT powa_wait_sampling_register();

SELECT powa_track_settings_register();

复制PoWA web 部署介绍https://github.com/powa-team/powa-web在 debian 系统上，powa-web 包跟 PG 版本无关。apt-get install python-pip python-dev

apt-get -y install powa-web

pip3 install psycopg2

pip3 install powa-web

-- 编译安装

wget https://pypi.io/packages/source/p/powa-web/powa-web-4.1.3.tar.gz

tar -zxvf powa-web-4.1.3.tar.gz

cd powa-web-4.1.3

cp ./powa-web.conf-dist ./powa-web.conf

./powa-web

复制在 CentOS/Linux 系统上，powa-web 包跟 PG 版本有关。yum install python-pip python-devel

yum -y install powa_14-web

sudo pip install powa-web

复制配置 PoWA webcat > /etc/powa-web.conf <<"EOF"

servers={

'main': {

'host': '127.0.0.1',

'port': '5432',

'database': 'powa',

'username': 'powa',

'password': 'lhr',

'query': {'client_encoding': 'utf8'}

}

cookie_secret="SECRET_STRING"

port=8808

EOF

复制注意，监听端口是 8808 ，默认为8888The following options are optional:port (int):

The port on which the UI will be available (default 8888)address (str):

The IP address on which the UI will be available (default 0.0.0.0)powa-web文件为一个python格式文件。Powa-web 将按以下顺序将其配置搜索为这些文件中的任何一个：/etc/powa-web.conf

~/.config/powa-web.conf

~/.powa-web.conf

./powa-web.conf

复制启动 PoWA webnohup powa-web 2>&1 1>/tmp/powa-web.log &

复制登录

网址：http://172.18.0.14:8808

用户名和密码就是元数据库 powa 的访问账号。

PoWA collector 部署介绍https://pypi.org/project/powa-collector/https://files.pythonhosted.org/packages/47/cb/f29fd02912e37aedb11de8a2f36cd1825411009a396fa659ea05d26893a5/powa-collector-1.2.0.tar.gz一个多线程python程序，它对在powa存储库数据库(在powa_servers表中)中配置的所有远程服务器执行快照收集。可以使用pip、RPM包或手动安装PoWA-collector。安装方法-- Debian

apt-get -y install python3 python3-psycopg2

apt-get -y install powa-collector

-- yum安装的是1.1.0，建议使用pip3安装

yum install powa-collector

mkdir ~/.pip

cat > ~/.pip/pip.conf << EOF

[global]

timeout = 6000

index-url = http://mirrors.aliyun.com/pypi/simple/

index-index-url = http://pypi.douban.com/simple/

[install]

trusted-host =

mirrors.aliyun.com

pypi.douban.com

EOF

pip3 install psycopg2

pip3 install powa-collector

-- 编译安装

wget https://pypi.io/packages/source/p/powa-collector/powa-collector-1.2.0.tar.gz

tar -zxvf powa-collector-1.2.0.tar.gz

cp ./powa-collector.conf-dist ./powa-collector.conf

./powa-collector

-- 配置

cat > /etc/powa-collector.conf <<"EOF"

{

"repository": {

"dsn": "postgresql://powa@127.0.0.1:5432/powa"

"debug": false

}

EOF

nohup powa-collector.py 2>&1 1>/tmp/powa-collector.log &

-- 或systemctl status powa-collector.service

/usr/bin/powa-collector

复制配置方法通过调整配置文件使其能够连接到想要的PoWA存储库上。其配置文件为一个的JSON格式的文件。Powa-collector 将按以下顺序将其配置搜索为以下文件之一：/etc/powa-collector.conf

~/.config/powa-collector.conf

~/.powa-collector.conf

./powa-collector.conf

复制cat > /etc/powa-collector.conf <<"EOF"

{

"repository": {

"dsn": "postgresql://powa@127.0.0.1:5432/powa"

"debug": false

}

EOF

复制运行 PoWA collectornohup powa-collector.py 2>&1 1>/tmp/powa-collector.log &

复制释义：repository.dsn（字符串）：

连接的URI，用于告诉 powa-collector 如何连接专用存储库 powa 数据库来存储所有远程实例的数据。以下选项是可选的：debug（布尔值）：

一个布尔值，用于指定 powa-collector 是否应在调试模式下启动，提供更详细的输出，用于调试目的。注：PoWA-collector 的配置中并没有密码的配置，所以powa-repository数据库的pg_hba.conf中需要配置对应的连接策略为trust免密连接。配置需要采集性能指标的实例信息-- 配置需要采集性能指标的实例信息

select powa_register_server(

hostname => '172.71.0.23',

alias => '172.71.0.23',

port => 5432,

username => 'postgres',

password => 'lhr',

frequency => 300,

retention => '30 day'::interval ,

extensions => '{pg_stat_statements,pg_qualstats,pg_stat_kcache,pg_wait_sampling,pg_track_settings}');

-- 查看当前采集指标信息实例的信息

select * from powa_servers;

powa=# select * from powa_servers;

----+-------------+-------------+------+----------+----------+--------+-----------+---------------+-----------+---------------------+---------

0 | | | 0 | | | | -1 | 100 | 00:00:00 | t |

1 | 172.71.0.23 | 172.71.0.23 | 5432 | postgres | lhr | powa | 300 | 100 | 1 day | t |

(2 rows)

powa=#

复制如果要增加扩展，方法如下：SELECT powa_activate_extension(2, 'pg_track_settings');

复制若要删除：SELECT powa_delete_and_purge_server(1);

复制修改：SELECT powa_configure_server(7, '{"frequency": "30"}');

复制释义：hostname

强制，默认NULL。远程 PostgreSQL 实例的主机名或 IP 地址。port

强制，默认5432。远程 PostgreSQL 实例的端口。alias

可选，默认NULL。远程 PostgreSQL 实例的用户友好别名（需要唯一）。username

强制，默认'powa'。用于连接远程 PostgreSQL 实例的用户的用户名。password

可选，默认NULL。用于连接远程 PostgreSQL 实例的用户密码。如果未提供密码，则连接可以回退到其他标准身份验证方法（.pgpass 文件、证书……），

具体取决于远程服务器的配置方式。dbname

强制，默认'powa'。用于连接远程 PostgreSQL 实例的数据库。frequency

强制，默认300，远程服务器的快照间隔，单位为秒。retention

强制，默认'1 day'::interval。远程服务器的数据保留。总结1、插件需要在每一个被监控的数据库上都要创建2、安装可以直接参考汇总部分即可，PoWA web和collector部分只需要在repository库执行即可。参考https://www.xmmup.com/pgxingnengcaijifenxigongjuzhipowajieshao.htmlhttps://powa.readthedocs.io/en/latest/https://powa.readthedocs.io/en/latest/quickstart.htmlhttps://mp.weixin.qq.com/s/yla0G79pYRnZJ7cB-iI0lQhttps://pgfans.cn/a/1111https://www.modb.pro/db/405306

https://www.modb.pro/db/452080https://www.modb.pro/db/383587https://support.huaweicloud.com/bestpractice-rds/rds_pg_0024.html本文参与腾讯云自媒体分享计划，分享自微信公众号。原始发表：2023-04-04，如有侵权请联系 cloudcommunity@tencent.com 删除数据库工具连接配置性能本文分享自 DB宝微信公众号，前往查看如有侵权，请联系 cloudcommunity@tencent.com 删除。本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！数据库工具连接配置性能评论登录后参与评论0 条评论热度最新登录后参与评论推荐阅读LV.关注文章0获赞0目录简介一些连接部署架构简介PoWA-web使用示例那它有没有什么风险或者说对数据库服务器有没有什么影响？数据库级性能指标General OverviewDatabase ObjectsDetails for all databases实例级性能指标Background WriterDatabase ObjectsDetails for all databases汇总所有插件部署方法PoWA web 部署介绍PoWA collector 部署介绍配置需要采集性能指标的实例信息总结参考相关产品与服务数据库云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建，轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量，更专注于业务发展，让企业一站式享受数据上云及分布式架构的技术红利！产品介绍2024新春采购节领券社区专栏文章阅读清单互动问答技术沙龙技术视频团队主页腾讯云TI平台活动自媒体分享计划邀请作者入驻自荐上首页技术竞赛资源技术周刊社区标签开发者手册开发者实验室关于社区规范免责声明联系我们友情链接腾讯云开发者扫码关注腾讯云开发者领取腾讯云代金券热门产品域名注册云服务器区块链服务消息队列网络加速云数据库域名解析云存储视频直播热门推荐人脸识别腾讯会议企业云CDN加速视频通话图像分析MySQL 数据库SSL 证书语音识别更多推荐数据安全负载均衡短信文字识别云点播商标注册小程序开发网站监控数据迁移Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云版权所有深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569腾讯云计算（北京）有限责任公司京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档Copyright © 2013 - 2024 Tencent Cloud.All Rights Reserved. 腾讯云版权所有登录后参与评论00

访客不能直接访问

(ERROR:15) > 访客不能直接访问

[查看所需的权限/条件]

> 你可能需要 [登录] 后访问 ...

> 使用APP打开 ...

> 后退 ...

> 返回首页 ...

PostgreSQL性能分析工具-PoWA - 墨天轮

排行数据库百科核心案例行业报告月度解读大事记产业图谱

中国数据库

向量数据库

时序数据库

实时数据库

搜索引擎

空间数据库

图数据库

数据仓库

大调查

2021年报告

2022年报告

年度数据库

2020年openGauss

2021年TiDB

2022年PolarDB

2023年OceanBase

首页

资讯

数说

活动

大会

学习课程中心推荐优质内容、热门课程学习路径预设学习计划、达成学习目标知识图谱综合了解技术体系知识点课程库快速筛选、搜索相关课程视频学习专业视频分享技术知识电子文档快速搜索阅览技术文档文档

问答

工具 SQLRUN 在线数据库即时SQL运行平台数据库在线实训平台实操环境、开箱即用、一键连接AWR分析上传AWR报告，查看分析结果SQL格式化快速格式化绝大多数SQL语句SQL审核审核编写规范，提升执行效率PLSQL解密解密超4000字符的PL/SQL语句OraC函数查询Oracle C 函数的详细描述智能助手小墨关于数据库相关的问题，您都可以问我数据库百科核心案例行业报告月度解读大事记产业图谱我的订单

登录后可立即获得以下权益免费培训课程收藏优质文章疑难问题解答下载专业文档签到免费抽奖提升成长等级立即登录登录注册登录注册首页资讯数说活动大会课程文档排行问答我的订单微信扫码复制链接新浪微博分享数说采集到收藏夹分享到数说首页 /

PostgreSQL性能分析工具-PoWA PostgreSQL性能分析工具-PoWA IT那活儿 2022-05-19 1818

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！1PoWA 是啥？PoWA是PostgreSQL 9.4及以后更新版本的性能工具，允许从各种Stats Extensions收集、聚合和清除多个 PostgreSQL 实例的统计信息。全称为PostgreSQL工作负载分析器(PostgreSQL Workload Analyzer)2那它主要有哪些组成部分？PoWA组成部分如下：PoWA-archivist是PostgreSQL的插件，收集其他插件获取到的性能统计数据。PoWA-collector是在专用存储库服务器上，用于收集远程PostgreSQL实例性能指标的守护进程。PoWA-web是PoWA-collector收集到的性能指标的用户展示界面。安装于目标PostgreSQL数据库实例上的其他插件，其是性能指标数据的实际来源。除了pg_stat_statements、btree_gist、powa为必须的插件，PoWA还支持以下几个插件作为新能指标采集的扩展：pg_qualstats：用于保存在WHERE语句和JOIN子句中发现的谓词的统计信息，powa 利用它来提供索引建议。pg_stat_kcache：收集有关文件系统层的实际读取和写入的统计信息，可以用于观察SQL花费多少cpu等。pg_wait_sampling：用于收集等待事件的采样统计信息，启用后它会收集如下两种统计信息:--历史等待事件。它被实现为内存中的环形缓冲区，其中每个进程等待事件的样本都以给定的（可配置的）周期写入。因此，对于每个正在运行的进程，用户可以根据历史大小（可配置）查看一些最近的样本。假设有一个客户端定期读取此历史记录并将其转储到某个地方，则用户可以拥有连续的历史记录。--等待分析，以内存hash表形式存在，表中存放每个进程和每个等待事件累积的样本，该表可以根据用户请求进行reset。假设有一个客户端定期转储并reset，用户可以统计一段时间内等待事件的详细。pg_track_settings：该插件提供了一个可定期调用的函数(pg_tracksettingssnapshot())。在每次调用时，它将存储自上次调用以来更改的设置。Hypopg：类似MySQL虚拟索引。pg_stat_statements：用于SQL语句监控。3那它有没有什么风险或者说对数据库服务器有没有什么影响？存在如下风险或者影响：PoWA 会对PostgreSQL服务器性能产生很小的负面影响。且很难准确评估这种影响。如果不使用远程模式，数据将定期存储在本地，所以必须考虑磁盘使用情况，避免影响备份。在使用远程模式时，powa-repository中配置采集性能指标实例信息需要输入目标实例的IP、帐号及口令，并且可以通过powa_servers表查询到相关信息，其中连接口令以明文形式呈现，存在安全风险。在PoWA-collector配置文件中，powa-repository的连接信息中无连接口令配置，表示powa-repository对于PoWA-collector的连接配置项必须为trust，存在安全风险。在PoWA-web配置文件中，可选配置username、password对应powa-repository（远程模式）或者数据库实例（本地模式）的root用户及连接口令，且以明文形式存储，存在安全风险。4那有什么措施杜绝这种风险呢？建议如下：检查pg_hba.conf文件，设置只容许相关网段的连接。不允许用户从外网直接访问PoWA。不允许用户从外网直接访问PostgreSQL。在HTTPS服务器上运行PoWA并禁用HTTP访问。使用SSL保护GUI和PostgreSQL之间的连接，拒绝GUI和PostgreSQL之间不受保护的连接。建议手动授权专用角色查看powa数据库中的数据。建议使用依赖其他libpq身份验证方法，杜绝纯文本密码存储，其身份验证方法详见官档https://www.postgresql.org/docs/current/auth-methods.html。5PoWA详细安装如下：在生产环境中，我们要做的是竟可能避免单个PG的powa库中的数据量过大。但是我们又要存放一段时间的快照信息用于性能分析，这个类似于Oracle的AWR快照信息。这个时候我们就需要专门创建一个单独的powa数据库用于存储各个pg采集过来的数据。所以生产环境中我们基本上采取的远程模式部署powa。远程模式示意图PoWA-archivist安装5.1 PoWA-archivist是PoWA的核心组件。其主要有如下2个部分：名为“powa”的管理功能扩展。名称为“powa”的模块，可以选择作为后台工作程序运行，用以收集本地实例上的性能数据。5.2 先决条件PostgreSQL版本为9.4或更新版本。需安装pg_stat_statements和btree_gist模块。5.3 本次安装环境操作系统版本：Redhat7.5PoWA-archivist版本：4.1.25.4 安装步骤1）首先下载PoWA-archivist安装包，地址如下：https://github.com/powa-team/powa-archivist/tree/REL_4_1_22）解压：su - postgresunzip powa-archivist-REL_4_1_2.zipcd powa-archivist-REL_4_1_23）编译并安装：makemake install例：4）创建 PoWA 数据库并创建所需的扩展：create database powa;create extension pg_stat_statements;create extension btree_gist;create extension powa;例：如果需要本地信息收集，PoWA-archivist可作为后台进程去收集。但是对应的library需要在参数文件中配置且重启生效。5）修改postgresql.conf配置文件，将powa和pg_stat_statements添加到shared_preload_libraries参数中,并开启track_io_timing。track_io_timing = onshared_preload_libraries = 'pg_stat_statements,powa'例：由于内容比较多，我们分上下2篇了解PoWA，上篇就到此为止。下篇我们可以了解PoWA-collector、PoWA-web的安装使用及性能指标等的介绍。参考：https://github.com/https://powa.readthedocs.io/en/latest/index.htmlhttps://support.huaweicloud.com/rds/index.html END

本文作者：魏斌本文来源：IT那活儿（上海新炬王翦团队）

postgresql数据库文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。评论领墨值有奖问卷意见反馈客服小墨

PostgreSQL性能分析工具-PoWA_postgresql 性能监控工具-CSDN博客

PostgreSQL性能分析工具-PoWA

duqk1982

已于 2023-04-04 13:32:08 修改

阅读量362

点赞数

分类专栏：

PostgreSQL

文章标签：

postgresql

数据库

于 2023-04-03 13:57:19 首次发布

本文链接：https://blog.csdn.net/dqk1982/article/details/129928084

版权

PostgreSQL

专栏收录该内容

20 篇文章

1 订阅

订阅专栏

简介

PoWA是PostgreSQL 9.4及以后更新版本的性能工具，允许从各种Stats Extensions收集、聚合和清除多个 PostgreSQL 实例的统计信息。全称为PostgreSQL工作负载分析器(PostgreSQL Workload Analyzer)

PoWA组成

PoWA-archivist是PostgreSQL的插件，收集其他插件获取到的性能统计数据。PoWA-collector是在专用存储库服务器上，用于收集远程PostgreSQL实例性能指标的守护进程。PoWA-web是PoWA-collector收集到的性能指标的用户展示界面。安装于目标PostgreSQL数据库实例上的其他插件，其是性能指标数据的实际来源。除了pg_stat_statements、btree_gist、powa为必须的插件，PoWA还支持以下几个插件作为新能指标采集的扩展：

pg_qualstats：用于保存在WHERE语句和JOIN子句中发现的谓词的统计信息，powa 利用它来提供索引建议。pg_stat_kcache：收集有关文件系统层的实际读取和写入的统计信息，可以用于观察SQL花费多少cpu等。pg_wait_sampling：用于收集等待事件的采样统计信息，启用后它会收集如下两种统计信息:–历史等待事件。它被实现为内存中的环形缓冲区，其中每个进程等待事件的样本都以给定的（可配置的）周期写入。因此，对于每个正在运行的进程，用户可以根据历史大小（可配置）查看一些最近的样本。假设有一个客户端定期读取此历史记录并将其转储到某个地方，则用户可以拥有连续的历史记录。–等待分析，以内存hash表形式存在，表中存放每个进程和每个等待事件累积的样本，该表可以根据用户请求进行reset。假设有一个客户端定期转储并reset，用户可以统计一段时间内等待事件的详细。pg_track_settings：该插件提供了一个可定期调用的函数(pg_tracksettingssnapshot())。在每次调用时，它将存储自上次调用以来更改的设置。Hypopg：类似MySQL虚拟索引。pg_stat_statements：用于SQL语句监控。

存在风险

PoWA 会对PostgreSQL服务器性能产生很小的负面影响。且很难准确评估这种影响。如果不使用远程模式，数据将定期存储在本地，所以必须考虑磁盘使用情况，避免影响备份。在使用远程模式时，powa-repository中配置采集性能指标实例信息需要输入目标实例的IP、帐号及口令，并且可以通过powa_servers表查询到相关信息，其中连接口令以明文形式呈现，存在安全风险。在PoWA-collector配置文件中，powa-repository的连接信息中无连接口令配置，表示powa-repository对于PoWA-collector的连接配置项必须为trust，存在安全风险。在PoWA-web配置文件中，可选配置username、password对应powa-repository（远程模式）或者数据库实例（本地模式）的root用户及连接口令，且以明文形式存储，存在安全风险。

架构

PoWA 4.0 之后的部署架构支持本地部署和远程部署。推荐用远程部署方式，部署架构图如下。

安装过程：

监控主机：192.168.10.11 PG 14.7

被监控主机：192.168.10.14 PG 11.5

监控主机192.168.10.11安装要求：

• 需要 python 2.7 或 python 3

• psycopg2

1.监控主机和被监控主机安装PoWA-archivist

192.168.10.11和192.168.10.14都得安装

--root用户

source /home/postgres/.bash_profile

unzip powa-archivist-REL_4_1_2.zip

cd powa-archivist-REL_4_1_2

make && make install

[postgres@du101 ~]$ tail -2 /data/pgdata/postgresql.conf

track_io_timing = on

shared_preload_libraries = 'pg_stat_statements,powa'

[postgres@du101 ~]$ pg_ctl start

[postgres@du101 ~]$ psql

psql (14.7)

Type "help" for help.

postgres=# create database powa;

CREATE DATABASE

postgres=# \c powa

You are now connected to database "powa" as user "postgres".

powa=# create extension pg_stat_statements;

CREATE EXTENSION

powa=# create extension btree_gist;

CREATE EXTENSION

powa=# create extension powa;

CREATE EXTENSION

powa=# \dx

List of installed extensions

Name | Version | Schema | Description

--------------------+---------+------------+------------------------------------------------------------------------

btree_gist | 1.6 | public | support for indexing common datatypes in GiST

pg_stat_statements | 1.9 | public | track planning and execution statistics of all SQL statements executed

plpgsql | 1.0 | pg_catalog | PL/pgSQL procedural language

powa | 4.1.2 | public | PostgreSQL Workload Analyser-core

(4 rows)

powa=# \q

[postgres@du101 ~]$ ps -ef|grep powa

postgres 1360 1340 0 11:30 ? 00:00:00 postgres: powa idle

postgres 1362 1313 0 11:30 pts/0 00:00:00 grep --color=auto powa

[postgres@du101 ~]$

2.监控主机安装和启动PoWA-collector

192.168.10.11上操作

tar -zxvf powa-collector-1.2.0.tar.gz

mv powa-collector-1.2.0 /home/postgres/

chown postgres:postgres /home/postgres/ -R

su - postgres

cd powa-collector-1.2.0

cp ./powa-collector.conf-dist ./powa-collector.conf

[postgres@du101 powa-collector-1.2.0]$ vi powa-collector.conf

[postgres@du101 powa-collector-1.2.0]$ cat !$

cat powa-collector.conf

{

"repository": {

"dsn": "postgresql://postgres@localhost:1921/powa"

"debug": false

}

[postgres@du101 powa-collector-1.2.0]$

[postgres@du101 powa-collector-1.2.0]$ ./powa-collector.py &

[1] 1352

[postgres@du101 powa-collector-1.2.0]$

3.监控主机配置监控示例信息

192.168.10.11上操作

select powa_register_server(

hostname => '192.168.10.14',

alias => 'mytest',

port => 1921,

username => 'postgres',

password => 'postgres',

frequency => 300);

powa=# select powa_register_server(

powa(# hostname => '192.168.10.14',

powa(# alias => 'mytest',

powa(# port => 1921,

powa(# username => 'postgres',

powa(# password => 'postgres',

powa(# frequency => 300);

powa_register_server

----------------------

(1 row)

powa=#

powa=# select * from powa_servers\gx

-[ RECORD 1 ]-------+--------------

id | 0

hostname |

alias |

port | 0

username |

password |

dbname |

frequency | -1

powa_coalesce | 100

retention | 00:00:00

allow_ui_connection | t

version |

-[ RECORD 2 ]-------+--------------

id | 1

hostname | 192.168.10.14

alias | mytest

port | 1921

username | postgres

password | postgres

dbname | powa

frequency | 300

powa_coalesce | 100

retention | 1 day

allow_ui_connection | t

version |

4.监控主机PoWA-web配置及启动

192.168.10.11上操作

安装依赖包：

tar xvzf tornado-3.1.0.tar.gz

cd tornado-3.1.0

python setup.py build

python setup.py install

tar xvzf greenlet-1.0a1.tar.gz

cd greenlet-1.0a1

python setup.py build

python setup.py install

tar zxvf typing_extensions-3.6.5.tar.gz

cd typing_extensions-3.6.5

python setup.py build

python setup.py install

tar zxvf setuptools_scm-1.15.4.tar.gz

cd setuptools_scm-1.15.4

python setup.py build

python setup.py install

tar zxvf more-itertools-8.0.0.tar.gz

cd more-itertools-8.0.0

python setup.py build

python setup.py install

tar zxvf zipp-1.0.0.tar.gz

cd zipp-1.0.0

python setup.py build

python setup.py install

pip install importlib_metadata-4.11.0-py3-none-any.whl

tar xvzf SQLAlchemy-1.4.47.tar.gz

cd SQLAlchemy-1.4.47

python setup.py build

python setup.py install

[root@du101 ~]# mv powa-web-4.1.2.tar.gz /home/postgres/

[root@du101 ~]# chown postgres:postgres /home/postgres/ -R

[root@du101 ~]# su - postgres

Last login: Mon Apr 3 09:52:50 CST 2023 on pts/0

[postgres@du101 ~]$ tar -zxvf powa-web-4.1.2.tar.gz

[postgres@du101 ~]$ cd powa-web-4.1.2

[postgres@du101 powa-web-4.1.2]$ cp ./powa-web.conf-dist ./powa-web.conf

[postgres@du101 powa-web-4.1.2]$ cat powa-web.conf

servers={

'main': {

'host': 'localhost',

'port': '1921',

'database': 'powa',

'username': 'postgres',

'query': {'client_encoding': 'utf8'}

}

cookie_secret="SUPERSECRET_THAT_YOU_SHOULD_CHANGE"

# Some extra options you can set

# port on which the UI should be available.

# port=8888

# Address on which the UI should be available on

# address=0.0.0.0

# Forbid UI to connect to databases globally (can be configured per server)

# allow_ui_connection=False

# Custom URL prefix the UI should be available on

# url_prefix="/"

[postgres@du101 powa-web-4.1.2]$

[postgres@du101 powa-web-4.1.2]$ ./powa-web &

5.登录监控页面

http://192.168.10.11:8888

数据库用户密码：postgres/postgres

优惠劵

duqk1982

关注

踩

觉得还不错?

一键收藏

知道了

PostgreSQL性能分析工具-PoWA

PostgreSQL ，PoWA，性能分析，SQL监控

复制链接

扫一扫

专栏目录

postgresql-perf-tools:PostgreSQL 性能监控工具

07-05

PostgreSQL 性能监控工具

该软件包包括三个有用的脚本，旨在帮助查明以 PostgreSQL 作为数据库后端的系统上的性能问题。

所有脚本都是用 Python 编写的。要求：

Python 2.6+

psycopg2 模块 ( )

所有脚本都需要连接到 PostgreSQL 数据库。它们采用传统的一组数据库凭据：主机地址、端口（默认为 5432）、数据库名称、数据库用户和密码。

注意：您可能需要修改 pg_hba.conf 文件以允许脚本连接到服务器。请参考官方文档： :

有关命令行选项的详细列表，请使用 --help / -h 选项。

顶

pg-top.py使用 pg_stat_user_tables 系统表来获取服务器活动的当前统计信息。信息在类似于“顶部”的屏幕中、每个表和服务器总数中表示，并动态更新。

报告以下数据：

每秒插入/更新/删除的总行

postgresql|数据库|数据库测试工具pgbench之使用

zsk_john的技术分享专用博客

09-28

584

数据库是项目中的重要组件，也是一个基础的重要组件，其地位说是第一我想应该是没有什么太多问题的。

那么，数据库的设计这些方面是不用多说的，关键的第一步，主要是涉及数据库的部署方式，运行方式，表的逻辑设计，合理的字段，合理的索引，必须的角色，安全方面的考虑，函数，视图，触发器，物化视图等等方面，也就是说项目中哪些数据需要存放到数据库，相关数据怎么存放到数据库是数据库设计阶段需要解决的问题。

参与评论

您还未登录，请先

后发表或查看评论

Postgres负载分析工具PoWA.zip

07-17

PoWA 全称是 PostgreSQL Workload Analyzer ，是用来分析 PostgreSQL 数据库负载的工具。提供统计数据收集、实时图表和性能分析。

在线演示：server : http://demo-powa.dalibo.com (powa/demo)

标签：PoWA

PostgreSQL（postgresql14-contrib-14.1-1PGDG.rhel7.x86_64.rpm）

11-20

PostgreSQL（postgresql14-contrib-14.1-1PGDG.rhel7.x86_64.rpm）适用于RHEL/CentOS/Oracle Linux 7 - x86_64

PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。

PostgreSQL（postgresql14-devel-14.1-1PGDG.rhel7.x86_64.rpm）

11-20

PostgreSQL（postgresql14-devel-14.1-1PGDG.rhel7.x86_64.rpm）适用于RHEL/CentOS/Oracle Linux 7 - x86_64

powa:PostgreSQL工作负载分析器

04-22

演示版

您可以在尝试使用。只需单击“登录”并尝试其功能！请注意，为了获得有趣的指标，该服务器上的资源已受到限制（2 vCPU，384MB RAM和150iops磁盘空间）。使用时请耐心等待。

感谢提供了它。

PostgreSQL工作负载分析器

PoWA是一个PostgreSQL工作负载分析器，它收集性能统计信息并提供实时图表，以帮助监视和调整PostgreSQL服务器。

有关更多信息，请阅读：

文档： :

警告！！！

当前版本的PoWA是为PostgreSQL 9.4和更高版本设计的。

如果您使用的是PostgreSQL 9.3，则应使用PoWA版本1.x：

代码在这里： :

该文档位于： :

代码在哪里？

该存储库包含。源代码分为多个单独的项目：

：统计收集器

PoWA-web ：图形用户界面

pg_qualstats ：样本谓词统计信息的扩展

性能分析工具pg_stat_monitor的使用

duqk1982的博客

10-25

165

pg_stat_monitor，SQL优化，性能监控

POSTGRESQL 压力测试结果与 POSTGRESQL CPU OR 内存提升性能提升大

sql server的专栏

10-31

1662

数据库与硬件之间的关系，是一个决定数据库性能，必要条件，即使你参数调整的漂亮，你的SQL 撰写的没有问题，但是硬件不行，那么上面说的这一切对于数据库的性能，只能是杯水车薪。那么如何对一个数据库或者一个应用要使用的数据库，预先通过压测的方式来满足应用在正式运行后的需求，这一点就十分的重要了。我们对于应用上线都是基于严格的，数据库性能测试分析，以及基于应用端的数据库业务性能测试，合而为之一之后的结果，...

一些PostgreSQ测试工具

weixin_44161805的博客

05-21

560

psycogreen是一个基于Python的PostgreSQL连接池，可以提高数据库连接的性能和并发能力。pgTAP支持多种测试类型，包括基本的SQL语句测试、函数测试、触发器测试、复制测试等。pgTAP使用方便，但需要编写测试脚本，对于不熟悉Python的用户来说可能需要一定的学习成本。pg_activity是一个基于Python的PostgreSQL监控工具，可以实时监控数据库的各种指标。pgbench是PostgreSQL自带的基准测试工具，可以用于测试PostgreSQL的性能和并发能力。

PostgreSQL数据库性能监控手段之慢SQL、死锁

junior77的专栏

10-25

2051

之前接触PostgreSQL数据库甚少（此前经常使用mysql、db2），直至入职当前某安全公司后，发现数据库都采用PostgreSQL，由于负责性能测试方向，经常需要诊断数据库方面是否存在性能问题，于是整理了PostgreSQL设置慢SQL、查看死锁等常用监控手段。

一、慢SQL设置步骤

1、笔者以工作中使用的docker为例，PostgreSQL版本为9.5：

Postgr...

PostgreSQL（postgresql13-devel-13.5-1PGDG.rhel7.x86_64.rpm）

11-20

PostgreSQL（postgresql13-devel-13.5-1PGDG.rhel7.x86_64.rpm）适用于RHEL/CentOS/Oracle Linux 7 - x86_64

PostgreSQL（postgresql13-libs-13.5-1PGDG.rhel7.x86_64.rpm）

11-20

PostgreSQL（postgresql13-libs-13.5-1PGDG.rhel7.x86_64.rpm）适用于RHEL/CentOS/Oracle Linux 7 - x86_64 PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系...

PostgreSQL 常用监控指标

不积跬步，无以至千里；不积小流，无以成江海。

04-04

2404

QPS指标来自pg_stat_statements，由于这个插件有一个STATEMENT采集上限，可配置，例如最多采集1000条SQL，如果有新的SQL被采集到时，并且1000已用完，则会踢掉最老的SQL。当前系统中在事务中并且处于空闲状态的会话有多少，很多，说明业务端的处理可能比较慢，如果结合锁等待发现有大量锁等待，并且活跃会话数有突增，可能需要关注并排查业务逻辑的问题。同时需要注意，由于pg_stat_statements跟踪的SQL有限，最近未访问过的SQL的跟踪信息可能被抛弃。

PostgreSQL pg_qualstats 解决索引缺失，添加索引

sql server的专栏

04-20

1453

商业数据库中，很多新版本都可以自动创建索引，给出索引创建的建议，并且以此作为卖点，ORACLE ，SQL SERVER 均有类似的功能，实际上通过查询语句，与全表扫描的语句，与谓词的比对...

进阶数据库系列（二十六）：PostgreSQL 数据库监控管理

民工哥的博客

07-24

942

点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了PostgreSQL数据库备份与恢复、数据目录同步工具 pg_rewind、数据库作业调度工具、性能优化、日志与日常巡检、运维管理等相关的知识点，今天我将详细的为大家介绍 PostgreSQL 数据库监控管理相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！服务器配置服务器配置的文件在数据库集群中，有...

Postgresql的灾备管理(一）逻辑和工具

yanzhaoxun的博客

04-03

385

讲透数据库灾备要干什么。

Postgresql监控操作系统指标(file_fdw)

Focus on PostgreSQL

08-25

1679

proc是Linux系统下一个很重要的目录。它跟/etc, /home等这些系统目录不同，它不是一个真正的文件系统，而是一个虚拟的文件系统。

我们可以通过查看proc目录下的文件来获取操作系统的一些信息，例如内存使用情况， cpu使用情况等等。但是我们怎么在postgresql中通过sql来查看这些文件的内容呢？只需要使用pg内置的file_fdw外部表, 就可以直接读取proc的内容了。

列举一些常用到的指标对应的文件：

/proc/cpuinifo CPU的信息（型号、家族、缓存大小

Postgres的监控和诊断

文档搬运工

02-03

1083

参考文档： PostgreSQL 9 Administration Cookbook （第二版）中文版第八章监控和诊断

select * from pg_stat_user_tables --和pg_stat_all_tables一样，但只显示用户表,当前数据库中每个表一行，显示有关访问指定表的统计信息

select * from pg_stat_user_indexes --和pg_stat_all_indexes一样，但只显示系统表上的索引.

-- 可以使用pgadmin快速查看数据库的当前状

ubuntu_定制文件系统[2]-清理日志log

Quickstart — PoWA 4.1.4 documentation

PoWA

latest

Quickstart

Install PoWA from packages (Red Hat/Rocky Linux/Debian/Ubuntu)

Prerequisites

Installation of the PostgreSQL extensions

Install the Web UI

Build and install powa-archivist from the sources

Prerequisites

Installation

Install powa-web anywhere

Prerequisites

Installation

Remote setup

Frequently Asked Questions

Security

Components

Impact on performances

Support

Release Notes

Contributing

PoWA

Quickstart

Edit on GitHub

Quickstart¶

Warning

The current version of PoWA is designed for PostgreSQL 9.4 and newer. If you

want to use PoWA on PostgreSQL < 9.4, please use the 1.x series

The following describes the installation of the two main modules of PoWA:

powa-archivist with the PGDG packages (Red Hat/Rocky Linux,

Debian/Ubuntu) or from the sources

powa-web from the PGDG packages (Red Hat/CentOS/Rocky Linux, Debian/Ubuntu)

or with python pip

Note

This page shows how to configure a local PoWA setup. If you’re

interested in configuring PoWA for multiple servers, and/or for

standby servers, please also refer to the Remote setup page to

see additional steps for such a remote setup.

Install PoWA from packages (Red Hat/Rocky Linux/Debian/Ubuntu)¶

Prerequisites¶

PoWA must be installed on the PostgreSQL instance that you are monitoring.

Note

All extensions except hypopg only need to be installed once, in the

powa database (or another database configured by the configuration

option powa.database).

hypopg must be installed in every database on which you want to be able to

get automatic index suggestion, including the powa database if needed.

powa-web must be configured to connect on the database where you

installed all the extensions.

We suppose that you are using the packages from the PostgreSQL Development

Group (https://yum.postgresql.org/ or https://apt.postgresql.org/). For example

for PostgreSQL 14 on Rocky Linux 8 a cluster is installed with the following

commands, following the official

instructions):

# Install the repository RPM:

sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm

# Disable the built-in PostgreSQL module:

sudo dnf -qy module disable postgresql

# Install PostgreSQL:

sudo dnf install -y postgresql14-server

# Optionally initialize the database and enable automatic start:

sudo /usr/pgsql-14/bin/postgresql-14-setup initdb

sudo systemctl enable postgresql-14

sudo systemctl start postgresql-14

You will also need the PostgreSQL contrib package to provide the

pg_stat_statements extension:

sudo dnf install postgresql14-contrib

On Debian / Ubuntu _, that would be:

sudo apt install curl ca-certificates gnupg

curl https://www.postgresql.org/media/keys/ACCC4CF8.asc | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/apt.postgresql.org.gpg >/dev/null

sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

sudo apt update

sudo apt install postgresql-14 postgresql-client-14 postgresql-contrib-14

In these examples and the following ones, replace 14 according to your version

(13, 10, 9.5…).

Installation of the PostgreSQL extensions¶

You can simply install the packages provided by the PGDG

repository according to your PostgreSQL version. For example on

Red Hat/Rocky Linux for PostgreSQL 14:

sudo dnf install powa_14 pg_qualstats_14 pg_stat_kcache_14 hypopg_14

On Debian, this will be:

apt-get install postgresql-14-powa postgresql-14-pg-qualstats postgresql-14-pg-stat-kcache postgresql-14-hypopg

On other systems, or to test newer unpackaged version,

you will have to compile some extensions manually as described in

the next section:

apt-get install postgresql-14-powa

Once all extensions are installed or compiled, add the required modules to

shared_preload_libraries in the postgresql.conf of your instance:

shared_preload_libraries='pg_stat_statements,powa,pg_stat_kcache,pg_qualstats'

Note

If you also installed the pg_wait_sampling extension, don’t forget to add

it to shared_preload_libraries too.

Now restart PostgreSQL. Under RHEL/Rocky Linux (as root):

/etc/init.d/postgresql-14 restart

Under RHEL/Rocky Linux:

systemctl restart postgresql-14

On Debian:

pg_ctlcluster 14 main restart

CREATE DATABASE powa ;

Create the required extensions in this new database:

\c powa

CREATE EXTENSION pg_stat_statements;

CREATE EXTENSION btree_gist;

CREATE EXTENSION powa;

CREATE EXTENSION pg_qualstats;

CREATE EXTENSION pg_stat_kcache;

Note

If you also installed the pg_wait_sampling extension, don’t forget to

create the extension too.

PoWA needs the hypopg extension in all databases of the cluster in order to

check that the suggested indexes are efficient:

CREATE EXTENSION hypopg;

One last step is to create a role that has superuser privileges and is able to

CREATE ROLE powa SUPERUSER LOGIN PASSWORD 'astrongpassword' ;

The Web UI requires you to log in with a PostgreSQL role that has superuser

privileges as only a superuser can access to the query text in PostgreSQL. PoWA

follows the same principle.

PoWA is now up and running on the PostgreSQL-side. You still need to set up the

web interface in order to access your history. By default

powa-archivist stores history for 1 day and takes a snapshot every 5 minutes.

These default settings can be easily changed afterwards.

Install the Web UI¶

The RPM packages should work for currently supported Red Hat/Rocky Linux and

Debian / Ubuntu. For unsupported platforms, see the installation through

pip or the full manual installation

guide.

You can install the web client on any server you like. The only requirement is

that the web client can connect to the previously set up PostgreSQL cluster.

If you’re setting up PoWA on another server, you have to install the PGDG repo

package again. This is required to install the powa_14-web package and some

dependencies.

Again, for example for PostgreSQL 14 on Rocky Linux 8, install the

powa_14-web RPM package with its dependencies using:

sudo dnf install powa_14-web

And on Debian / Ubuntu:

sudo apt install powa-web

Create the /etc/powa-web.conf config-file to tell the UI how to connect to

your freshly installed PoWA database. Of course, change the given cookie to

something from your own. For example to connect to the local instance on

localhost:

servers={

'main': {

'host': 'localhost',

'port': '5432',

'database': 'powa'

}

cookie_secret="SUPERSECRET_THAT_YOU_SHOULD_CHANGE"

Don’t forget to allow the web server to connect to the PostgreSQL cluster, and

edit your pg_hba.conf accordingly.

Then, run powa-web:

powa-web

The Web UI is now available on port 8888,

for example on http://localhost:8888/.

You may have to configure your firewall to open the access to the outside.

Use the role created earlier in PostgreSQL to connect to the UI.

Build and install powa-archivist from the sources¶

Prerequisites¶

You will need a compiler, the appropriate PostgreSQL development packages, and

some contrib modules.

While on most installation, the contrib modules are installed with a

postgresql-contrib package, if you wish to install them from source, you should

note that only the following modules are required:

btree_gist

pg_stat_statements

On Red Hat/Rocky Linux:

sudo dng install postgresql14-devel postgresql14-contrib

On Debian/Ubuntu:

apt-get install postgresql-server-dev-14 postgresql-contrib-14

Installation¶

Download powa-archivist latest release:

wget https://github.com/powa-team/powa-archivist/archive/REL_4_1_4.tar.gz

Convenience scripts are offered to build every project that PoWA can take

advantage of.

First, the install_all.sql file:

CREATE DATABASE IF NOT EXISTS powa;

\c powa

CREATE EXTENSION IF NOT EXISTS btree_gist;

CREATE EXTENSION IF NOT EXISTS pg_stat_statements;

CREATE EXTENSION IF NOT EXISTS pg_stat_kcache;

CREATE EXTENSION IF NOT EXISTS pg_qualstats;

CREATE EXTENSION IF NOT EXISTS pg_wait_sampling;

CREATE EXTENSION IF NOT EXISTS powa;

And the main build script:

#!/bin/bash

# This script is meant to install every PostgreSQL extension compatible with

# PoWA.

wget https://github.com/powa-team/pg_qualstats/archive/2.0.4.tar.gz -O pg_qualstats-2.0.4.tar.gz

tar zxvf pg_qualstats-2.0.4.tar.gz

cd pg_qualstats-2.0.4

(make && sudo make install) > /dev/null 2>&1

cd ..

rm pg_qualstats-2.0.4.tar.gz

rm pg_qualstats-2.0.4 -rf

wget https://github.com/powa-team/pg_stat_kcache/archive/REL2_2_1.tar.gz -O pg_stat_kcache-REL2_2_1.tar.gz

tar zxvf pg_stat_kcache-REL2_2_1.tar.gz

cd pg_stat_kcache-REL2_2_1

(make && sudo make install) > /dev/null 2>&1

cd ..

rm pg_stat_kcache-REL2_2_1.tar.gz

rm pg_stat_kcache-REL2_2_1 -rf

(make && sudo make install) > /dev/null 2>&1

cd ..

wget https://github.com/postgrespro/pg_wait_sampling/archive/v1.1.4.tar.gz -O pg_wait_sampling-v1.1.4.tar.gz

tar zxvf pg_wait_sampling-v1.1.4.tar.gz

cd pg_wait_sampling-v1.1.4

(make && sudo make install) > /dev/null 2>&1

cd ..

rm pg_wait_sampling-v1.1.4.tar.gz

rm pg_wait_sampling-v1.1.4 -rf

echo ""

echo "You should add the following line to your postgresql.conf:"

echo ''

echo "shared_preload_libraries='pg_stat_statements,powa,pg_stat_kcache,pg_qualstats,pg_wait_sampling'"

echo ""

echo "Once done, restart your postgresql server and run the install_all.sql file"

echo "with a superuser, for example: "

echo " psql -U postgres -f install_all.sql"

This script will ask for your super user password, provided the sudo command

is available, and install powa, pg_qualstats, pg_stat_kcache and

pg_wait_sampling for you.

Warning

This script is not intended to be run on a production server, as it

compiles all the extensions. You should prefer to install packages on your

production servers.

Once done, you should modify your PostgreSQL configuration as mentioned by the

script, putting the following line in your postgresql.conf file:

shared_preload_libraries='pg_stat_statements,powa,pg_stat_kcache,pg_qualstats,pg_wait_sampling'

Optionally, you can install the hypopg extension the same way from

https://github.com/hypopg/hypopg/releases.

And restart your server, according to your distribution’s preferred way of doing

so, for example:

Init scripts:

/etc/init.d/postgresql-14 restart

Debian pg_ctlcluster wrapper:

pg_ctlcluster 14 main restart

Systemd:

systemctl restart postgresql

The last step is to create a database dedicated to the PoWA repository, and

create every extension in it. The install_all.sql file performs this task:

psql -U postgres -f install_all.sql

CREATE DATABASE

You are now connected to database "powa" as user "postgres".

CREATE EXTENSION

Install powa-web anywhere¶

You do not have to install the GUI on the same machine your instance is running.

Prerequisites¶

The Python language, either 2.6, 2.7 or > 3

The Python language headers, either 2.6, 2.7 or > 3

The pip installer for Python. It is usually packaged as “python-pip”, for example:

Debian:

sudo apt-get install python-pip python-dev

Red Hat/Rocky Linux:

sudo yum install python-pip python-devel

Installation¶

To install powa-web, just issue the following comamnd:

sudo pip install powa-web

Then you’ll have to configure a config file somewhere, in one of those location:

/etc/powa-web.conf

~/.config/powa-web.conf

~/.powa-web.conf

./powa-web.conf

The configuration file is a simple JSON one. Copy the following content to one

of the above locations and modify it according to your setup:

servers={

'main': {

'host': 'localhost',

'port': '5432',

'database': 'powa'

}

cookie_secret="SUPERSECRET_THAT_YOU_SHOULD_CHANGE"

The servers key define a list of server available for connection by PoWA-web.

You should ensure that the pg_hba.conf file is properly configured.

The cookie_secret is used as a key to crypt cookies between the client and the

server. You should DEFINITELY not keep the default if you value your security.

Other options are described in

the full manual installation guide.

Then, run powa-web:

powa-web

The UI is now available on the 8888 port (eg. http://localhost:8888). Login

with the credentials of the powa PostgreSQL user.

Revision 3ee406ad.

Built with Sphinx using a

theme

provided by Read the Docs.

Read the Docs

v: latest

Versions

latest

stable

rel_1_stable

Downloads

On Read the Docs

Project Home

Builds

访客不能直接访问

(ERROR:15) > 访客不能直接访问

[查看所需的权限/条件]

> 你可能需要 [登录] 后访问 ...

> 使用APP打开 ...

> 后退 ...

> 返回首页 ...

访客不能直接访问

(ERROR:15) > 访客不能直接访问

[查看所需的权限/条件]

> 你可能需要 [登录] 后访问 ...

> 使用APP打开 ...

> 后退 ...

> 返回首页 ...

访客不能直接访问

(ERROR:15) > 访客不能直接访问

[查看所需的权限/条件]

> 你可能需要 [登录] 后访问 ...

> 使用APP打开 ...

> 后退 ...

> 返回首页 ...

访客不能直接访问

(ERROR:15) > 访客不能直接访问

[查看所需的权限/条件]

> 你可能需要 [登录] 后访问 ...

> 使用APP打开 ...

> 后退 ...

> 返回首页 ...

PostgreSQL Workload Analyzer — PoWA 4.1.4 documentation

PoWA

latest

Quickstart

Remote setup

Frequently Asked Questions

Security

Components

Impact on performances

Support

Release Notes

Contributing

PoWA

PostgreSQL Workload Analyzer

Edit on GitHub

Note

You can try powa at demo-powa.anayrat.info. Just click “Login” and

try its features! Note that in order to get interesting metrics, resources

have been limited on this server (2 vCPU, 384MB of RAM and 150iops for the

disks). Please be patient when using it.

Thanks to Adrien Nayrat for providing it.

PoWA (PostgreSQL Workload Analyzer) is a performance tool compatible with all

PostgreSQL versions (down to 9.4) allowing to collect, aggregate and purge

statistics gathered from multiple PostgreSQL instances from various

Stats Extensions.

Depending on your needs, you can choose one of different approaches to setup

powa.

For most people, the preferred approach is to use the provided

PoWA-collector daemon to collect the metrics from one or multiple

remote servers, and store them on a single (and usually dedicated)

repository server. This is called the “remote mode”, It does not require

any PostgreSQL restart, and can gather performance metrics from multiple

instances - including standby server.

The other approach is called the “local mode”. It’s a self-contained solution

that relies on a provided and optional background worker, which requires a

PostgreSQL restart to enable it, and more suited for a single-instance setup

only.

In both cases, PoWA will include support for various stat extensions:

pg_stat_statements, providing data about queries being executed

pg_qualstats, providing data about predicates, or where clauses

pg_stat_kcache, providing data about operating-system level cache

pg_wait_sampling, providing data about wait events

pg_track_settings, providing data about configuration changes and

server restarts

It also supports the following extension:

HypoPG, allowing you to create hypothetical indexes and test their

usefulness without creating the real index

Additionally, the PoWA User Interface allows you to make the most of this

information.

Note

pg_stat_statements is the main extension and is the basis for all the

reports. It’s the only extension that’s not optional. PoWA also relies on

the metrics being monotonic, so if you reset the metrics regularly (by

calling pg_stat_statements_reset() explicitly or using a tool that calls

this function), the various reports will be nonsensical.

Main components¶

PoWA archivist is the PostgreSQL extension, collecting statistics.

PoWA-collector is the daemon that gather performance metrics from remote

PostgreSQL instances (optional) on a dedicated repository server.

PoWA-web is the graphical user interface to powa-collected metrics.

the Stats Extensions are the actual source of data.

PoWA is the whole project.

You should first take a look at the Quickstart guide, which covers the

installation and configuration for the “local mode”. You can then look at the

Remote setup guide, which covers the necessary additional steps for a

“remote mode” setup.

Quickstart

Remote setup

Frequently Asked Questions

Security

Components

Impact on performances

Support

Release Notes

Contributing

Revision 3ee406ad.

Built with Sphinx using a

theme

provided by Read the Docs.

Read the Docs

v: latest

Versions

latest

stable

rel_1_stable

Downloads

On Read the Docs

Project Home

Builds

Follow

比特派钱包下载|powa

比特派钱包下载|powa

PG性能采集分析工具之PoWA总结-腾讯云开发者社区-腾讯云

访客不能直接访问

PostgreSQL性能分析工具-PoWA - 墨天轮

PostgreSQL性能分析工具-PoWA_postgresql 性能监控工具-CSDN博客

Quickstart — PoWA 4.1.4 documentation

访客不能直接访问

访客不能直接访问

访客不能直接访问

访客不能直接访问

PostgreSQL Workload Analyzer — PoWA 4.1.4 documentation

最近的新闻

您可能喜欢的文章

tp钱包下载app安卓|pbt价格

im钱包官方下载安装|prana

比特派助记词忘了怎么办

安卓手机怎么下载比特派app

比特派下载后怎么使用手机

比特派无法登录怎么办啊

比特派怎么看是否被授权