{"id":18420,"date":"2021-03-15T11:19:00","date_gmt":"2021-03-15T10:19:00","guid":{"rendered":"https:\/\/www.sysbus.eu\/?p=18420"},"modified":"2021-03-09T10:26:34","modified_gmt":"2021-03-09T09:26:34","slug":"analyse-von-log-files-bei-postgresql-cloud-datenbanken","status":"publish","type":"post","link":"https:\/\/www.sysbus.eu\/?p=18420","title":{"rendered":"Analyse von Log-Files bei PostgreSQL-Cloud-Datenbanken"},"content":{"rendered":"\n

Beim Einrichten, Betreiben und Skalieren von PostgreSQL Open-Source-Datenbanken mittels Amazon Relational Database Service (RDS) oder Amazon Aurora f\u00e4llt eine Vielzahl von Log-Files an, deren Auswertung Datenbankadministratoren weiterhelfen kann. Dazu m\u00fcssen sie die Dateien regelm\u00e4\u00dfig und effektiv analysieren.<\/p>\n\n\n\n

\"\"<\/a>
Grafik: AWS<\/figcaption><\/figure>\n\n\n\n\n\n\n\n

Bei den vollst\u00e4ndig verwalteten Diensten f\u00fcr relationale Datenbanken wie Amazon RDS oder Amazon Aurora f\u00fcr PostgreSQL-Datenbanken k\u00f6nnen Sie die Logdateien <\/a>der Nutzerzugriffe abrufen und analysieren. Denn mit einer steigenden Zahl von Transaktionen ist es hilfreich, den \u00dcberblick \u00fcber Zugriffe und Protokoll-Eintr\u00e4ge (DEBUG, LOG, INFO, NOTICE, WARNING und EXCEPTION-Level) zu behalten.<\/p>\n\n\n\n

F\u00fcr die regelm\u00e4\u00dfige, idealerweise t\u00e4gliche \u00dcberpr\u00fcfung der Protokoll-Eintr\u00e4ge<\/a> k\u00f6nnen Sie den pgBadger <\/a>nutzen, der \u00fcber GitHub erh\u00e4ltlich ist. Dieses Open-Source PostgreSQL-Tool erzeugt f\u00fcr Amazon RDS- und Amazon Aurora-Instanzen HTML-Berichte aus Ihren PostgreSQL-Protokollen.<\/p>\n\n\n\n

Zur Installation starten Sie eine Amazon EC2<\/a> Instanz mitRHEL- oder CentOS<\/a> AMI \u00fcber Ihre AWS Management-Konsole. Nach der Verbindung mit der Instanz installieren Sie die notwendigen Pakte (Perl, PostgreSQL Repository und pgBadger). Das erm\u00f6glicht ein einfacher Code \u2013 hier am Beispiel f\u00fcr RHEL 7 mit pgdg-10:<\/p>\n\n\n\n

sudo yum install ftp:\/\/ftp.pbone.net\/mirror\/apt.sw.be\/redhat\/7.3\/en\/i386\/rpmforge\/RPMS\/perl-Text-CSV_XS-0.65-1.rh7.rf.i386.rpm perl perl-devel<\/em><\/p>\n\n\n\n

sudo yum install https:\/\/download.postgresql.org\/pub\/repos\/yum\/reporpms\/EL-7-x86_64\/pgdg<\/a>-redhat-repo-latest.noarch.rpm<\/em><\/p>\n\n\n\n

sudo yum install pgbadger -y<\/em><\/p>\n\n\n\n

Um die Berichte \u00fcber die Zugriffe auf die Datenbanken zu generieren, laden Sie die PostgreSQL Protokolle von Amazon RDS oder Aurora auf die Instanz und starten das pgBadger<\/a>-Tool. Dann aktivieren Sie die Protokollierungsparameter in Ihrer DB Parameter-Gruppe. Anschlie\u00dfend legen Sie einen Cronjob f\u00fcr den weiteren automatisierten Download der Dateien an. Das Herunterladen, das Konvertieren der Informationen und das Generieren von Reports f\u00fcr die letzten drei Tage erm\u00f6glicht das untenstehende Bash-Skript.<\/p>\n\n\n\n

Wichtig zu wissen ist, dass Amazon RDS und Amazon Aurora-Instanzen Zugriffsdaten f\u00fcr eine Zeit von drei bis sieben Tagen vorhalten. Wenn Sie weiter auf die Eintr\u00e4ge zugreifen wollen, lassen diese mit benutzerdefinierten Bash-Skripts auf Amazon EC2-Instanzen oder Amazon S3-Buckets langfristig sichern.<\/p>\n\n\n\n

#This Script helps to download the Postgres log files from cloud and store it on EC2.
## 1. Delete the logs and pgBadger reports older than 3 days.
## 2. Download the latest Postgres log from Amazon RDS instance: <instance_name>.
## 3. Generate the pgBadger report for newly downloaded log file.
#create pgBadger dir under \/home\/ec2-user mkdir -p \/home\/ec2-user\/pgBadger,
# mkdir -p \/home\/ec2-user\/pgBadger\/logs , mkdir -p \/home\/ec2-user\/pgBadger\/reports
#Use must install pgbadger and it should be in path.
#Here is link for pgbadger installation: https:\/\/github.com\/darold\/pgbadger
#Install awscli on EC2 instance set the env (https:\/\/docs.aws.amazon.com\/cli\/latest\/topic\/config-vars.html)
# to download the log files.

<\/em>home_dir=„\/home\/postgres\/pgBadger“
<\/strong>logDir=„\/home\/postgres\/pgBadger\/logs“
<\/strong>rptDir=„\/var\/www\/pgbadger“
<\/strong>identifier=‚<instance_identifier>‘

<\/strong>date=$<\/strong>(date -d „-1 days“ <\/strong>+%Y-%m-%d)

sudo find $logDir -name ‚*.log.*‘ <\/strong>-type f -mtime 0 -exec rm {} \\;
sudo find $rptDir -name ‚postgresql*.html‘ <\/strong>-type f -mtime +10 -exec rm {} \\;

sudo mkdir -p $logDir\/$date
sudo chown -R postgres:postgres $logDir\/$date

#how to generate pgbadger report
#Install pgbadger on EC2 . To install, follow the link: https:\/\/github.com\/darold\/pgbadger

<\/em>for <\/strong>i in $<\/strong>(seq -w 00 23); do
  <\/strong>sudo aws rds download-db-log-file-portion –db-instance-identifier $identifier
  –log-file-name error\/postgresql.log.$date-$i –starting-token 0 –output text
  > $logDir\/$date\/postgresql.log.$date-$i
done

if <\/strong>[ $? -eq 0 ]; then

  <\/strong>sudo pgbadger –prefix ‚%t:%r:%u@%d:[%p]:‘ <\/strong>$logDir\/$date\/*.log.* -o $rptDir\/postgresql.$date.html
  -f stderr #-f $logDir\/*.log.*
  <\/em>sudo chmod -R 777 $rptDir\/postgresql.$date.html

  if <\/strong>[ $? -eq 0 ]; then
    <\/strong>#mailx -s „Successfully Generated the pgbadger report for Date: $date“
    <\/em>echo „Successfully Generated the pgbadger report for Date: <\/strong>$date„
  <\/strong>else
    <\/strong>#mailx -s „UNSUCESSFUL GENERATION of pgbadger report for Date: $date“
    <\/em>echo „Successfully Generated the pgbadger report for Date: <\/strong>$date„
  <\/strong>fi
  <\/strong>gzip -r9 $logDir\/$date
fi<\/strong><\/p>\n","protected":false},"excerpt":{"rendered":"

Beim Einrichten, Betreiben und Skalieren von PostgreSQL Open-Source-Datenbanken mittels Amazon Relational Database Service (RDS) oder Amazon Aurora f\u00e4llt eine Vielzahl von Log-Files an, deren Auswertung Datenbankadministratoren weiterhelfen kann. Dazu m\u00fcssen sie die Dateien regelm\u00e4\u00dfig und effektiv analysieren.<\/p>\n","protected":false},"author":3,"featured_media":18421,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"colormag_page_container_layout":"default_layout","colormag_page_sidebar_layout":"default_layout","footnotes":""},"categories":[22,6],"tags":[14722,2064,14721,14723,3000],"class_list":["post-18420","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-cloud","category-tipps","tag-amazon-aurora","tag-analyse","tag-aws-postgresql","tag-log-file","tag-rds"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/18420","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=18420"}],"version-history":[{"count":2,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/18420\/revisions"}],"predecessor-version":[{"id":18423,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/18420\/revisions\/18423"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/media\/18421"}],"wp:attachment":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=18420"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=18420"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=18420"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}