finding missing pairs

let's assume we have a simple table:

     Table "public.test"
 Column |  Type   | Modifiers
--------+---------+-----------
 a      | integer | not null
 b      | integer | not null
Indexes:
    "test_pkey" PRIMARY KEY, btree (a, b)
    "q" UNIQUE, btree (b, a)

now, let's insert some rows to it:

# INSERT INTO test SELECT * FROM generate_series(1,100) AS a, generate_series(1,100) AS b^J;
INSERT 0 10000

remove rows with a = b:

# DELETE FROM test WHERE a = b;
DELETE 100

and prepare test-case by randomly removing some rows:

# DELETE FROM test WHERE random() < 0.002;
DELETE 17

the question is – find all pairs of (a,b) where there is no row (a',b') where (a'=b and b'=a).

in other words – every row (a,b) should be paired. rows with a = 2 and b = 3, is paired by row with a = 3 and b = 2.

how to find incomplete pairs?

Continue reading finding missing pairs

pgsql-tools/analyze.pgsql.logs.pl

Changes:

  1. doesn't use temp files – does everything in-memory. makes the whole process *way* faster
  2. allow setting header information using postgresql log_line_prefix syntax
  3. removes dependency on readonly perl module – it is not really common module, and the functionality in this program is very limited
  4. allows setting database to track as command line option, or track sqls from all databases

SVN repo at: http://svn.depesz.com/svn/pgsql-tools/trunk

“FATAL: Ident authentication failed”, or how cool ideas get bad usage schemas

UPDATE (2012-06-24): Version 9.1 of PostgreSQL renamed ident to peer (for local connections). So if you're having errors about “Peer authentication failed" – it is the same as “Ident authentication failed", and all described in this blogpost is still relevant.

ever seen one of those? i mean the “fatal: ident authentication failed"?

or, ever seen anyone having this problem when connecting to postgresql?

how often is this problem related to debian/post-debian linux distributions? 99%? 100%?

on #postgresql on irc.freenode.net it is the most common problem. my own irc logs show that “ident" showed over 300 times over last 41 days. now, that's something. and how come we have this problem? what can be done with it? read on.

Continue reading “FATAL: Ident authentication failed", or how cool ideas get bad usage schemas

mbank frontem do klienta [polish only]

ci z was co mnie znają ciut bliżej wiedzą, że mam permanentne problemy finansowe.

jakiś czas temu w mbanku wystąpiłem o kartę kredytową (jak chcesz skomentować: co za łoś, ma kłopoty finansowe i jeszcze kartę bierze, to sobie odpuść). mam u nich konta, więc karta od nich była logiczna.

kartę dostałem bezproblemowo.

fajnie.

korzystałem, spłacałem. wszystko fajnie.

do czasu. w pewnym momencie moje konto zostało zablokowane (przez bank, ale na życzenie innej strony). aby je odblokować musiałbym wpłacić kwotę rzędu wartości nowego (prosto z salonu) samochodu.

w sumie to nawet nie duży problem. z jednym haczykiem. karta kredytowa w mbanku jest “spięta" z kontem. a konto zostało zablokowane. jeśli cokolwiek na nie wpłacę – to tak jakbym wyrzucił przez okno – od razu zniknie.

impas. nie mam jak spłacać karty. a nie chcę z niej rezygnować – pomijając wszystko inne – rezygnując musiałbym spłacić całe zadłużenie karty, które jest … istotne.

zadzwoniłem do mbanku. dowiedziałem się, że:

  1. jak nie spłacę karty to oni skierują ją do windykacji (czytaj: napomnienia, komornik, wejście na konto)
  2. skoro konto mam zablokowane to nie mam jak spłacić
  3. aby odblokować konto musiałbym wpłacić “samochód"
  4. aby karty nie skierowali do windykacji muszę rozwiązać umowę na konto, wtedy karta też zostanie skasowana. ale będę musiał od ręki wpłacić całe zadłużenie karty.

oops. zadłużenie karty to kilka średnich krajowych. nie uśmiecha mi się “rzeźbienie" by taką kasę “natrzepać". dodatkowo – nie chcę kasować konta – fajne jest i jak kiedyś w końcu odblokuję, to z przyjemnością będę sobie z niego korzystał.

pani w infolinii była bardzo miła, ale powiedziała, że innej metody nie ma. mogę co najwyżej wysłać do nich podanie pocztą (nie emailem, taką pocztą co to ślimakami ją dostarczają), ale i tak odpowiedzą mi to samo.

no nic. podanie napisałem, przedstawiłem sytuację, powołałem się na długi staż bycia klientem i brak zadrażnień.

2 tygodnie później dostałem odpowiedź. mbank specjalnie dla mnie założył nowe konto (na tyle interesujące, że nawet nie ma nazwy (tak jak mBiznes, eKonto czy eMax, to ma “*** UNNAMED ***"). konto to jest odblokowane i może służyć jedynie do spłat karty.

sprawdziłem – działa.

czyli jednak się da.

wnioski:

  • banki potrafią iść na rękę. czasem wystarczy po prostu poprosić
  • panie z infolinii nie zawsze pomogą, są przygotowane do obsłużenia 99.9% typowych spraw. a czasem się po prostu spada poza ten “nawias" 🙂
  • lubię mbank

finding optimum tables placement in 2-tablespace situation

just recently we got another array for out main production database. this means – we will be able to add new tablespace, thus making everything go faster.

in theory – it's nice. but which tables to move to the other?

the basic assumption is simple – index on table should not be on the same tablespace as the table itself. that's easy. but – should we really put all tables on one tablespace, and all indexes on another?

we decided that the important things that should be “boosted" are seeks and writes. sequential reads are (in our situation) more or less irrelevant.

read on to check how we split the load.

Continue reading finding optimum tables placement in 2-tablespace situation

easy access to postgresql documentation from firefox

for whatever reason i seem to remember names of files in postgresql documentation.

for example – i know, that psql docs are in app-psql.html, base page for configuration options is runtime-config.html. manual for “alter table" sql command, is in sql-altertable.html.

yet full page url (http://www.postgresql.org/docs/current/app-psql.html) is very long. on the other hand going to http://www.postgresql.org/docs/current/ is not really useful, as i need to find specific page which i remember filename, but not necessarily title.

is there any solution? apparently, yes, simply follow these steps:

  1. go to http://www.postgresql.org/docs/current/
  2. bookmark this page
  3. go to “Bookmarks" -> “Organize Bookmarks…"
  4. find the bookmark that you just created, select it, and click on “properties" in toolbar
  5. in “keyword" enter letter “p" (without quotes)
  6. change url to http://www.postgresql.org/docs/current/%s.html
  7. press “ok" (you might want to create a special folder to hide this bookmark from standard view, as you will never use it directly)

and that's all. after you've done it, you can simply enter: “p app-psql" in your location edit box, press enter and you will be directed to correct page.

of course this trick works not only with postgresql docs. it can be used for google, search.postgresql.org, anything you want. but using this for postgresql manual will definitely shorten time spent on “going to manual" 🙂

dell powervault md1000 – storage test

i recently got new toy for tests – brand new dell powervault md1000.

what's this, you ask? basically – a rather nice das (direct attached storage) from dell.

the box i got had 15 sas discs, each disc being 72gb, 15krpm.

since this will be used as database storage, i wanted to make some performance tests.

Continue reading dell powervault md1000 – storage test

what fields are usually changed when update’ing?

there was this situation, that we had a lot of tables and a lot of update activity. so, we thought about splitting the most updated tables to parts that are usually stable, and parts (columns) which change often.

but how to know what changes? unfortunately orm that was used issued updates like this:

UPDATE TABLE SET field1='..', field2='...', field3='...' WHERE id = 123;

basically it always updated all fields. (don't even start to comment that orms are by definition broken).

so, i had to find a nice way to find out what was really updated.

Continue reading what fields are usually changed when update'ing?