[gentoo-user-de] Umzug von cyrus-imap-daten?

[gentoo-user-de] Umzug von cyrus-imap-daten?

[Werner Jansen]

Hallo *,

vielleicht bin ich ein wenig off-topic, aber ich hoffe einfach, daß
mir hier trotzdem jemand helfen kann.

Ich habe einen Mail-Server mit cyrus-imap 2.0.16, zugegebenermaßen
ein älterer Stand. 

Um den alten in Rente zu schicken, habe ich einen neuen aufgesetzt,
natürlich mit Gentoo. :)

Hat jemand Erfahrung beim Migrieren der Mailboxen? Ich habe die
beiden Installationen jetzt schon eine Weile untersucht und
signifikante Unterschiede festgestellt, die ein einfaches
"rüberkopieren" unmöglich machen. z.B. ist die Datei mailboxes.db in
der alten Version eine BerkeleyDB, in der neuen eine Skiplist, also
nicht verwendbar. Weggelöscht vergißt der cyrus alle Mailboxen. Wenn
ich das mitgelieferte Tool "rehash full" aufrufen möchte, bekomme ich
eine Fehlermeldung, mit der ich spontan nichts anfangen kann:

 ./rehash full
Useless use of a variable in void context at (eval 1) line 557,
<DATA> line 594. you are using /var/imap/sieve as your sieve
directory. i will also hash partitions.
converting configuration directory /var/imap...user error: couldn't
create A

Ganz abgesehen davon, daß ich nicht weiß, ob diese Tools bei
laufendem oder gestopptem Mail-Server ausgeführt werden sollen.

Hat jemand diesbezüglich ein paar Ratschläge für mich? Oder die
richtigen Google-Suchbegriffe?

Vielen Dank!

Viele Grüße,

Werner
--
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Patrick Grimm]

Werner Jansen wrote:
> Hallo *,
>
> vielleicht bin ich ein wenig off-topic, aber ich hoffe einfach, daß
> mir hier trotzdem jemand helfen kann.
>
> Ich habe einen Mail-Server mit cyrus-imap 2.0.16, zugegebenermaßen
> ein älterer Stand. 
>
> Um den alten in Rente zu schicken, habe ich einen neuen aufgesetzt,
> natürlich mit Gentoo. :)
>
> Hat jemand Erfahrung beim Migrieren der Mailboxen? Ich habe die
> beiden Installationen jetzt schon eine Weile untersucht und
> signifikante Unterschiede festgestellt, die ein einfaches
> "rüberkopieren" unmöglich machen. z.B. ist die Datei mailboxes.db in
> der alten Version eine BerkeleyDB, in der neuen eine Skiplist, also
> nicht verwendbar. Weggelöscht vergißt der cyrus alle Mailboxen. Wenn
> ich das mitgelieferte Tool "rehash full" aufrufen möchte, bekomme ich
> eine Fehlermeldung, mit der ich spontan nichts anfangen kann:
>
>  ./rehash full
> Useless use of a variable in void context at (eval 1) line 557,
> <DATA> line 594. you are using /var/imap/sieve as your sieve
> directory. i will also hash partitions.
> converting configuration directory /var/imap...user error: couldn't
> create A
>
> Ganz abgesehen davon, daß ich nicht weiß, ob diese Tools bei
> laufendem oder gestopptem Mail-Server ausgeführt werden sollen.
>
> Hat jemand diesbezüglich ein paar Ratschläge für mich? Oder die
> richtigen Google-Suchbegriffe?
>
>   
emerge net-mail/imapsync
hat mir dabei geholfen. Ich habe auch irgendwo noch das script zum
anlegen der neuen imap mailboxen.
weil imapsync AFAIK nur die mails kopiert.
> Vielen Dank!
>
> Viele Grüße,
>
> Werner
>   

-- 
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Tobias Scherbaum]

[-- Attachment #1: Type: text/plain, Size: 455 bytes --]

Am Montag, den 04.06.2007, 21:12 +0200 schrieb Patrick Grimm:
> emerge net-mail/imapsync
> hat mir dabei geholfen. Ich habe auch irgendwo noch das script zum
> anlegen der neuen imap mailboxen.
> weil imapsync AFAIK nur die mails kopiert.

Wenn man von cyrus zu courier o.ae. wechseln wollen würde, könnte das
helfen. Nur will man bei einem Cyrus-Upgrade/Umzug ja auch die Metadaten
(seen/sub/quota) vollständig mitnehmen.

Gruß,
  Tobias

[-- Attachment #2: Dies ist ein digital signierter Nachrichtenteil --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Tobias Scherbaum]

[-- Attachment #1: Type: text/plain, Size: 1810 bytes --]

Am Montag, den 04.06.2007, 21:00 +0200 schrieb Werner Jansen:
> Ich habe einen Mail-Server mit cyrus-imap 2.0.16, zugegebenermaßen
> ein älterer Stand. 
> 
> Um den alten in Rente zu schicken, habe ich einen neuen aufgesetzt,
> natürlich mit Gentoo. :)

Ähnliches hab ich letztens hinter mich gebracht.

> Hat jemand Erfahrung beim Migrieren der Mailboxen? Ich habe die
> beiden Installationen jetzt schon eine Weile untersucht und
> signifikante Unterschiede festgestellt, die ein einfaches
> "rüberkopieren" unmöglich machen. z.B. ist die Datei mailboxes.db in
> der alten Version eine BerkeleyDB, in der neuen eine Skiplist, also
> nicht verwendbar. Weggelöscht vergißt der cyrus alle Mailboxen. Wenn
> ich das mitgelieferte Tool "rehash full" aufrufen möchte, bekomme ich
> eine Fehlermeldung, mit der ich spontan nichts anfangen kann:

http://www.univention.de/fileadmin/dokumentation/cyrus-migration_070411.pdf
Hier hats generelle Infos zum Cyrus-Upgrade.

> Ganz abgesehen davon, daß ich nicht weiß, ob diese Tools bei
> laufendem oder gestopptem Mail-Server ausgeführt werden sollen.
> 
> Hat jemand diesbezüglich ein paar Ratschläge für mich? Oder die
> richtigen Google-Suchbegriffe?

In kurz:
Mit ctl_mboxlist die mailboxes.db in ein Flatfile konvertieren, dieses
auf dem neuen Server wieder als mailboxes.db importieren, anschliessend
mit einem resonstruct die User-Mailboxen erstellen. Anschliessend
Übernahme der reinen Maildaten, anschliessend die seen/sub/quota Dateien
usw. auf den neuen Server kopieren, zahlreiche davon dürften noch nach
Skiplist (ctl_cyrusdb) konvertiert werden müssen. Abschliessend noch ein
reconstruct, Cyrus starten, fertig.

Details bekomm ich aus dem Kopf nicht mehr hin, aber grob wars das ;)

HTH,
  Tobias

[-- Attachment #2: Dies ist ein digital signierter Nachrichtenteil --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Werner Jansen]

On Mon, 04 Jun 2007 21:25:53 +0200
Tobias Scherbaum <dertobi123@gentoo.org> wrote:

[..]

Wow, vielen Dank! Ich hatte ja gehofft, hier den einen oder anderen
Tip zu bekommen, mit soviel Input habe ich jedoch nicht gerechnet.
Das werd ich gleich morgen ausprobieren.

Viele Grüße,

Werner
--
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Stefan G. Weichinger]

Werner Jansen schrieb:
> Wow, vielen Dank! Ich hatte ja gehofft, hier den einen oder anderen
> Tip zu bekommen, mit soviel Input habe ich jedoch nicht gerechnet.
> Das werd ich gleich morgen ausprobieren.

Hier noch mehr ;)

Bei mir war's zwar nicht so ein grosser Versionssprung, dennoch hab ich
mir folgendes notiert, für zukünftige Wiederholungen oder eben
Hilfestellung:

-----

Cyrus-IMAPd stop

Export Konto-Metadaten

   su - cyrus
   cd /var/lib/imap
   /usr/lib/cyrus/bin/ctl_mboxlist -d >mailboxes.txt

rsync /var/spool/imap to new server
rsync /var/lib/imap   ...
rsync /var/lib/sieve  ...

ACHTUNG auf chown cyrus:mail (oä) dieser Verzeichnisse

Konvertierung seen-dbs:

    su - cyrus
    for file in `find /var/lib/imap/user -name \*.seen`; do
        mv $file $file.old
        /usr/lib/cyrus/bin/cvt_cyrusdb $file.old flat $file skiplist
    done

Import Konto-Metadaten:

   su - cyrus
   cd /var/lib/imap
   /usr/lib/cyrus/bin/ctl_mboxlist -u <mailboxes.txt

Löschen der alten dbs

      cd /var/lib/imap
      rm db/*
      rm db.backup?/*
      rm deliver.db
      rm tls_sessions.db


Cyrus-IMAPd start

-----

Hope, it helps, wie immer gilt, Pfade etc. an die Distro anzupassen, das
Beispiel kommt von einem Suse-Hobel.

Stefan

-- 
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Werner Jansen]

Guten Morgen Stefan!

Vielen Dank für Deine Hilfe! Ich habe mich mal nach Deiner Anleitung
gerichtet, weil sie so schön straight forward ist. :)

Bevor ich meinen Cyrus mal starte, habe ich noch ein paar Fragen
(siehe weiter unten).

On Mon, 04 Jun 2007 22:34:16 +0200
"Stefan G. Weichinger" <lists@xunil.at> wrote:
> Hier noch mehr ;)
> 
> Bei mir war's zwar nicht so ein grosser Versionssprung, dennoch hab
> ich mir folgendes notiert, für zukünftige Wiederholungen oder eben
> Hilfestellung:

Bei mir kommt das auch gleich sofort in mein ITWiki. Wer weiß,
wofür's gut ist. :)

> [..]
> rsync /var/spool/imap to new server

Das hat am längsten gedauert. :)

Noch ein Tip für's Archiv: Die Verzeichnisstruktur des Spools hat sich
geändert zwischen 2.0 und 2.2, es gibt jetzt Unterverzeichnisse für
jeden Anfangsbuchstaben. 
Das zugehörige Script habe ich hier unten angehängt.

> Löschen der alten dbs
> 
>       cd /var/lib/imap
>       rm db/*
>       rm db.backup?/*
>       rm deliver.db
>       rm tls_sessions.db

Ein paar Fragen habe ich noch, vielleicht kannst Du mir da helfen?

1. die .sub-Dateien, in welchem Format liegen die im neuen Cyrus vor?
Plaintext oder skiplist? Der alte hatte plaintext, muß ich die
konvertieren? Ich hab leider keinen Vergleich, da noch nicht
gestartet.

2. Wie sieht es aus mit den anderen .db-Dateien? Die hast Du ja in
Deinem Fall nicht erzeugt/konvertiert. Macht das Cyrus selbständig?
Erzeugt es die neu? z.B. deliver.db. Aus welchen Daten erzeugt er die?

3. Hast Du rehash oder reconstruct ausgeführt? Ist das evtl. die
Antwort auf Frage 2? :)

Vielen Dank im Voraus! 

Viele Grüße,

Werner

PS: Hier das script. Bestimmt nicht schön, aber funktionierend. :)

# Hier liegen die vom alten Server kopierten Daten
SPOOLDATADIR=/tmp/var_spool_imap
IMAPDATADIR=/tmp/var_imap

SPOOLDATADIRLENGTH=${#SPOOLDATADIR}

# Da solls hin
SPOOLDIR=/var/spool/imap
IMAPDIR=/var/imap

BACKUPDIR=/tmp/imapbackup

DATESTRING=$(date "+%Y%m%d%H%M")

mkdir -p $BACKUPDIR

# Erstmal das vorhandene wegsichern, nur vorsichtshalber. :)
cd $SPOOLDIR
tar cvfjp $BACKUPDIR/var_spool_imap-$DATESTRING.tbz2 .
cd $IMAPDIR
tar cvfjp $BACKUPDIR/var_imap-$DATESTRING.tbz2 .


# Nicht sehr elegant, aber gut waehlbar, was mit soll
cd $IMAPDATADIR
for I in db deliverdb log mailboxes.db msg proc quota user
do
  echo Copying $I to $IMAPDIR
  cp -f -r $I $IMAPDIR/
done

# Spool-Verzeichnisse mit neuer Struktur umkopieren
cd $SPOOLDATADIR
for I in *
 do
  MAILUSER=$I
  PREFIX=${MAILUSER:0:1}
  mkdir -p $SPOOLDIR/$PREFIX/user
  echo Copying $I to $SPOOLDIR/$PREFIX/user/
  cp -r -f $I $SPOOLDIR/$PREFIX/user/
done


--
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Stefan G. Weichinger]

Werner Jansen schrieb:
> Guten Morgen Stefan!
> 
> Vielen Dank für Deine Hilfe! Ich habe mich mal nach Deiner Anleitung
> gerichtet, weil sie so schön straight forward ist. :)

Gut so ;)

> Bevor ich meinen Cyrus mal starte, habe ich noch ein paar Fragen
> (siehe weiter unten).

Ui, ich weiß nicht, ob Du solange auf mich gewartet hast mit dem Starten ...

>> [..]
>> rsync /var/spool/imap to new server
> 
> Das hat am längsten gedauert. :)

klar ;)


> Noch ein Tip für's Archiv: Die Verzeichnisstruktur des Spools hat sich
> geändert zwischen 2.0 und 2.2, es gibt jetzt Unterverzeichnisse für
> jeden Anfangsbuchstaben. 
> Das zugehörige Script habe ich hier unten angehängt.

Ja, mein Cyrus hatte diese einzelnen subdirs auch. Kein Problem damit
gehabt, auch ohne Skript wie Deines. Muß mir das Skript aber erst im
Detail ansehen, um zu verstehen, was Du da erreichen willst.

>> Löschen der alten dbs
>>
>>       cd /var/lib/imap
>>       rm db/*
>>       rm db.backup?/*
>>       rm deliver.db
>>       rm tls_sessions.db
> 
> Ein paar Fragen habe ich noch, vielleicht kannst Du mir da helfen?
> 
> 1. die .sub-Dateien, in welchem Format liegen die im neuen Cyrus vor?
> Plaintext oder skiplist? 

Keine Ahnung ... ich denk mal, das hängt davon ab, was Du konfigurierst,
bzw. was default ist. Übernimmst Du nicht auch die
cyrus.conf/imapd.conf, zumindest weitgehend?

> Der alte hatte plaintext, muß ich die
> konvertieren? Ich hab leider keinen Vergleich, da noch nicht
> gestartet.

Siehe oben ...

Ich hab da nix konvertiert, da ich die conf-Dateien 1:1 übernommen hab.
Erst später mal hab ich einzelne Dinge auf andere Formate
umgestellt/konvertiert, das hatte aber nix mit dem Versionssprung von
Cyrus selbst zu tun.

> 2. Wie sieht es aus mit den anderen .db-Dateien? Die hast Du ja in
> Deinem Fall nicht erzeugt/konvertiert. Macht das Cyrus selbständig?
> Erzeugt es die neu? z.B. deliver.db. Aus welchen Daten erzeugt er die?
> 
> 3. Hast Du rehash oder reconstruct ausgeführt? Ist das evtl. die
> Antwort auf Frage 2? :)

Ein reconstruct-Lauf kann nicht schaden, würde ich sagen.
deliver.db wird jedenfalls selbständig neu erzeugt, auch vieles anderes.

Im Detail weiß ich da auch ned alles, leider ist ja der cyrus-imapd
nicht wirklich erschöpfend dokumentiert. Jedenfalls reichte es in meinem
Fall aus, die gelisteten Schritte auszuführen. Damals hatte ich dazu ein
paar Seiten gegooglet, und da war auch nur von den paar DBs die Rede,
die wirklich wichtig und zu übernehmen waren, den Rest baut sich cyrus
wieder auf ...

Ich hoffe, Dein Cyrus läuft schon brav.
Grüsse, Stefan
-- 
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Werner Jansen]

On Fri, 08 Jun 2007 09:11:54 +0200
"Stefan G. Weichinger" <lists@xunil.at> wrote:

> Werner Jansen schrieb:
> > Guten Morgen Stefan!
> > 
> > Vielen Dank für Deine Hilfe! Ich habe mich mal nach Deiner
> > Anleitung gerichtet, weil sie so schön straight forward ist. :)
> 
> Gut so ;)
> 
> > Bevor ich meinen Cyrus mal starte, habe ich noch ein paar Fragen
> > (siehe weiter unten).
> 
> Ui, ich weiß nicht, ob Du solange auf mich gewartet hast mit dem
> Starten ...

Ne, habe ich nicht. Hat aber alles funktioniert. Der neue Mailserver
ist in Betrieb und ich darf nachts wieder schlafen gehen anstatt zu
arbeiten. :)

Vielen Dank nochmal für die Hilfe!

Viele Grüße,

Werner
--
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Stefan G. Weichinger]

Werner Jansen schrieb:
> On Fri, 08 Jun 2007 09:11:54 +0200
> "Stefan G. Weichinger" <lists@xunil.at> wrote:
>> Ui, ich weiß nicht, ob Du solange auf mich gewartet hast mit dem
>> Starten ...
> 
> Ne, habe ich nicht. Hat aber alles funktioniert. Der neue Mailserver
> ist in Betrieb und ich darf nachts wieder schlafen gehen anstatt zu
> arbeiten. :)
> 
> Vielen Dank nochmal für die Hilfe!

Gerne ...

Irgendwelche Ergänzungen zu meiner Anleitung hinzuzufügen?

Grüsse, Stefan

-- 
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Werner Jansen]

On Wed, 13 Jun 2007 09:02:02 +0200
"Stefan G. Weichinger" <lists@xunil.at> wrote:

> Werner Jansen schrieb:
> > On Fri, 08 Jun 2007 09:11:54 +0200
> > "Stefan G. Weichinger" <lists@xunil.at> wrote:
> >> Ui, ich weiß nicht, ob Du solange auf mich gewartet hast mit dem
> >> Starten ...
> > 
> > Ne, habe ich nicht. Hat aber alles funktioniert. Der neue
> > Mailserver ist in Betrieb und ich darf nachts wieder schlafen
> > gehen anstatt zu arbeiten. :)
> > 
> > Vielen Dank nochmal für die Hilfe!
> 
> Gerne ...
> 
> Irgendwelche Ergänzungen zu meiner Anleitung hinzuzufügen?

Eigentlich nur, daß ich noch einen reconstruct ausgeführt habe. Bei
deaktiviertem cyrus versteht sich. :)
Vor diesem Kontext habe ich nicht verstanden, warum das cyradm-Tool
ein "reconstruct" bereitstellt, da das Tool doch nur funktioniert,
wenn er sich zu einem laufenden Cyrus verbinden kann. Aus Neugier
habe ich das in einer "Reserveinstallation" auch mal probiert, das gab
etliche Meldungen im Log, die nicht gut aussahen.

Viele Grüße,

Werner
--
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Stefan G. Weichinger]

Werner Jansen schrieb:
> On Wed, 13 Jun 2007 09:02:02 +0200
> "Stefan G. Weichinger" <lists@xunil.at> wrote:
>> Irgendwelche Ergänzungen zu meiner Anleitung hinzuzufügen?
> 
> Eigentlich nur, daß ich noch einen reconstruct ausgeführt habe. Bei
> deaktiviertem cyrus versteht sich. :)
> Vor diesem Kontext habe ich nicht verstanden, warum das cyradm-Tool
> ein "reconstruct" bereitstellt, da das Tool doch nur funktioniert,
> wenn er sich zu einem laufenden Cyrus verbinden kann. Aus Neugier
> habe ich das in einer "Reserveinstallation" auch mal probiert, das gab
> etliche Meldungen im Log, die nicht gut aussahen.

Soweit ich weiß, bedeutet "reconstruct" in diesem Kontext, daß da ein
Abgleich zwischen den tatsächlichen Mailverzeichnissen und den
Index-Datenbanken von Cyrus hergestellt wird.

Zb im Falle einer Wiederherstellung aus einem Backup kann man so
Verzeichnisse und DBs wieder in-sync bringen, oder auch, wenn man aus
irgendeinem Grund per shell Verzeichnisse und darin enthaltene Mails
manipuliert (nicht im böswilligen Sinne gemeint, sondern zB. bei moves
oder sowas).

Für sowas ist natürlich ein laufender cyrus nötig.

Grüsse, Stefan

-- 
gentoo-user-de@gentoo.org mailing list

Re: [gentoo-user-de] Umzug von cyrus-imap-daten?

[Werner Jansen]

On Mon, 04 Jun 2007 21:25:53 +0200
Tobias Scherbaum <dertobi123@gentoo.org> wrote:

> [..]
> http://www.univention.de/fileadmin/dokumentation/cyrus-migration_070411.pdf
> Hier hats generelle Infos zum Cyrus-Upgrade.
> 
> > Ganz abgesehen davon, daß ich nicht weiß, ob diese Tools bei
> > laufendem oder gestopptem Mail-Server ausgeführt werden sollen.
> > 
> > Hat jemand diesbezüglich ein paar Ratschläge für mich? Oder die
> > richtigen Google-Suchbegriffe?
> 
> In kurz:
> Mit ctl_mboxlist die mailboxes.db in ein Flatfile konvertieren,
> dieses auf dem neuen Server wieder als mailboxes.db importieren,
> anschliessend mit einem resonstruct die User-Mailboxen erstellen.
> Anschliessend Übernahme der reinen Maildaten, anschliessend die
> seen/sub/quota Dateien usw. auf den neuen Server kopieren,
> zahlreiche davon dürften noch nach Skiplist (ctl_cyrusdb)
> konvertiert werden müssen. Abschliessend noch ein reconstruct,
> Cyrus starten, fertig.

Als ich das von Dir verlinkte Dokument angesehen habe, habe ich
erstmal nen Schreck bekommen. Ich wollte doch nur den Mailserver
umziehen. :)
Scheinbar ist der Multi-Domain-Aufwand gar nicht notwendig ohne
Multidomains. :)

Zusammen mit der Antwort von Stefan Weichinger habe ich das jetzt
soweit fertig, bis auf ein paar Fragen, die ich in einer Mail an
Stefan gestellt habe. 
Vielleicht möchtest Du einen Blick in die Mail werfen? Nein, nichts
läge mir ferner als fremder Läute Zäune zu zerlegen, um mit den
Pfählen zu winken :)

Dir auch vielen Dank für Deine Hilfe!

Werner
--
gentoo-user-de@gentoo.org mailing list