From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: Received: from lists.gentoo.org (pigeon.gentoo.org [208.92.234.80]) by finch.gentoo.org (Postfix) with ESMTP id 7A3331389E2 for ; Thu, 27 Nov 2014 05:27:25 +0000 (UTC) Received: from pigeon.gentoo.org (localhost [127.0.0.1]) by pigeon.gentoo.org (Postfix) with SMTP id E6FC1E0858; Thu, 27 Nov 2014 05:27:24 +0000 (UTC) Received: from mail-ob0-f181.google.com (mail-ob0-f181.google.com [209.85.214.181]) (using TLSv1 with cipher ECDHE-RSA-RC4-SHA (128/128 bits)) (No client certificate requested) by pigeon.gentoo.org (Postfix) with ESMTPS id 36F9AE0858 for ; Thu, 27 Nov 2014 05:27:24 +0000 (UTC) Received: by mail-ob0-f181.google.com with SMTP id gq1so3171210obb.26 for ; Wed, 26 Nov 2014 21:27:23 -0800 (PST) DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=20120113; h=mime-version:in-reply-to:references:date:message-id:subject:from:to :content-type:content-transfer-encoding; bh=cK+ifFEjx/q9dJPcelx7V7dzLpvLBpNenhZL0hd4UEE=; b=be6galxvadk3YgQ+H4Zv6MaePOTuHfRI5FR5t5WJlfg91KE8LYe1+gVZyTWDoh58Ue xjgO3LuDarUKgOay0I+T0l2TqZle8p3BCYkp6LbJ1kS3SSYKFtZgTHl2lVGUe/HJpPA0 CQv9v7PVPVWrd53kjZOHfqcm/mZyDccqg5pLPmB1TMz8rp5max9W55Vk/DkKpgE8CXUt hbMjYtElY0k8wmeJBMZOOembvOwOT27CVGiATz1wofLf3Wxxi0jYZtPiJHcXYqY+Mb31 v4U18j2NV/lAEAeD96Swi8H3f3vvNa9boLDw4gnS9rLL4WxFk31wOtxWHvPO1pCd28xx lrfg== Precedence: bulk List-Post: List-Help: List-Unsubscribe: List-Subscribe: List-Id: Gentoo Linux mail X-BeenThere: gentoo-user-hu@lists.gentoo.org Reply-to: gentoo-user-hu@lists.gentoo.org MIME-Version: 1.0 X-Received: by 10.202.53.86 with SMTP id c83mr20474885oia.125.1417066043260; Wed, 26 Nov 2014 21:27:23 -0800 (PST) Received: by 10.76.57.38 with HTTP; Wed, 26 Nov 2014 21:27:23 -0800 (PST) In-Reply-To: <54767820.3@gmail.com> References: <5475C2CF.8060709@gmail.com> <5475CCA5.6060005@gmail.com> <5475D20B.4020204@gmail.com> <5475EBDF.4000003@gmail.com> <54767820.3@gmail.com> Date: Thu, 27 Nov 2014 06:27:23 +0100 Message-ID: Subject: Re: [gentoo-user-hu] Az evszazad poenja. From: Bukuli Norbert To: gentoo-user-hu@lists.gentoo.org Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: quoted-printable X-Archives-Salt: c1ce1866-a769-4ccf-9466-d03ee38dfc85 X-Archives-Hash: aa68e7979ec287bb8075a64157ef0280 Sziasztok! Testa =C3=ADrta (2014. november 27. 2:02): > Szia Peter, > > Alapjaba veve a script csak a logok valtozasanak ellenorzesert felel. > Tehat igen ez nem file olvasas. Nem latom a teljes feladatot, de erre esetleg nem lehetne inotify-t hasznal= ni? Udvozlettel: Bukuli Norbert > De sajnos a hulye fs bele nyit. > Nos a lenyeg, hogy bele keveredtem egy fogadasba. Egy par fejleszto > akikkel dolgozom keszitett egy php programot ami 1 gigabajtnyi xmlt > dolgoz fel. > A felhaborodasom oka hogy : > -Minden egyes fajlt egyesevel beraknak a tmp-be. > -Majd onnan kiolvasva dolgozak fel es > -Majd minden egyes szekciot egyesevel updatelnek a mysql szerveren. > -Ezzel 12 orara naponta 100% lekra terhelnek 2 magot. (egy a mysql nek > egy a scriptnek.) > -Mondanom se kell mikor meglattam a 80 fokos cpu-t azonnal lelottem a > mysql-t... > -Ebbol vitam lett, es azzal lett lezarva hogy ezt nem lehet maskepp. > -Viszont a fonokuk fogadott velem: Ha kepes vagyok 1 ora alatt > lefutattni egy hasonlot ugy hogy ellenorzom amit a rendszer normal > esetben csinal akkor kirugja ezt a 2 idiotat. De csak nodejs vagy php > lehet C be nem er. > > Nos biztonsagosan -Ofast nelkul -O3 nodejs el a program 40 masodperc > alatt futt le ha a file check futt.(O3 nal nincs hiba) -Ofast os nodejs > el ez 21 masodperc. > > Hat es igen tevedtem. > Mivel a kerdest tokeletesen megoldottam, de sajnos nem magamtol: ki kell > kapcsolni a grsec et. > (Nem eles szerver szoval nem lesz baja 1 napot kibir )... > > > " > > Ezek egyike sem jelent milisec-enk=C3=A9nti korl=C3=A1toz=C3=A1st. Viszon= t, ha j=C3=B3l > =C3=A9rtem ezek olyasmir=C5=91l sz=C3=B3lnak, hogy =C3=A9rtes=C3=ADt=C3= =A9st lehet k=C3=A9rni a kernelt=C5=91l > ha egyik vagy m=C3=A1sik f=C3=A1jl v=C3=A1ltozik. Val=C3=B3sz=C3=ADn=C5= =B1 hogy az fs.statSync-ben van > ilyen figyel=C3=A9s is k=C3=A9rve, s azok t=C3=BAl k=C3=A9s=C5=91n leszne= k elengedve. Tal=C3=A1n > mintha ugyanazon 300 f=C3=A1jlt t=C3=B6bbsz=C3=B6r=C3=B6sen is figyelni p= r=C3=B3b=C3=A1ln=C3=A1 a script. > =C3=89s lehet hogy csak el=C5=91re leprogramozott intervallumonk=C3=A9nt = fut le az a > k=C3=B3d ami elengedi a f=C3=A1jl figyel=C3=A9st. Ez pedig programhiba. H= a van el=C3=A9g > mem=C3=B3ri=C3=A1d emelheted ezeket a limiteket, j=C3=B3form=C3=A1n kock= =C3=A1zat n=C3=A9lk=C3=BCl. De > az=C3=A9rt jobb ha ut=C3=A1naolvasol, hogy pontosan mi a szerepe ezeknek = egyenk=C3=A9nt. > > " > > Majdnem telibe talaltad. > Mielott az elso file el lenne engedve a script nyitja a masikat. > Mivel az fs egy require al jonn a scriptbe. > Megoldas lehetne az is hogy minden file kulon zaras nyitas. Esetleg > tenyleg eldobom a fugvenyt, es ujra hivom mielott > a masik fajlra lepek. De ezzel lassulna a rendszer vagy 2 masodperccel. > Valojaban 19 masodpercen kockaztatom a biztonsagos futtast... Mikor 3600 > alatt kell maradnom szimplan. > Nem kell mondanod tudom hogy hulye vagyok. > > > > " > > M=C3=A9gis, =C3=A9n ink=C3=A1bb nem dem=C3=B3zn=C3=A9k egy olyan k=C3=A9t= es programot, ami egy stat > h=C3=ADv=C3=A1s-t, mely nem ig=C3=A9nyel f=C3=A1jl megnyit=C3=A1st sem, n= em tud biztons=C3=A1ggal > v=C3=A9grehajtani. Egy=C3=A9bk=C3=A9nt is, a rendszernek sz=C3=A1mtalan o= lyan karbantart=C3=A1si > feladata van melyhez esetenk=C3=A9nt sok f=C3=A1jlt kell megnyitnia =C3= =A9s bez=C3=A1rnia. > M=C3=A9gis m=C5=B1k=C3=B6dik nem? > > " > > Na igen de azokat nem egy process nyitja meg egyszerre... > Az alap rendszert csak egy orult forgatja -Ofast al... > > " > > Ez nem kernel-be=C3=A1ll=C3=ADt=C3=A1s hanem valami nodejs-sel vagy > a n=C3=A1lad l=C3=A9v=C5=91 scripttel kapcsolatos hiba lesz. > > " > En nem mondtam hogy nem en vagyok az oka. > Mindent koszi, tenyleg segitettel gondolkozni. > > real 0m20.341s > > Ez kevesebb mint 1 ora. Azt hiszem jo lesz. > Logok neked egy par sorrel. Ha arra jarok megadom. > > Udv > Laszlo > > > On 11/26/14 15:03, Cs=C3=A1sz=C3=A1r P=C3=A9ter wrote: >> Szia L=C3=A1szl=C3=B3! >> >> Az igen kurta nodejs doksi alapj=C3=A1n: >> http://nodejs.org/api/fs.html#fs_fs_statsync_path >> arra tippelek, hogy eg=C3=A9szen egyszer=C5=B1 stat rendszerh=C3=ADv=C3= =A1s lehet a h=C3=A1tt=C3=A9rben: >> http://linux.die.net/man/2/fstat >> >> M=C3=A1rpedig ehhez nem kell megnyitni egy f=C3=A1jlt sem. Tov=C3=A1bbra= is er=C5=91sen >> gyan=C3=BAs hogy s=C3=BAlyos programhiba van a h=C3=A1tt=C3=A9rben. >> >> B=C3=A1r a /proc/sys/fs alatti dolgokkal nem vagyok =C3=A9rdemben ismer= =C5=91s, a >> /proc/sys/fs/inotify egy k=C3=B6nyvt=C3=A1r =C3=A9s alatt n=C3=A1lam az = al=C3=A1bbi f=C3=A1jlok annak >> benne (tartalommal): >> max_queued_events (16384) >> max_user_instances (128) >> max_user_watches (524288) >> >> Ezek egyike sem jelent milisec-enk=C3=A9nti korl=C3=A1toz=C3=A1st. Viszo= nt, ha j=C3=B3l >> =C3=A9rtem ezek olyasmir=C5=91l sz=C3=B3lnak, hogy =C3=A9rtes=C3=ADt=C3= =A9st lehet k=C3=A9rni a kernelt=C5=91l >> ha egyik vagy m=C3=A1sik f=C3=A1jl v=C3=A1ltozik. Val=C3=B3sz=C3=ADn=C5= =B1 hogy az fs.statSync-ben van >> ilyen figyel=C3=A9s is k=C3=A9rve, s azok t=C3=BAl k=C3=A9s=C5=91n leszn= ek elengedve. Tal=C3=A1n >> mintha ugyanazon 300 f=C3=A1jlt t=C3=B6bbsz=C3=B6r=C3=B6sen is figyelni = pr=C3=B3b=C3=A1ln=C3=A1 a script. >> =C3=89s lehet hogy csak el=C5=91re leprogramozott intervallumonk=C3=A9nt= fut le az a >> k=C3=B3d ami elengedi a f=C3=A1jl figyel=C3=A9st. Ez pedig programhiba. = Ha van el=C3=A9g >> mem=C3=B3ri=C3=A1d emelheted ezeket a limiteket, j=C3=B3form=C3=A1n kock= =C3=A1zat n=C3=A9lk=C3=BCl. De >> az=C3=A9rt jobb ha ut=C3=A1naolvasol, hogy pontosan mi a szerepe ezeknek= egyenk=C3=A9nt. >> >> M=C3=A9gis, =C3=A9n ink=C3=A1bb nem dem=C3=B3zn=C3=A9k egy olyan k=C3=A9= tes programot, ami egy stat >> h=C3=ADv=C3=A1s-t, mely nem ig=C3=A9nyel f=C3=A1jl megnyit=C3=A1st sem, = nem tud biztons=C3=A1ggal >> v=C3=A9grehajtani. Egy=C3=A9bk=C3=A9nt is, a rendszernek sz=C3=A1mtalan = olyan karbantart=C3=A1si >> feladata van melyhez esetenk=C3=A9nt sok f=C3=A1jlt kell megnyitnia =C3= =A9s bez=C3=A1rnia. >> M=C3=A9gis m=C5=B1k=C3=B6dik nem? Ez nem kernel-be=C3=A1ll=C3=ADt=C3=A1s= hanem valami nodejs-sel vagy >> a n=C3=A1lad l=C3=A9v=C5=91 scripttel kapcsolatos hiba lesz. >> >> =C3=9Cdv, >> P=C3=A9ter >> >> 2014-11-26 14:13 keltez=C3=A9ssel, Testa =C3=ADrta: >>> Szia Peter, >>> >>> Koszi a valaszod. >>> Meg egzsyer meg probalom meg fogalmazni. >>> Egy 200 sorros scriptrol beszelunk ami egy set interval utan csinal 300 >>> fs.statSync et... (ha read lenne akkor lassabb lenne es nem lepne fel a >>> hiba.) >>> Persze tudom hogy az emelt file rendszer cache a fo ok amiert ilyen >>> gyorsan kepes az olvasast vegre hajtani a rendszer. Szoval technikailag >>> az en hibam is. De szuksegem van erre a teljesitmenyre... ( Mivel a >>> rendszer egy demonstracio ) >>> >>> A problema az hogy a linux kernel 8 file megnyisat teszi lehetove ms >>> ekenkent... Probaltam a /proc/sys/fs be meg talalni a erre a megoldast. >>> Ugyan meg is talaltam a /proc/sys/fs/inotify ba amit keresek. De ezt ne= m >>> merem 300 ra allitani. Ha persze a programot le lassitom akkor >>> tokeletesen fut. Viszont nem hiszem hogy ez hosszu tavon jo megoldas... >>> (Teny jelenleg ezt a modszert valasztottam) >>> >>> >>> Udv >>> Laszlo >>> >>> On 11/26/14 12:50, Cs=C3=A1sz=C3=A1r P=C3=A9ter wrote: >>>> Szia Testa, >>>> >>>> Kiss=C3=A9 hom=C3=A1lyos hogy mi is t=C3=B6rt=C3=A9nik pontosan, de ma= jdnem biztos vagyok >>>> benne hogy vagy az a nodejs progi, vagy az =C3=A1ltala haszn=C3=A1lt l= ibekben >>>> valahol s=C3=BAlyos hiba van. Helyesen meg=C3=ADrt program nem fog els= z=C3=A1llni csak >>>> mert gyorsabb g=C3=A9pet tesz=C3=BCnk al=C3=A1. >>>> >>>> Sz=C3=B3val a helyedben =C3=A9n =C3=ADrn=C3=A9k egy bugriportot, ha fo= ntos ez a program a >>>> sz=C3=A1modra. >>>> >>>> =C3=9Cdv, >>>> P=C3=A9ter >>>> >>>> 2014-11-26 13:08 keltez=C3=A9ssel, Testa =C3=ADrta: >>>>> Hello mindenki, >>>>> >>>>> Tenyleg olyan hibam van amit nehez elhinni. >>>>> Nem gentoos hiba de remelem lesz valakinek otlete. >>>>> Szoval. Adott egy nodejs program ami olvas a file 300 filet. >>>>> Ezt elvegzi minden masodpercben. >>>>> A program tokeletesen mukodik majdnem minden desktopon. >>>>> Ha az nem i7 es a merevlemez nem egy jo gyors ssd es nincs szanaszet >>>>> optimalizalt gentoo a rendszeren. >>>>> Sajnos ssd -n plusz i7-en vagy xeon-on olyan gyors hgy a sigserv kilo= vi. >>>>> (XEON on mar az elso olvasas meghal, i7 en en csak a madsodik ellenor= zes) >>>>> Sajonos ez nodejs es nem tudok wait-et/sleep-et hasznalni. >>>>> Van ra mod hogy a file limitet/ms -et atirjam ? >>>>> >>>>> >>>>> Elore is koszi. >>>>> >>> >> > >