Squid Performance

[masterpop3]

ini yg aku dapat :

This is the DAV protocol, which is an extension to HTTP that is not yet
supported by many HTTP proxies, so far as I am aware (I couldn't name
one, that does, if pressed).

It's not your fault. Your users have upgraded to MSIE5/Office2000.

Artinya: ada permintaan klien yg lewat squid yg protocolnya tidak didukung oleh squid.

Begitukah ??
apakah ini hanya NOTICE saja atau ERROR dari squid ?
ada pengaruh yg sangat besar ngak buat si client ? soalnya yg Request dari client mana aku ngak tau, soalnya di loggingnya cuman munculin itu doang.

[moon]

hmm .. kalo saya ndak pernah ngalamin kayak gitu .. mungkin masterpop3 sudah mencobanya di clientnya langsung ? eror ndak ? ..
kalo boleh berpendapat lagi seh, mungkin bisa di liat lagi di config squidnya, sapa tau mungkin ada beberpa list/rule yg bikin kayak gitu (masalahnya saya sendiri gak semua tau list/rule di squid.conf) lagian waktu saya pakek squid stable5 ndak ada error kayak gitu .. atau bisad di cobak untuk squd defaultnya, keluar kayak gitu lagi ndak ? hehehehe

[moon]

hmm .. kalo saya ndak pernah ngalamin kayak gitu .. mungkin masterpop3 sudah mencobanya di clientnya langsung ? eror ndak ? ..
kalo boleh berpendapat lagi seh, mungkin bisa di liat lagi di config squidnya, sapa tau mungkin ada beberpa list/rule yg bikin kayak gitu (masalahnya saya sendiri gak semua tau list/rule di squid.conf) lagian waktu saya pakek squid stable5 ndak ada error kayak gitu .. atau bisad di cobak untuk squd defaultnya, keluar kayak gitu lagi ndak ? hehehehe

[masterpop3]

Kalau aku yg coba sendiri ngak pernah muncul logging seperti itu ...

dan lebih parah lagi aku ngak tau klient mana ? kalau memang itu erorr dari klient. Kalo aku disuruh ngecek atu2 mampus dah...diriku...ada 250 -an komputer...mungkin sekarang udah 300 lebih...walah....

jadi aku cuman melogging di sisi server ...saja.

Tapi menurut saya sih itu cuman NOTICE aja sih...

Ada pendapat lain ??

[ronny]

Cara kerja cache itu adalah menyediakan akses cepat utk barang yg paling sering diakses. Tapi besarnya cache itu terbatas.

Pertama kali dijalanin cache kosong, jadi semua request pasti miss (karena memang tidak ada yg match di cache). Kalo ada request ke barang yg ada di cache itu namanya hit.

Jadi mengukur performance berdasarkan hit itu gak make sense. Kecuali anda bisa tau dg pasti barang apa aja yg bakalan direquest oleh users anda.

Saya bukan pakar squid, pengalaman saya dg squid tidak banyak. Saya cuma tanya supaya pertanyaan anda lebih jelas sehingga org lain bisa lebih mudah menjawab.

Mengukur performance secara akurat itu tidak mudah, apalagi kalo bedanya cuma sedikit. Harus memahami cara kerjanya dan tau di mana mesti mengukurnya. Atau menggunakan tools yg sudah disediakan oleh softwarenya. Seperti anda menggunakan cachemgr itu, tinggal gimana menginterpretasikan outputnya dg benar. Makanya saya tanya kenapa kok menurut anda belum mentok, berdasarkan apa, gitu.

Squid FAQ punya banyak info yg mungkin berguna:
http://www.squid-cache.org/Doc/FAQ/FAQ.html

[masterpop3]

Terimakasih atas wejangannya ...

maaf baru bisa mengucapkan nya sekarang.

[supray]

Halo Semuanya, numpang nimbrung nich.

Oh ya, sekalian bagi-bagi ilmu, nich.
Bagi para newbie yang ingin mensetup proxy server dengan squid untuk menghalangi situs porno dan menghalau banner, bisa di liihat di url berikut :

http://id.rimbalinux.com/~supri/tutorial/

Maaf belum sempat ngerapihin tulisannya, soalnya lagi buru-buru nich

Semoga bermanfaat.

[dani]

Mas Masterpop3, ini ada beberapa saran yg bisa dicoba untuk mempercepat Squid. Silahkan komentar-komentar saya dicermati dan bereksperimen sedikit. Saya jamin Squid anda akan bekerja lebih cepat dg hit ratio bisa lebih dari 50%. Mohon teman-teman yg lain dibantu juga. Terima kasih dan jangan kaget kalau kinerja Squid anda naik drastis, he he he ..... Semoga bermanfaat ....


## Jika ada beberapa situs terdekat yg mungkin hanya 1 hop, di-by pass saja supaya kerja Squid benar-benar utk yg jaraknya jauh

hierarchy_stoplist cgi-bin ? localhost domain-anda.com isp-anda.com domainku.web.id
acl QUERY urlpath_regex cgi-bin \? localhost domain-anda.com isp-anda.com domainku.web.id
no_cache deny QUERY

## Dari pengalaman 6 MB akan lebih cepat dan biarkan Squid bekerja lebih keras lagi

cache_mem 6 MB
cache_swap_low 98
cache_swap_high 99

## Maksimum obyek di hardisk dan di memori diupayakan lebih besar shg byte hit lebih tinggi (bisa dinaikkan lagi jika hardisk berkecepatan tinggi dan jumlahnya banyak dg memori yg lebih besar pula)

maximum_object_size 128 MB
maximum_object_size_in_memory 32 KB

## Jika memori 512 MB atau lebih besar silahkan cache diperbesar

ipcache_size 2048
ipcache_low 98
ipcache_high 99

## Utk heap replacement saya memakai LFUDA utk cache hardisk dan GDSF utk cache memori dg alasan di hardisk diprioritaskan obyek yg ukuran besar-besar dan di memori obyek yg ukurannya kecil-kecil utk disimpan

cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF

## Idealnya ruang di hardisk yg anda pakai hanya sekitar 70% dari total krn semakin penuh Squid akan semakin pelan mencari tempat kosong, mis. utk cache 1 GB maka yg dipakai hanya 700MB (jangan 1GB dipakai semuanya). Jangan lupa hanya 1 direktori per drive krn faktor penghambat adalah kecepatan spindle hardisk lho, bukan terus dg memperbanyak direktori pada 1 hd akan mempercepat (hd orde milidetik, memori orde nanodetik). Jadi mending hardisknya banyak tapi ukurannya kecil-kecil daripada hanya 1 berukuran besar. Terus jika OS-nya Linux pakailah FS-nya Reiser (versi 4 tercepat) dg metode akses aufs. Diskd optimal di FreeBSD tetapi tidak di Linux lho. Jangan lupa di partisi tsb noatime dan notail diaktifkan spy tidak menambah ekstra write saat menulis atau membaca. Intinya hardisk adalah faktor penghambat terbesar di Squid.
## saran kira2 70% dari 16GB

cache_dir aufs /cachez 12000 28 256

atau (utk ruang 4GB-an per hardisk)

cache_dir aufs /cachehardisk1 3000 8 256
cache_dir aufs /cachehardisk2 3000 8 256
cache_dir aufs /cachehardisk3 3000 8 256
cache_dir aufs /cachehardisk4 3000 8 256

atau minimal di bawah ini supaya modifikasi tidak terlalu jauh

cache_dir diskd /cachez 12000 28 256 Q1=72 Q2=88

## Log utk info yg vital saja dan diusahakan file-file log ada di hardisk tersendiri spy tidak mempengaruhi kecepatan direktori cache utamanya

log_fqdn off
log_icp_queries off
cache_log none
cache_store_log none

## Dg 'menipu' dan memaksa sedikit supaya akses obyek lebih intensif di lokal Squid dan waktu simpan ditambah sebelum proses validasi terjadi (mis. validasi terjadi per 3 jam dg penyimpanan obyek terlama 3 bulan, utk ftp bisa lebih lama lagi)

refresh_pattern ^ftp: 10080 95% 241920 reload-into-ims override-lastmod
refresh_pattern . 180 95% 120960 reload-into-ims override-lastmod

## Toleransi aborting dihilangkan saja

quick_abort_min 0
quick_abort_max 0
quick_abort_pct 98

## Mematikan dan merekonfigurasi Squid jangan terlalu cepat krn bisa mengakibatkan integritas file kacau

shutdown_lifetime 10 seconds

## tidak perlu reservasi memori

memory_pools off

## Penting utk relasi dg sibling dg mengukur respons-nya via ICP dan ICMP (tapi ada isp yg tidak mengijinkan lho)

icp_hit_stale on
query_icmp on

## Penting utk meningkatkan refresh pattern lebih lanjut

reload_into_ims on
pipeline_prefetch on
vary_ignore_expire on

## Sekali lagi Squid diperlukan utk mengambil yg jaraknya jauh, jarak dekat langsung saja

acl local-dst dst semuaalamatlokal semuaalamatipygdekat
acl local-domain dstdomain localhost domain-anda.com isp-anda.com domainku.web.id

always_direct allow localhost local-dst local-domain
always_direct deny all

## Tidak begitu diperlukan

##ie_refresh on

[masterpop3]

wah terimakasih sekali mas dani...malem ini aku coba dulu.

## Dari pengalaman 6 MB akan lebih cepat dan biarkan Squid bekerja lebih keras lagi

cache_mem 6 MB
cache_swap_low 98
cache_swap_high 99

cache_mem 6 MB <-- koq alokasinya kecil sekali ?
kalau aku punya memori 1GB boleh kan aku kasih cache_mem 256Mb, tapi efeknya apa kalau besar ?

maksudnya squid bekerja lebih keras lagi itu, kerja di hardisknya giru, daripada di memori ?
bukannya kerja di memori jadi lebih cepat . CMIIW

[dani]

Memang dari pengalaman pribadi dg mesin memori 512MB s/d 1GB dan cache_mem divariasi dari 6 MB s/d 96MB ternyata pengaruhnya relatif tidak terasa. Tetapi ini pengalaman di awal tahun 2000an lho, boleh jadi Squid yg baru-baru (atau bahkan versi 3.xx) sudah lebih baik dalam penggunaan memorinya. Intinya di sini silahkan dicoba dg beberapa setting dan diukur, via perasaan atau pun s/w (web polygraph adalah terbaik tapi konfigurasi lumayan rumit dan toh hanya dipakai beberapa kali saja). Jadi silahkan saja pengguna anda diminta mencicipi dan ditanyai bagaimana responsnya. Sudah lebih dari 2 tahunan tidak menyentuh 'hewan' ini sih, maaf. Sekali lagi tolong teman-teman yg lain dibantu karena siapa tahu setelah Squid-squid menjadi lebih efisien kita di IIX bisa membentuk paguyuban proxy dalam rangka pemercepatan akses dan penghematan bandwidth, ini tujuan akhir semuanya.

[dani]

Maaf ada yg ketinggalan, dari pengalaman dulu jika cache_mem diperbesar efeknya adalah pengaksesan obyek lebih lembam (atau pelan dalam pencarian di mesin lokal, tetapi begitu ketemu ya cepat aksesnya) dan dg cache_mem 6 MB kita rasakan paling responsif. Dari banyak forum dan user group rumus umum cache_mem adalah 1/3 atau 1/4 dari total memori fisik (benar ya?). Tapi default 8 MB saya pikir sudah pas dan disarankan oleh si Henrik Nordstrom, kalau tidak salah.

Kenapa kok batasan minimum 98 dan maksimum 99 alasannya supaya proses store and purge obyek tidak sporadis jalannya, jadi lebih teratur gitu. Saya tidak tahu apakah ini efek dari hardisk2 yg baru dan canggih saat ini yg bisa 'mengistirahatkan' sendiri jika aktivitasnya rendah. Memang kerja Squid sebagian besar di hardisk, tetapi mestinya jika memori cukup besar sbg pengganti media hardisk, hmmm alangkah sedapnya, gitu kan? Jadi intinya di sini memori adalah ruang pemrosesan dan penyimpanan identifikasi obyek dan program yg lain. Penyimpanan obyek-obyek utama ya tetap di hardisk, kecuali kasus perkecualian di atas ini. "One can only dream, right?"

Squid yg baik bisa melayani lebih dari 70 transaksi/detik (record saat ini 110 trans/sec, kalau tidak salah). Rata-rata Squid dg default konfigurasi hanya maksimum 10an transaksi/detik. Tetapi jangan kuatir, kecuali pipa ke internet-nya 10an Mbps, rata-rata Squid sudah cukup baik kok kinerjanya. Gitu saja tambahan saya dan mohon info progres Squid anda.

Dahulu saya sering memberi masukan ke forum Squid via online ke administrator-administrator jaringan kok. Yg terakhir seingat saya dari Greece (Yunani) karena dia punya masalah dg Dynamic Delay Pool yg saya patch.

[yd6cdx]

saya mencoba proxy squid di fedora/redhat dengan konfigurasi sebagai berikut :

isi file squid.conf :

http_port 3128
icp_port 3130

tcp_outgoing_address 0.0.0.0
udp_incoming_address 0.0.0.0
udp_outgoing_address 0.0.0.0

cache_mem 16 MB
maximum_object_size 128 MB

cache_dir ufs /misc/squid/c1 7000 8 128
cache_dir ufs /misc/squid/c2 7000 8 128
cache_dir ufs /misc/squid/c3 7000 8 128

cache_access_log /var/log/squid/access.log

cache_log /dev/null
cache_store_log /dev/null

logfile_rotate 4
memory_pools_limit 8 MB
redirect_rewrites_host_header on
#replacement_policy GDSF
half_closed_clients on

request_header_max_size 128 KB
request_body_max_size 5 MB

dns_nameservers 192.168.0.200

quick_abort_min 16 KB
quick_abort_max 16 KB
quick_abort_pct 95
connect_timeout 120 seconds
peer_connect_timeout 30 seconds
#siteselect_timeout 4 seconds
read_timeout 15 minutes
request_timeout 5 minutes
client_lifetime 1 day

#-----------transparent proxy -----------
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
#-------------------------------------------

#Script Membuka/Menutup akses sex
acl sex url_regex -i "/etc/squid/sex"
acl blok-website url_regex -i "/etc/squid/blok-website"

acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY

client_netmask 255.255.255.255

acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.0/255.255.255.0
acl lan_ku src 192.168.0.0/255.255.255.0
acl images urlpath_regex -i \.gif$ \.png$ \.jpg$ \.jpeg$
acl Safe_ports port 80 21 443 563 70 210 8888 1025-9000 6661-7000
acl CONNECT method CONNECT

#http_access allow localhost CONNECT
#http_access allow internet CONNECT

#akses sex ditutup
#--------------------
http_access deny sex
http_access deny blok-website


http_access allow CONNECT
http_access allow localhost
http_access allow all
http_access allow lan_ku
http_access allow Safe_ports

http_access deny !Safe_ports
http_access deny CONNECT
http_access deny all


refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

#---------------- administration info ------------
cache_mgr [EMAIL PROTECTED]
cache_effective_user squid
cache_effective_group squid
#log_icp_queries off
#cachemgr_passwd mypassword all
#forwarded_for off
#buffered_logs on
visible_hostname gw.net


dan saya isi file rc.local :

#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local
/etc/rc.d/init.d/routerrh

lalu isi file routerrh :
echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -d 0.0.0.0/0 -j MASQUERADE -o eth0
iptables -A FORWARD -s 192.168.0.0/0 -j ACCEPT
iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j MASQUERADE
iptables -t nat -A PREROUTING -i eth0 -s ! 192.168.0.200 -p tcp --dport 80 -j DNAT --to 192.168.0.200:3128

nah bagaimana menurut teman-teman ?
kok masih kurang kencang jalan internetnya, client saya memiliki 150 komputer ?

salam.....sys tunggu tanggapannya !!

[dani]

Silahkan saran-saran utk Mas Masterpop3 dicermati.

Sebenarnya ada beberapa lagi yg lebih bersifat ke optimasi kernel Linux dan hardware server Squid itu sendiri, termasuk saat kompilasi Squid-nya sendiri (bawaan distro biasanya terlalu banyak fitur yg tidak diperlukan shg kecenderungannya jalannya lebih berat dibanding yg 'ramping dan gesit' hasil kompilasi sendiri). Contohnya dg memberi kernel jumlah file descriptor yg lebih banyak dan membuka port keluar yg lebih banyak pula (masuk tetap 1 port, 3128 atau 8080). Hardisk dipartisi sedemikian rupa shg gerakan spindle-nya efektif (tidak meloncat-loncat) dan kalau bisa yg berkecepatan tinggi (alangkah sedapnya jika bisa punya yg 15K rpm UWSCSI3 dg buffer 8MB-an ya? yg 9GB-an 4 biji ya mau kok, ha ha ha), dll.

Idealnya jika Squid akan 'bekerja sangat keras' mestinya ya Squid-nya ada di mesin itu sendirian terdedikasi. Di institusi saya ada 3 Squid dan ke-3-nya bekerja berdampingan dan saling 'sharing' object yg dimiliki karena kita punya 3 link internet yg berbeda. Per mesin minimal hardisk-nya 2 (sayangnya tidak bisa punya 4 krn keterbatasan dana spt biasa, he he he, ). Pada awalnya kita langganan hanya 32kbps utk 50 stasiun, jadi dari sinilah pengalaman 'memeras' Squid muncul shg menghasilkan konfigurasi yg tercepat dg h/w dan s/w yg tersedia. Tapi sekarang sudah langganan hampir 20 kalinya tetapi ya kebutuhannya dirasa kurang terus, biasa kan seiring dg jumlah pemakai yg meningkat terus.

Utk info lebih lanjut di internet beragam kok metodenya, semoga bermanfaat.

[masterpop3]

sekarang squid ku mencatat Total HIT 25% dari total request (padahal cache baru terisi 2G) dengan konfigurasi baru yg diberikan mas dani. . sebelumnya hanya mencatat 15% saja dg cache yg full.

Code: Select all

ICP : 0 Queries, 0 Hits (  0%)
HTTP: 392675 Requests, 98039 Hits ( 25%)

hebat euy mas dani.

tapi mas dani ..ada satu masalah keluar nih.
ada beberapa klient yg mengeluh tentang account mereka di website mereka yg ngak bisa update. jadi misalnya si A login ke website mereka dengan account A setelah itu logout...selanjutnya ada si B yg login di komputer yg sama dengan Account B , tapi yg keluar account si A tadi. kenapa bisa begitu ? sebelumnya tidak ada masalah seperti ini,
catatan : website mereka menggunakan program javascript.

jadi aku coba tambahkan rule baru di squid.conf :

acl direct-domain dstdomain domain-orang.biz

always_direct allow direct-domain
always_direct deny all

hasilnya tidak ada efeknya...kenapa yach ?

kadang2 masalah seperti ini tidak hanya di itu saja, website lain seperti hotmail.com juga bisa kena. waduh repot nih.

bingung nih...

mohon petunjuk lebih lanjut.

Masalah Performance squid memang hebat karena aku sudah lihat sendiri cepat sekali daripada yg dulu.

[masterpop3]

TOTALS
ICP : 0 Queries, 0 Hits ( 0%)
HTTP: 413834 Requests, 195210 Hits ( 47%)

naik sekarang ke 47% dari 25% ,...total object 4G.

ini terjadi di proxy utama saya yg melayani sekitar 150 user (komputernya sih ngak tahu berapa banyak, berarti minimum 150 PC).

tapi masalah yg di atas masih tetep ngak bisa di atasi, gimana yah ? ada saran ??