Squid Performance

[masterpop3]

saya masih belum puas dengan konfigurasi squid ku <2.5Stable5>, Performance nya saya lihat masih belom maksimal ampe mentox, melalui forum ini aku mo nanya apakah temen2 punya site refensi/tutorial tentang seluk beluk performance squid.??

[ronny]

Taunya belom mentok dari mana?

Profile, don't speculate.

[masterpop3]

ini loh mas ronny, mohon di evaluasi konfigurasi squid saya<2.5Stable5> di mesin server dg spec :

- MB Intel Server HG2
- Proc 2.8G Xeon 1Mb
- RAM 1 Gb
- HDD SCSI 40G + SATA 80G

dg konfigurasi squid :

http_port 3128
icp_port 3130
udp_incoming_address 0.0.0.0
udp_outgoing_address 255.255.255.255
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_mem 512 MB
cache_swap_low 80
cache_swap_high 100
maximum_object_size 1024 KB
minimum_object_size 4 KB
ipcache_size 1024
ipcache_low 90
ipcache_high 95
cache_replacement_policy heap GDSF
memory_replacement_policy heap GDSF
cache_dir diskd /cachez/cache-1 4000 10 256 Q1=64 Q2=72
cache_dir diskd /cachez/cache-2 4000 10 256 Q1=64 Q2=72
cache_dir diskd /cachez/cache-3 4000 10 256 Q1=64 Q2=72
cache_dir diskd /cachez/cache-4 4000 10 256 Q1=64 Q2=72
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log none
emulate_httpd_log on
pid_filename /var/run/squid.pid
mime_table /etc/squid/mime.conf
log_fqdn off
client_netmask 255.255.255.255
ftp_user squid@domainku.web.id
ftp_list_width 32
ftp_passive on
ftp_sanitycheck on
hosts_file /etc/hosts
diskd_program /usr/lib/squid/diskd
unlinkd_program /usr/lib/squid/unlinkd
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
quick_abort_min 12 KB
quick_abort_max 12 KB
quick_abort_pct 95
negative_ttl 1 minutes
half_closed_clients off
read_timeout 5 minutes
request_timeout 1 minutes
client_lifetime 360 minutes
shutdown_lifetime 2 seconds
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl lan src 202.202.202.0/255.255.255.0
acl to_localhost dst 127.0.0.0/8
acl PURGE method PURGE
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl buggy_server url_regex ^http://www.prestasi.biz
broken_posts allow buggy_server
http_access allow manager lan
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow PURGE localhost
http_access deny PURGE
http_access allow localhost
http_access allow lan
http_access deny all
http_reply_access allow all
icp_access allow lan
icp_access deny all
miss_access allow all
cache_mgr proxyadmin@domainku.web.id
cache_effective_user squid
cache_effective_group squid
visible_hostname proxy04.domainku.web.id
unique_hostname erebus.domainku.web.id
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
logfile_rotate 1
forwarded_for off
log_icp_queries off
buffered_logs on
client_db off
strip_query_terms off
icon_directory /usr/share/squid/icons
error_directory /usr/share/squid/errors/German
snmp_port 3401
snmp_access allow localhost
snmp_access allow lan
snmp_access deny all
snmp_incoming_address 0.0.0.0
snmp_outgoing_address 255.255.255.255
wccp_router 0.0.0.0
offline_mode off
coredump_dir /var/spool/squid
ie_refresh on

dan Info dari Cachemgr.cgi <General Runtime Information> :

Cache information for squid:
Request Hit Ratios: 5min: 6.9%, 60min: 12.9%
Byte Hit Ratios: 5min: 15.8%, 60min: 20.3%
Request Memory Hit Ratios: 5min: 0.0%, 60min: 0.6%
Request Disk Hit Ratios: 5min: 77.0%, 60min: 67.8%
Storage Swap size: 13107152 KB
Storage Mem size: 14264 KB
Mean Object Size: 15.23 KB
Requests given to unlinkd: 0

Kira-kira Konfigurasi squid ku udah mentox belom yach..<aku masih belom puas !>. Terus kenapa yach di /var/log/squid/cache.log banyak sekali log ini :
2004/09/24 21:48:12| clientReadRequest: FD 66 Invalid Request
2004/09/24 21:51:36| clientReadRequest: FD 123 Invalid Request
2004/09/24 21:53:12| clientReadRequest: FD 242 Invalid Request
2004/09/24 21:56:36| clientReadRequest: FD 34 Invalid Request
2004/09/24 21:58:12| clientReadRequest: FD 144 Invalid Request
2004/09/24 22:01:12| clientReadRequest: FD 146 Invalid Request
2004/09/24 22:03:12| clientReadRequest: FD 56 Invalid Request
2004/09/24 22:06:11| clientReadRequest: FD 161 Invalid Request
2004/09/24 22:08:12| clientReadRequest: FD 82 Invalid Request

Apakah artinya 'ADA REQUEST DARI CLIENT YG DIBLOKIR ATAU ADA REQUEST YG TIDAK BISA DILAYANI'.

Mohon penjelesan yg membuat dunia ini lebih indah lagi. Terimakasih....

[walecha]

sebelumnya mungkin pertanyaan mas ronny dijawab dulu deh

[masterpop3]

ehh.. gimana seh mas walecha ini, aku kan udah nanya ama mas ronny.
Menurutku Konfigurasi squid di mesin server <sbg proxy only> SUDAH MENTOXX. Dengan konfigurasi + logging di atas apakah squid ku memang sudah tidak bisa di tunning lagi, jadi pengennya kalau seperti motor, supaya kuenceng harus diganti apanya? harus di tune up apanya? aku sepertinya sudah kehabisan resource untuk SQUID PERFORMANCE.

Aku pernah coba beberapa konfigurasi yg lain,eh malah turun performa nya itu bisa dilihat dari logging cachemgr.cgi <hit> , finally konfigurasi ini yg paling bagus dan kuenceng, tapi ketika aku sudah memastikan ini kayaknya konfigurasi squid sekarang adalah yg mutakhir, koq muncul log yg aneh di /var/log/squid/cache.log <lihat di atas loggingnya>.

Mohon pencerahannya dari mas ronny <evaluasi deh> atau dari rekan2 yg lain yang punya jurus Pamungkas terakhir untuk membuat Squid lari terbirit-birit .

OK..sebelumnya terimakasih.

[walecha]

klo menurut bang masterpop3 maksud dari hit ratio itu apa?
jumlah hit per waktu untuk tiap parameter itu maksudnya apa seh? bukannya hit ke proxy server itu dilakukan oleh client yg menggunakan proxy? kok berdasarkan itu bisa menyimpulkan performance squid?

saya sebagai orang awam ttg squid, taunya sih performance proxy itu diliat dari sisi client. seberapa cepat respon proxy untuk tiap hit yg masuk hingga data yg diminta client sampe ke client. untuk hal ini proxy kan cuma melakukan stream data dari cache-nya klo data itu ada. klo gak ada ya nyari di proxy atasnya. nah seberapa cepat caching yg dilakukan proxy utk "mengkopi" data dari proxy ato website yg dituju itu baru namanya performance menurut saya. masalah ini sangat tergantung oleh kecepatan koneksi, kestabilan jaringan, masalah flooding, daya dukung jaringan, terutama masalah concurrent connection macam penggunaan downloader engine, IRC, direct FTP, file sharing, dll, kekuatan mesin cache proxy (resource system).

misalnya saya menggunakan program downloader dengan tambahan tiga tanda tanya di belakang nama file yg saya donlot. saya dalam hal ini memaksa proxy untuk tidak menggunakan cache-nya, meskipun koneksi dilakukan via proxy. saya memaksa proxy untuk selalu meminta data ke website yg saya tuju. karena proxy tidak melakukan caching maka swap proxy tidak terpakai (mungkin dipakai utk request2 lain), untuk ini proxy lebih banyak melakukan caching di memory (RAM), makanya proxy butuh resource besar.

ini menurut pandangan saya sebagai pengguna proxy lho. makanya saya tanya optimasi itu diliat dari apanya?

klo soal log2 saya gak gitu ngerti. menurut saya sih itu cuman log koneksi yg di-reject sama proxy kan pake ACL .

[masterpop3]

Keberhasilan squid dalam melaksanakan tugasnya dilihat dari Ratio HIT nya (Request HIT & Byte HIT, Request Memory Hit Ratios, Request Disk Hit Ratios), ini hasil data statistik <meskipun bukan kita yang ngitung> dari penggunaan Cache Squid oleh Ratusan Client yg terkoneksi ke Server Proxy.

Kalau Mas Walecha bilang :

saya sebagai orang awam ttg squid, taunya sih performance proxy itu diliat dari sisi client. seberapa cepat respon proxy untuk tiap hit yg masuk hingga data yg diminta client sampe ke client.

Kalau dari sisi klient ngitung hitnya dengan apa? atau ngukur kecepatan object <dari cache> mengalir dari server ke client pake apa? Soalnya aku masih belum tahu kalau pengukurannya dari sisi klient. Mending kalau klient nya cuman puluhan, kalau sudah menginjak ratusan komputer, masa sih ngecek satu-satu, atau mo mengecek dengan mengambil sampling, tentu butuh waktu dan malah merepotkan.

OK..Mas walecha yg penting kita sudah berusaha semaksimal mungkin, yg penting JANGAN PERNAH PUAS dengan apa yg pernah kita lakukan.

[walecha]

saya sih biasa ngecek pake firefox. dia punya bw tester. maklum kan orang awam jadi taunya cuman ngecek bw dari kompie sendiri . btw mas masterpop3 bloom memberikan penalaran mas sendiri mengenai hasil log squid. kira-kira gimana menurut mas sendiri .

yg penting JANGAN PERNAH PUAS dengan apa yg pernah kita lakukan.

waaaah .

[masterpop3]

Kayaknya sih sekarang udah cukup high performance nih kerjanya setelah aku tambahkan beberapa setting di squid.conf nya, ini yg aku lakukan :

1. Aku lakukan peering <sibling> ke ircache.net
2. Aku rubah setting :
yg semula :
cache_dir diskd /cachez/cache-1 4000 10 256 Q1=64 Q2=72
cache_dir diskd /cachez/cache-2 4000 10 256 Q1=64 Q2=72
cache_dir diskd /cachez/cache-3 4000 10 256 Q1=64 Q2=72
cache_dir diskd /cachez/cache-4 4000 10 256 Q1=64 Q2=72

menjadi :
cache_dir diskd /cachez/cache-1 4000 10 256 Q1=72 Q2=64
cache_dir diskd /cachez/cache-2 4000 10 256 Q1=72 Q2=64
cache_dir diskd /cachez/cache-3 4000 10 256 Q1=72 Q2=64
cache_dir diskd /cachez/cache-4 4000 10 256 Q1=72 Q2=64

artinya jika Q1 < Q2 = memilih good response time and bad hit ratio,
dan jika Q1 > Q2 = memilih good hit ratio and bad response time.

mau liat logging di cachemgr.cgi, nih aku tunjukin yach..
Cache information for squid:
Request Hit Ratios:5min: 13.0%, 60min: 20.4%
Byte Hit Ratios:5min: 21.2%, 60min: 30.6%
Request Memory Hit Ratios:5min: 0.5%, 60min: 1.8%
Request Disk Hit Ratios:5min: 81.7%, 60min: 78.1%
Storage Swap size:13908316 KB
Storage Mem size:44644 KB
Mean Object Size:15.55 KB
Requests given to unlinkd:0

Itu sudah cukup bagus, untuk klient yg super banyak <250 kompi> access barengan.

Tapi yg kita ngak ngerti logging di /var/log/squid/cache.log masih seperti dulu tetep keluar.
2004/09/26 13:27:23| clientReadRequest: FD 27 Invalid Request
2004/09/26 13:32:23| clientReadRequest: FD 67 Invalid Request
2004/09/26 13:37:23| clientReadRequest: FD 68 Invalid Request
2004/09/26 13:42:23| clientReadRequest: FD 116 Invalid Request
2004/09/26 13:47:23| clientReadRequest: FD 47 Invalid Request

itu mungkin ada client yg meminta object ke proxy, dan object itu sudah terhapus oleh rule unlinkd karena sudah basi. jadi keluar logg spt itu.
Mas walecha bantuin donk...aku ngak mau berkata mungkin..mungkin.. yg pasti donk ah.. bantuin aku yach..

soalnya aku udah ubek2 di FAQnya squid aku koq ngak nemuin error seperti itu, dan kayaknya itu bukan error mungkin hanya notice aja...<JANGAN BERKATA MUNGKIN LAGI AAHH, asa teu PD euy>

[walecha]

ntar deh saya mau meguru dulu kekekeke
dah lama gak pegang squid lagi soalnya, ilmu rada turun nih (baca lupa).

JANGAN BERKATA MUNGKIN LAGI AAHH, asa teu PD euy

ini apaan artinya gak ngerti gw

[masterpop3]

ntar deh saya mau meguru dulu kekekeke

Eh..ngomong2 berguru ke siapa? bilangin juga masterpop3 mo bersedia jadi murid , SIAP MENERIMA PETUNJUK !

[willy]

ke Walecha

[walecha]

anu ke suhu admin proxy univ brawijaya kekekeke
skarang dah jadi dosen di fak gw soalnya kekekeke

[masterpop3]

gimana mas walecha udah ada titik terang belom ? aku masih penasaran nih..
Udah ditanyain belom ke suhunya mas walecha ?? apakatanya, jadi penasaran lagi...

[moon]

alo , saya anak baru
untuk permasalahan masterpop3 mungkin ini dapat membantu http://www.squid-cache.org/mail-archive ... /0196.html

semoga bisa membantu

[/quote]