Efficent Congestion Control Scheme in Computer Networks using Fuzzy Reinforcement Learning & Game Theory

Safari Purfatideh, Mohamad Bagher and Jamali, Shahram and Analoei, Morteza (2014) Efficent Congestion Control Scheme in Computer Networks using Fuzzy Reinforcement Learning & Game Theory. Masters thesis, University of Mohaghegh Ardabili.

[img] Text (روشی کارا برای کنترل ازدحام در شبکه‌هاي کامپيوتري با استفاده از یادگیری تقویتی فازی و نظریه بازی)
Mohamad Bagher Safari Purfatideh.pdf

Download (477kB)
Official URL: http://www.uma.ac.ir

Abstract

Congestion control is one of most important topics in computer network. Reinforcement learning that can learn from data plus fuzzy inference system that emulate human way of thinking and learning, are great tools for congestion control problem of computer networks with its complex nature. TCP End-to-end (e2e) congestion control mechanisms such as NewReno have been critical to the robustness and stability of the Internet. All standards of TCP have AIMD as the core mechanism of congestion avoidance. In AIMD-based congestion avoidance state, window size is increased by α per window of packets acknowledged and it is decreased to β of the current value when there is congestion indication (α=1, β=1/2 in Reno). In this thesis we use Fuzzy Q-learning to enhance congestion avoidance in Reno for choosing proper α and β with respect to network states. This adaptive controller overcomes the problem of severe and aggressive network probing of standard TCP like Reno. Other advantages of our method is using commonly network status indicator i.e. delay, bandwidth estimation and rate of timeout and 3dupacks as inputs, so it has better judgment of network status. By considering some constrains on choosing α and β, our congestion control is TCP-friendly. Through Ns2 simulation we show this enhancement take effect on throughput and reduce congestion window fluctuation. Furthermore we analyze selfish end host that use our intelligent congestion control for gaining better performance with the aid of game theory. Game theory is tools for analyzing interaction between decision makers with adverse interest. From the Game Theory’s point of view, the Nash Equilibrium is the solution of the game and we show that if all end host in the network use our proposed algorithm, there will be Nash equilibrium. Again through Ns2 simulation we show in this Nash equilibrium, the performance of the network would be slightly better, compare to situation where all end host use Newreno.

Item Type: Thesis (Masters)
Persian Title: روشی کارا برای کنترل ازدحام در شبکه‌هاي کامپيوتري با استفاده از یادگیری تقویتی فازی و نظریه بازی
Persian Abstract: همواره بحث کنترل ازدحام از اهميت ويژه‌اي در مباحث مربوط به شبکه‌های کامپیوتری برخوردار است و همواره جزء چندين حوزه‌ی مطرح در تحقيقات مربوط به اينترنت بوده ‌است. کنترل ناکارآمد ازدحام در شبکه، به آسانی منجر به از کار افتادن شبکه می¬شود که با توجه به کاربرد حیاتی اینترنت مشکلات بسیاری را سبب خواهد شد. یادگیری تقویتی که از داده‌ها می‌آموزد همراه با سیستم استنتاج فازی که از روش یادگیری و فکر‌کردن انسان‌ها تقلید می‌کند، ابزار‌هایی عالی برای حل مشکل کنترل ازدحام در شبکه‌های کامپیوتری با آن طبیعت پیچیده‌اش هستند. مکانیزم‌های کنترل ازدحام انتها-به-انتهای TCP همانند NewReno باعث پایداری و استحکام اینترنت بوده‌اند. AIMD هسته‌ی مکانیزم اجتناب از ازدحام برای این استاندارد‌های TCP است. در حالت اجتناب از ازدحام برپایه‌ی AIMD، اندازه پنجره به مقدار برای هر پنجره‌ای از بسته‌های تایید شده، افزایش می‌یابد و هنگامی که نشانه‌ای از ازدحام موجود باشد به میزان از مقدار کنونی کاهش می‌یابد (در Reno و ). در این پایان‌نامه ما با استفاده از یادگیری تقویتی فازی، اجتناب از ازدحام در Newreno را در انتخاب مقادیر مناسب و با توجه به وضعیت شبکه بهبود می‌بخشیم. کنترل‌گر پیشنهادی ما مشکل کاوش مهاجمانه و شدید TCP استاندارد که نتیجه‌اش تغییرات شدید در اندازه‌ی پنجره ازدحام که باعث نامناسب شدن این الگوریتم برای کاربرد‌های چندرسانه‌ای می‌شود، را حل می‌کند. برتری دیگر روش پیشنهادی ما استفاده از سه نشانه‌گر وضعیت شبکه یعنی متوسط نرخ تعداد DupAck و اتمام-زمان‌ها، تاخیر و تخمین پهنای باند است. این امر موجب دقیق‌تر شدن ادراک کنترل‌گر ما از وضعیت شبکه خواهد شد. نکته مثبت دیگر کنترل ازدحام ما TCP-پسند بودن آن است. ما برای اطمینان از TCP-پسند بودن قیدی را روی انتخاب مقادیر و قرار داده‌ایم که این قید تضمین می‌کند کنترل ازدحام ما TCP-پسند باشد. برای ارزیابی روش پیشنهادی‌مان، آن را در NS2 پیاده‌سازی نموده و با بکارگیری آن در چند سناریوی شبیه‌سازی، کارایی آن را محک زده‌ایم. سپس برای ارزیابی بیشتر از نظریه بازی استفاده نمودیم. نظریه بازی ابزاری برای آنالیز برهم کنش میان تصمیم‌گیرندگان با علایق متفاوت است. در نظریه بازی تعادل نش را به عنوان جوابی برای مسئله مورد بررسی، می‌شناسند. ما نشان داده‌ایم که اگر همه‌ی میزبان‌های انتهایی الگوریتم کنترل ازدحام پیشنهادی‌ ما را بکار گیرند ما تعادل نش خواهیم داشت، به علاوه با شبیه‌سازی در NS2 نشان داده‌ایم که در این تعادل نش کارایی شبکه کمی بهتر از زمانی است که تمامی میزبان‌های انتهایی از Newreno استفاده کنند.
Supervisor:
SupervisorE-mail
Jamali, ShahramUNSPECIFIED
Advisor:
AdvisorE-mail
Analoei, MortezaUNSPECIFIED
Subjects: Faculty of Engineering > Department of Electrical & Computer Engineering
Divisions > Faculty of Engineering > Department of Electrical & Computer Engineering
Divisions: Subjects > Faculty of Engineering > Department of Electrical & Computer Engineering
Faculty of Engineering > Department of Electrical & Computer Engineering
Date Deposited: 16 Nov 2018 08:29
Last Modified: 16 Nov 2018 08:29
URI: http://repository.uma.ac.ir/id/eprint/2571

Actions (login required)

View Item View Item