การประยุกต์ใช้งาน Q-Learning เพื่อการจัดสรรกำลังที่เหมาะสมในระบบโนมาที่มีผู้ใช้ 2 ราย On Applying Q-Learning to Optimize Power Allocation in 2-users NOMA System

Abstract

บทความนี้พิจารณาการเข้าถึงหลายส่วนแบบไม่ตั้งฉาก (Non-Orthogonal Multiple Access: NOMA) หรือ โนมา ซึ่งเป็นวิธีการถึงช่องสัญญาณของผู้ใช้ในระบบสื่อสารไร้สายยุคที่ 5 และหลังจากนั้นโดยวิธี Successive Interference Cancellation (SIC) ถูกนำมาประยุกต์ใช้เพื่อตรวจจับข้อมูลของผู้ใช้แต่ละรายในโดเมนกำลังและการจัดสรรกำลังส่งมีผลกระทบต่อสมรรถนะของระบบ บทความนี้นำเสนอการประยุกต์ใช้วิธี Q-Learning ซึ่งเป็นวิธีหนึ่งของการเรียนรู้ของเครื่องเพื่อแก้ปัญหาการจัดสรรกำลังที่เหมาะสมในระบบโนมาที่มีผู้ใช้งาน 2 รายโดยมีวัตถุประสงค์เพื่อให้ได้อัตราบิตต่ำสุดสูงที่สุดโดยนำเสนอการแปลงส่วนต่าง ๆ ของระบบโนมาไปเป็นองค์ประกอบของวิธี Q-Learning ได้แก่ เอเจนท์ แอคชัน สเตจ รางวัล และสภาพแวดล้อมซึ่งมีความสำคัญต่อกระบวนการเรียนรู้ ผลการจำลองระบบแสดงให้เห็นการจัดสรรกำลังด้วยวิธี Q-Learning มีการเรียนรู้เพื่อเพิ่มรางวัลในแต่ละเสตจ ในส่วนของสมรรถนะของระบบนั้นวิธี Q-Learning ให้อัตราบิตของผู้ใช้ทั้งสองรายใกล้เคียงกันและยังใช้ต่ำสุดที่สูงกว่าวิธีการจัดสรรกำลังที่มีอยู่ก่อนหน้าและเครื่องมือในไลบรารี่ของภาษา Python    

This article considers a power domain non-orthogonal multiple access (NOMA) system which is a multiple access technique considered to be used in the 5G technology and beyond. Successive interference cancellation (SIC) is applied to decode user’s signals and power allocation significantly affects the system performance. In this article, we propose to apply Q-learning which is one of the machine learning methods to solve a transmit power allocation problem in a 2-users NOMA system where the objective function is to maximize the minimum transmission rate. We show how to transform NOMA system into O-Learning components namely agent, action, stage, reward, and environment which are very important for the learning process. Numerical results show that the Q-learning offers higher reward in each step. For the system performance, the bit rates of two users in the system are very close to each other when the Q-learning is applied. Furthermore, the Q-learning offers a higher minimum rate than that performed by dynamic power allocation methods in the literature and optimizers in Python’s library.

Keywords: โนมา; การจัดสรรกำลัง; Q-Learning; NOMA; power allocation; Q-Learning