怎样做影视网站不侵权做软装搭配的网站

怎样做影视网站不侵权,做软装搭配的网站,wordpress 前台文件上传,网站建设直通车关键词设置大家读完觉得有帮助记得关注和点赞#xff01;#xff01;#xff01;摘要无线通信系统的开放和广播特性#xff0c;在实现泛在连接的同时#xff0c;也使其容易受到干扰攻击#xff0c;这可能严重损害网络性能或破坏服务可用性。无人机#xff08;UAV#xff09;的激增…大家读完觉得有帮助记得关注和点赞摘要无线通信系统的开放和广播特性在实现泛在连接的同时也使其容易受到干扰攻击这可能严重损害网络性能或破坏服务可用性。无人机UAV的激增为这一威胁增加了新的维度因为无人机可以作为移动的智能干扰器利用视距LoS信道和自适应策略发起复杂的攻击。本文探讨了在能量受限的环境反向散射通信系统中应对智能无人机干扰的关键挑战。传统的抗干扰技术通常难以应对这种动态威胁或者不适用于低功耗反向散射设备。因此我们提出了一种基于深度强化学习DRL的新型抗干扰框架使发送方不仅能够防御还能策略性地利用无人机的干扰信号。具体来说我们的方法允许发送方学习一种最优策略以在主动传输、从干扰信号中采集能量以及利用干扰器自身的发射进行反向散射信息传输之间进行切换。然后我们将该问题建模为马尔可夫决策过程MDP并采用深度Q网络DQN来推导最优操作策略。仿真结果表明我们基于DQN的方法在收敛速度上显著优于传统的Q学习并且在平均吞吐量、丢包率和数据包交付率方面超过了贪婪的抗干扰策略。I. 引言无线通信技术已变得不可或缺支撑着渗透到现代生活各个方面的广泛应用。然而无线信道的广播特性使其天生容易受到恶意干扰尤其是干扰攻击。干扰器可以故意发射破坏性信号以降低合法接收器处的信号与干扰加噪声比SINR从而中断或完全阻断有效通信链路[1], [2]。与无意干扰不同干扰通常具有高功率和持续性的特点对网络可靠性和可用性构成重大威胁。最近无人机的出现和广泛采用为无线网络带来了新的机遇和挑战。虽然无人机可以增强网络容量并提供快速部署解决方案[3]特别是在受灾或难以进入的区域但其敏捷性和建立强视距LoS链路的能力也使它们成为移动干扰攻击的有效平台[4]。基于无人机的干扰器可以动态调整其位置和策略以最大化破坏效果比地面静态干扰器构成更严重的威胁[5]。因此应对智能无人机干扰这一不断演变的威胁对于确保无线通信的服务质量QoS和安全性至关重要。传统的抗干扰技术如功率控制、跳频扩频FHSS[6]和速率自适应已被广泛研究。然而这些方法通常假设干扰行为是静态或可预测的并且可能难以应对能够学习并适应其策略的智能干扰器[7]。此外对于像环境反向散射通信AmBC[8]这样的新兴低功耗通信范式能量效率至关重要而传统的主动抗干扰响应可能功耗过高。AmBC允许设备通过反射现有的环境射频信号例如电视、Wi-Fi甚至干扰信号进行通信提供了一种超低功耗的通信替代方案。这通常与同时无线信息和功率传输SWIPT原理相结合设备可以从用于通信的相同射频信号中采集能量[9]。虽然一些先前的工作已经探索了在传统无线网络中使用强化学习RL进行抗干扰[10]但智能无人机干扰器策略性地改变其功率和存在以及一个能够机会性地利用干扰信号本身进行能量采集和反向散射的系统这一结合提出了独特的挑战和机遇。许多现有的基于DRL的抗干扰解决方案侧重于主动传输系统中的信道切换或功率自适应。例如Gao等人[4]提出了一种用于抗无人机干扰的DQN方法通过优化传输参数。Van Huynh等人[11]探索了用于AmBC系统的DRL以击败干扰器但针对变化的无人机干扰信号强度进行自适应能量采集和反向散射决策的动态利用需要进一步研究。在面对智能无人机干扰器时主动传输、为未来使用采集能量或立即利用当前干扰信号反向散射数据之间的策略性相互作用构成了我们研究的核心。本文提出了一种针对智能无人机干扰攻击下AmBC系统的新型抗干扰框架利用了深度强化学习DRL[12]。我们的主要贡献是我们设计了一个系统模型其中一个配备有AmBC和能量采集能力的发送方面对一个智能无人机干扰器。发送方可以选择i在信道清晰时使用存储的能量主动传输数据包ii从无人机的干扰信号中采集能量或iii利用正在进行的干扰信号反向散射其数据。这种多方面的响应能力对于适应动态干扰环境至关重要。我们将抗干扰决策过程建模为一个马尔可夫决策过程MDP。状态空间捕获干扰状态、发送方数据缓冲区占用率及其存储的能量水平。动作空间包括上述操作模式以及用于主动传输的速率自适应。我们开发了一种基于DRL的解决方案使用深度Q网络DQN来学习最大化系统长期平均吞吐量的最优策略。DQN使发送方能够在没有明确知识的情况下隐式学习无人机干扰器的策略和环境动态。我们进行了广泛的仿真来评估我们提出的基于DQN的方法的性能。我们展示了其与传统Q学习相比的优越收敛性并在各种干扰场景下与固定的贪婪抗干扰策略相比证明了其在吞吐量、丢包和数据包交付率方面的显著性能提升。本文的其余部分组织如下。第二部分详细介绍了系统模型并阐述了问题。第三部分介绍了提出的基于DRL的抗干扰解决方案。第四部分讨论了性能评估和仿真结果。最后第五部分总结了本文。II. 系统模型与问题阐述为了有效应对智能无人机UAV干扰的复杂挑战我们首先建立一个全面的系统模型其概念图如图1所示。该模型为我们后续的问题阐述提供了分析基础。II-A. 系统模型我们考虑一个由三个主要实体组成的通信系统一个单一发送方Tx、其目标接收方Rx和一个恶意无人机干扰器J。该系统的核心是发送方被设计为一个资源受限但功能多样的设备专门设计用于在恶劣的电磁环境中保持功能。这种多功能性对其生存和性能至关重要。发送方配备了一个有限大小的数据缓冲区记为 Dmax这对于管理数据包到达的随机性假设为平均速率为 λ 的泊松过程至关重要。此外它拥有一个最大容量为 Emax 的能量存储单元代表其有限的功率储备。关键的是发送方的韧性源于两个先进的操作模块一个能量采集EH模块用于从环境射频RF信号中获取能量以及一个环境反向散射通信AmBC电路[8]。AmBC 能力尤其值得注意因为它允许发送方以超低功耗进行通信其方式是通过调制和反射入射的RF信号包括干扰器自身的破坏性信号到接收方。这种丰富的多模态功能实现了一套多样化的战略响应。当面对动态的干扰威胁时发送方可以从几个不同的选择中动态选择其操作模式执行传统的主动传输AT消耗其存储的能量进入EH模式通过利用干扰器的信号补充其能量储备利用AmBC进行高能效的数据传输应用速率自适应RA以增强其主动传输的鲁棒性或保持空闲以节省其有限资源。在这些模式之间智能切换的能力构成了我们提出的防御机制的核心前提。图1​ 系统模型展示了多模态发送方、接收方和智能无人机干扰器之间的相互作用。II-B. 信道模型在定义了我们防御性发送方的能力之后我们现在来刻画它旨在克服的对手智能无人机干扰器。干扰器的主要目标是通过最小化接收器处的信号与干扰加噪声比SINR来破坏Tx-Rx通信链路。SINR是通信质量的基本度量记为 θ其表达式为其中 PR 代表从发送方收到的信号功率PJ,eff 是影响接收器的有效干扰功率σ² 表示加性高斯白噪声AWGN的功率。干扰器的智能体现在其动态调整其物理位置和传输功率 PJ 以最大化其破坏性影响的能力。其高机动性和建立强视距LoS链路的潜力使其成为特别强大的威胁导致有效干扰功率显著波动并创建一个高度非平稳的信道环境。无人机和发送方之间的空对地ATG信道同时受到大尺度衰落和小尺度衰落的影响。Al-Hourani等人描述基于无人机和发送方之间距离 d 的路径损耗PL可以建模为[13]其中 α 是路径损耗指数βLoS, βNLoS 分别是LoS和NLoS链路的额外衰减因子。存在LoS连接的概率 PLoS 取决于环境和节点之间的仰角 θi以度为单位由下式给出[13]其中 Φ 和 Ψ 是依赖于环境的常数。为了捕捉这一点我们将波动的功率建模为从集合 J {P0J, P1J, …, PNJ} 中取离散水平其中 P0J 0 W 表示不存在有效干扰。我们模型的一个关键方面反映了现实世界的条件是发送方和干扰器之间的信息不对称。发送方在部分可观测性下运行它可以可靠地检测到干扰是否存在j1 或 j0但它无法确定干扰信号的具体功率水平。这迫使发送方在显著的不确定性下做出决策使得传统的确定性抗干扰策略无效并需要一种鲁棒的、基于学习的方法。因此发送方和干扰器之间的相互作用受通信信道感知状态的支配。当信道清晰时j0发送方有机会主动传输最多 d^t 个数据包前提是其缓冲区中有足够的数据且存储单元中有足够的能量。相反在干扰状态期间j1发送方面临一个深刻的战略困境。它必须智能地选择是尝试通过速率自适应进行鲁棒的主动传输进入EH模式将敌对干扰信号转化为有用的能量还是使用AmBC模式被动传输数据。EH和AmBC动作的有效性都直接取决于未知的干扰功率水平 PnJ ∈ J这进一步复杂化了决策过程。II-C. MDP问题阐述为了开发一种能够在这种复杂和不确定条件下导航的最优防御策略我们正式将发送方的序贯决策问题构建为一个马尔可夫决策过程MDP。MDP提供了一个标准而强大的数学框架用于通过交互进行目标导向的学习建模[12]并由一个包含状态空间、动作空间、奖励函数和总体目标的元组定义。这些组件的精确定义对于应用学习算法至关重要。在任何给定时隙 t 的系统状态记为 st必须封装做出最优决策所需的所有信息。因此状态表示 st (jt, dt, et) 被精心选择为既紧凑又足够信息丰富。这里jt ∈ {0,1} 代表二元干扰状态它决定了可用的动作dt ∈ {0,1,…,Dmax} 表示数据缓冲区中当前的数据包数量反映了通信的紧迫性et ∈ {0,1,…,Emax} 指定了当前的能量水平代表了发送方执行未来动作的能力。形式上状态空间 是为了响应观察到的状态 st发送方必须从丰富的动作空间 中选择一个动作 at这反映了其多功能硬件能力空闲Idle、主动传输AT、能量采集EH、环境反向散射AmBC以及 M 个不同级别的AT-RA速率自适应。每个动作代表一种战略权衡例如AT提供高吞吐量但耗能高AmBC能效高但依赖于机会而EH是对未来传输能力的投资。动作空间定义如下at ∈ { 空闲(Idle)⏟1, 主动传输(AT)⏟2, 能量采集(EH)⏟3, 环境反向散射(AmBC)⏟4, AT-RA1, …,动作的即时后果由奖励函数 r(st, at) 量化定义为成功传递的数据包数量。例如在状态 s(j,d,e) 下采取动作 a 的奖励可以表示为其中 dt, dnJ, 和 dmr 是在各自情况下成功发送的数据包数。最终目标是找到一个最优策略 π∗: → 以最大化累积的长期平均系统吞吐量记为 R(π)。这个目标捕捉了对持续性能和韧性的需求正式表达为鉴于状态空间是有限的并且底层转移概率形成一个不可约的马尔可夫链这个长期平均奖励是有明确定义的并且独立于系统的起始状态确保了一个一致且有意义的优化目标。III. 提出的基于DRL的抗干扰解决方案在将问题表述为MDP之后本节详细介绍了我们提出的智能学习解决方案。为了正确评估其有效性我们首先介绍一个传统的启发式方法作为性能基准。III-A. 基准一种启发式贪婪策略作为我们基于学习方法的比较点我们首先定义一种启发式的、基于规则的贪婪策略。该策略设计为直观且易于实现反映了解决此类问题的常见方法而无需机器学习的开销。该策略根据感知到的信道条件进行分叉处理。首先在没有干扰的情况下j0发送方采用一种直接的激进策略只要其能量和缓冲区状态允许它将始终尝试执行主动传输以发送尽可能多的数据包。其次当检测到干扰时j1发送方遵循一个固定的、交替循环的机会主义动作。它将在预定义的时间内执行能量采集以从敌对信号中收集能量然后在循环的剩余时间切换到环境反向散射以传输数据。虽然简单但这种贪婪策略存在显著缺陷限制了其在动态环境中的有效性。其策略是静态且基于规则的使其无法适应智能干扰器不断变化的战术。例如其性能对手动调整的超参数高度敏感例如采集周期Tharvest这可能对一种干扰模式是最优的但对另一种则非常次优。此外其确定性使其可预测因此容易被能够学习其响应模式的复杂对手利用。这些固有的局限性促使我们提出一种更智能、自适应的解决方案。III-B. 智能解决方案深度Q网络为了克服贪婪基准方法固有的僵化和次优性我们提出了一种基于深度强化学习DRL的智能解决方案该范式在解决不确定性下的复杂决策问题方面已展现出显著成功[10]。DRL非常适合此问题因为它允许智能体在本例中为发送方通过直接与其环境进行试错交互来学习有效的策略从而无需明确的环境模型。具体来说我们采用深度Q网络DQN算法这是一种开创性的基于价值的DRL方法以其解决高维状态空间问题的能力而闻名而像Q学习这样的传统表格方法会因维度灾难而失效[14]。DQN算法不是维护一个详尽且耗内存的状态-动作值查找表而是利用一个由权重集 θ 参数化的深度神经网络作为一个强大的非线性函数逼近器来估计动作-价值函数 Q(s, a; θ)。为了确保涉及训练深度神经网络可能使用相关数据的学习过程既稳定又高效DQN框架集成了两个架构基石经验回放和目标网络。第一种技术经验回放通过存储智能体的经验表示为转移 (st, at, rt, st1)到一个大的但有限的经验回放缓冲区 中来解决样本相关性问题。在训练阶段算法不是按顺序从发生的经验中学习相反它从该缓冲区中随机采样小批量的转移。这种实践有效地打破了数据流中的时间相关性这对于用于训练神经网络的基于梯度的优化的稳定性至关重要[15]。下一种技术与经验回放相辅相成是使用一个单独的目标网络来解决“移动目标”问题。一个目标网络 Q^(s, a; θ′)它是主Q网络 Q(s, a; θ) 的周期性克隆用于生成学习更新的目标值。其权重 θ′ 在固定次数的迭代中保持冻结然后才用主网络的权重更新。这为贝尔曼更新提供了一个一致且稳定的目标 yi防止了当网络试图追逐自身快速变化的预测时可能发生的振荡或发散行为。这种技术结合像双Q学习这样减少过高估计偏差的创新[16]增强了学习稳定性。进一步的改进如竞争网络架构[17]也可以被整合进来以分离状态价值和动作优势的估计。对于来自小批量的给定转移 i其目标值计算如下其中 γ 是折扣因子用于平衡即时奖励与未来奖励的重要性。然后通过最小化其预测的Q值与这些稳定目标值之间的均方误差MSE损失来训练主网络使用像Adam[18]这样的高效优化器学习过程的最后一个关键要素是管理探索-利用的权衡[12]。这个困境是强化学习的基础智能体必须利用它已学会有效的动作但同时也必须探索新的、看似次优的动作以发现可能更好的长期策略。为了解决这个问题我们采用了一种 ϵ-贪婪策略。以一个小概率 ϵ智能体选择一个随机动作从而探索动作空间。否则以概率 1-ϵ它选择当前估计Q值最高的动作从而利用其知识。ϵ 的值通常在训练过程中逐渐衰减退火开始时较高以鼓励广泛探索随着智能体对其学习到的策略越来越有信心而逐渐减小以偏向利用。这些组件——神经网络逼近器、经验回放、目标网络和 ϵ-贪婪探索策略——的协同作用被封装在算法1中概述的基于DQN的综合抗干扰过程中。算法1 基于DQN的抗干扰算法1: 初始化经验回放内存 Q网络 Q 及其权重 θ目标网络 Q^ 及其权重 θ′ ← θ。2: for​ episode 1 到 Tepisodes do3: 初始化状态 s1。4: for​ t 1 到 Tsteps do5: 根据 Q(st, a; θ) 使用 ϵ-贪婪策略选择动作 at。6: 执行 at观察奖励 rt 和下一个状态 st1。7: 将转移 (st, at, rt, st1) 存储到 中。8: if​ 经验回放内存足够满 then9: 从 中随机采样一个小批量。10: 计算小批量的目标值 yj。11: 对损失 L(θ) 执行梯度下降步骤。12: end if13: 定期更新目标网络θ′ ← θ。14: end for15: end forIV. 性能评估在本节中我们评估我们提出的基于DQN的抗干扰方案的性能。我们首先描述仿真设置和参数然后比较DQN与传统Q学习的收敛性最后将DQN与贪婪抗干扰策略进行基准测试。IV-A. 仿真设置系统参数设置如下表I仿真系统参数参数数值系统参数​最大缓冲区大小 (Dmax)10 个数据包最大能量存储容量 (Emax)10 个单位数据包到达率 (λ)3 个数据包/时隙 (泊松分布)无干扰时主动传输数据包数 (d̂t)4 个数据包主动传输能量成本 (et)1 单位/数据包干扰功率水平 (J){0, 5, 10, 15} W默认平均干扰功率 (Pavg)7 W采集的能量 (eJ){0, 1, 2, 3} 个单位可反向散射数据包数 (d̂AmBC){0, 1, 2, 3} 个数据包表II仿真DQN参数DQN参数数值学习率 (α)0.0001折扣因子 (γ)0.9经验回放内存大小10000批大小32目标网络更新频率 (C)5000 步ϵ-贪婪调度起始 1.0终止 0.01衰减率 0.9999IV-B. 收敛性比较DQN vs. Q-learning图2比较了DQN智能体与标准表格Q学习智能体的收敛性。每回合的平均奖励相对于训练迭代次数绘制。DQN智能体比Q学习更快地获得更高且更稳定的奖励。这归因于DQN使用其神经网络在大的状态空间上进行泛化的能力而Q学习必须足够频繁地访问每个状态-动作对这是低效的。图2​ DQN和Q学习的收敛性比较。IV-C. 与贪婪策略的性能比较IV-C1. 平均干扰功率 (Pavg) 的影响图3、4和5显示了系统性能随无人机平均干扰功率变化的情况。随着 Pavg 的增加与贪婪基准相比DQN智能体实现了显著更高的吞吐量和PDR以及更低的丢包率。这凸显了DQN的核心优势它学会了利用干扰信号。随着干扰增强来自EH用于未来AT和AmBC的潜在奖励都会增加。DQN智能体学会了在这些选择之间进行最优权衡有效地将更强的威胁转化为更有价值的资源。贪婪策略锁定在固定的EH/AmBC循环中无法适应因此无法像DQN那样有效地利用。图3​ 平均吞吐量DQN vs. 贪婪vs. Pavg图4​ 平均丢包率DQN vs. 贪婪vs. Pavg图5​ PDRDQN vs. 贪婪vs. PavgIV-C2. 主动传输能力 (d^t) 的影响图6、7和8说明了在固定 Pavg 7W 时不同 d^t清晰信道中AT的最大数据包数下的性能。虽然更高的 d^t 通过在非干扰期间改善性能而使两种策略受益但DQN智能体始终保持着显著的性能差距。这表明DQN学习到的策略是鲁棒且有效的与基线主动传输能力无关因为其优势在于优化复杂干扰期间的行为。图6​ 平均吞吐量DQN vs. 贪婪vs. d^t图7​ 平均丢包率DQN vs. 贪婪vs. d^t图8​ PDRDQN vs. 贪婪vs. d^tIV-C3. 贪婪策略的采集周期 (Tharvest) 的影响图9、10和11显示了在 Pavg 7W 时改变贪婪策略的固定采集周期 Tharvest 的影响。贪婪策略的性能对此超参数高度敏感在达到特定值时光性能最优然后下降。然而DQN智能体即使在贪婪策略的最优设置下也优于它。这一结果有力地说明了基于学习的自适应策略相对于固定的、基于规则的启发式方法的优势后者需要手动调整且无法适应变化的环境统计特性。图9​ 平均吞吐量DQN vs. 贪婪vs. Tharvest图10​ 平均丢包率DQN vs. 贪婪vs. Tharvest图11​ PDRDQN vs. 贪婪vs. TharvestV. 结论本文通过提出一种基于深度Q网络的新型抗干扰策略解决了环境反向散射通信系统中智能无人机干扰的关键挑战。通过将问题建模为MDP我们使发送方能够学习一种复杂的策略自适应地在主动传输、能量采集和环境反向散射之间切换。广泛的仿真结果证实所提出的DQN方法在关键性能指标上显著优于静态贪婪基准。这项工作的主要发现是学习智能体能够将敌对的干扰信号转化为机会性资源从而增强系统韧性和吞吐量的能力。未来的工作可以扩展此框架以探索多智能体DRL场景和更复杂的干扰策略可能结合物理层安全指标。