基于地图重构的蜂窝连接无人机在线路径规划方法*

郝晴，黄浩，赵海涛，谈宇浩，朱春

（南京邮电大学通信与信息工程学院，江苏 南京 210003）

0 引言

无人机（UAV,Unmanned Aerial Vehicle）由于具有高度的灵活性，在货物运输、空中视频流、虚拟现实以及增强现实等领域得到了广泛的应用。通过将无人机与地面基站（GBS,Ground Base Station）进行深度整合，蜂窝连接无人机能够高效地进行智能网络控制和数据处理。此外，蜂窝连接无人机还能够实现密集的蜂窝通信覆盖，从而满足通信网络服务需求。首先，对于无人机辅助的蜂窝通信系统，无人机可以充当中继进行通信连接。例如，在地面基站出现故障时，可以快速部署无人机为地面用户提供紧急通信支持[1-4]。其次，对于蜂窝网络支持的无人机系统，无人机可以通过与地面基站保持通信来完成飞行任务。考虑到无人机的高机动性和高速飞行，以及无人机与地面用户之间大量的数据传输活动，建立高质量的空地通信连接是至关重要的[5]。

然而，由于无人机通常由电池为其电机以及机载电子设备进行供电，无人机的飞行时间是相当有限的[6]。为了保证无人机与地面基站稳定和持续的通信连接，以及无人机飞行任务的可靠完成，必须研究高能效的蜂窝连接无人机系统。本文考虑无人机在任务执行过程中飞行能耗的最小化问题，其中无人机从随机的初始位置飞行到固定的目的地以完成任务。在保证飞行过程中与蜂窝网络保持可靠通信连接的情况下，通过优化无人机的飞行路径来最小化无人机的能量消耗。

本文提出了一种基于无线电地图重构的路径规划方法，无线电地图通过对小尺度信道衰落及其诱导效应进行平均，从而能够描述目标区域内空间和频率上的频谱活动以及传输信道的信息[7]。本文提出了一种新的无线电地图重构方法，无人机首先对无线环境进行稀疏采样，进而基于采样得到的数据对无线电地图进行重构，即能估计出目标区域中所有位置的中断概率，从而大大降低无人机地图采样的开销。进一步地，本文提出了一种基于深度强化学习（DRL,Deep Reinforcement Learning）的路径规划算法。利用重构得到的无线电地图，无人机在目标区域内多次飞行，在此过程中利用DRL 得到最优的路径规划策略，从而提高无人机任务执行的效率，减少无人机飞行时间和能耗。

1 相关研究工作

为了解决无人机路径规划复杂度高的问题，已有基于深度强化学习和无线电地图的无人机路径规划方法研究。在联合优化无人机的最短飞行路径，并最大化从地面设备收集的数据量问题上，文献[8]提出了一种无人机辅助的物联网架构，并利用基于DRL 的算法得到无人机的最优路径和吞吐量。为了避开障碍物，文献[9]利用深度确定性策略梯度（DDPG,Deep,Deterministic,Policy Gradient）算法，使无人机可以独立进行决策。提出了连通面积和威胁函数的概念，并将其应用于DRL 的奖励中。在基于DRL 的路径规划算法上，文献[10]利用优先级经验回放（PER,Prioritized Experience Replay）加速训练过程。通过关注系统的状态，无人机选择最佳飞行方向，从而最大限度地为用户提供服务，文献[11]通过最大化覆盖用户数并最小化无人机能耗来进行路径规划。在考虑多架无人机沿不同路径在目标空域内飞行并为地面用户设备提供服务的场景下，文献[12]提出了一种基于多智能体DRL 的路径规划算法，对每架无人机的路径进行独立管理，目标是优化每架无人机的地理公平性、用户容量的公平性和用户的总能耗。在最大化地面用户平均传输速率为目标下，文献[13]提出了一种基于多智能体深度Q 学习（MADQL,Multiagent Deep Reinforcement Learning）的算法，从而解决路径规划和信道分配联合优化问题。在基于密集部署的无人机的以内容为中心的无线传输网络场景中，文献[14]通过部署大规模的无人机来将缓存的内容传输到随机分布的地面客户端，并提出了一种路径规划和通信调度联合优化方法，采用动态神经网络学习最优控制策略。针对多无人机通信系统，文献[15]提出了一种新的路径规划和资源分配联合优化方法，该方法采用多智能体DRL 算法进行分布式部署，不需要事先知道网络的动态特性。然而，上述文献并未涉及到利用重构得到的无线电地图进行无人机路径规划，以及在UAV-GBS 通信约束下进行无人机的能效优化。

2 系统模型

系统中包括一个无人机以及多个地面蜂窝基站，无人机在目标空域中飞行，基站则为无人机提供通信服务。假设无人机的飞行区域为立方体，表示为 [x1,x2]×[y1,y2]×[z1,z2]，其中1 和2 分别表示区域的下边界和上边界。无人机的任务是基于无线电地图，从一个随机的初始位置飞行到固定的最终位置。系统模型如图1 所示：

图1 系统模型

无人机在t时刻的位置表示为l(t)，0 ≤t≤T，分别用lI和lF表示无人机的初始位置和最终位置，于是有l(0)=lI，l(t)=lF。假设目标区域内共有C个蜂窝基站，用hc(t),1≤c≤C表示t时刻从基站c到无人机的等效信道增益，因此无人机在t时刻从基站c接收到的信号功率表示为：

其中Pc表示基站c的发射功率，为固定值；βc(·) 和Gc(·)分别表示基站c的大尺度信道增益和天线增益；随机变量(t)表示小尺度衰落。用c′(t) ∈ {1,...,C}表示在t时刻与无人机连接的蜂窝基站。当无人机的接收信干比（SIR,Signal to Interference Ratio）小于阈值γth，即S IR(t)＜γth，则判断无人机与蜂窝网络的连接处于中断状态。无人机在t时刻的接收信干比表示为：

由于小规模衰落的随机性，在t时刻时，对于任意无人机位置和与无人机关联的蜂窝，接收信干比是一个随机数，所以中断概率是l(t)和c′(t)的函数，表示为：

根据无人机的中断概率，可以得到任务执行过程中的中断时间为：

设无人机的时间成本为任务完成时间和中断时间的加权和，即：

其中，α和β分别表示无人机总任务完成时间和总任务完成时间内的中断时间权重。由于要求无人机在飞行过程中与基站保持良好的通信质量，所以将β定义为一个数值较大的常数，从而保证与基站稳定的通信连接。

无人机在任务执行过程中的能量消耗通常包含飞行推进能耗和通信能耗。由于无人机的通信能耗比推进能耗小得多，所以本文只考虑无人机的推进能耗。固定翼无人机的推进能量可以表示为[16]：

其中，c1和c2是与空气密度、无人机重量以及机翼面积等有关的固定参数；v(t)和a(t)分别表示无人机在t时刻的速度和加速度；g=9.8 m/s2为重力加速度。因此，无人机的飞行能耗取决于其速度和加速度。在本文中，假设无人机匀速飞行，加速度为0，因此无人机的推进功率为[17]：

推进能量可以进一步表示为：

在无线电地图重构过程中，无人机首先从实际环境中稀疏采样，并计算采样点中断概率，最后对目

提醒您：因为《基于地图重构的蜂窝连接无人机在线路径规划方法*》一文较长还有下一页，点击下面数字可以进行阅读！

《基于地图重构的蜂窝连接无人机在线路径规划方法*》在线阅读地址：基于地图重构的蜂窝连接无人机在线路径规划方法*