一种使用无人机影像计算退化指示草种覆盖度的方法-9479威尼斯

专利名称：一种使用无人机影像计算退化指示草种覆盖度的方法

专利类型：发明专利

专利申请号：cn202311546584.8

专利申请（专利权）人：青海大学
权利人地址：青海省西宁市城北区宁大路251号

专利发明（设计）人：李春梅,李楷,欧为友,李海洋,金云鹏,杨鹏,孔莎莎,方程梧,黄湘杰,韩耀生

专利摘要：本发明涉及一种使用无人机影像计算退化指示草种覆盖度的方法，通过视频处理软件进行截帧与裁剪得到图片数据，通过图形图像注释软件对图片中退化指示草种标注，通过语义分割网络和实例分割网络进行训练，以准确的计算出退化指示草种的覆盖度，进而评定草地退化等级；其中，在语义分割时由于无人机影像高度不一致会导致退化指示草种覆盖比例计算结果与实际不一致，进而导致草地退化评价结论的误差，本发明针对已知拍摄草地图像高度与未知拍摄草地图像高度的情形，提出了实际地面比例agp的具体计算方法，通过计算每一张图像的实际地面比例来将所有图像转换到同一高度进行覆盖度的计算，从而得到接近真实的覆盖度，更加科学的评价草地退化等级。

主权利要求：
1.一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，包括以下步骤：s1、无人机拍摄影像的处理：使用无人机对草原进行拍摄，并得到视频或图片格式的影像；
若该影像为视频格式时，则使用视频处理软件对其进行截帧与裁剪并形成图片序列，以得到图片数据；
若该影像为图片格式时，则形成图片序列，以得到图片数据；
s2、图片数据的标注及训练以形成语义分割的结果：用图形图像注释软件对步骤s1图片数据各图片中的退化指示草种进行标注，输入语义分割网络中并训练，进而得到语义分割的结果；同时进行步骤s3；
s3、判断图片的拍摄高度及图片大小：判断由步骤s1所得到的图片数据中各图片的拍摄高度及图片大小；
s31、若图片大小一致且已知拍摄高度，则计算平均高度和图像高度，再计算各图片的实际地面比例agp；执行步骤s4；
s32、若图片大小不一致且已知拍摄高度，则计算平均高度和图像高度，再计算各图片的实际地面比例agp；执行步骤s5；
s33、若图片大小不一致且未知拍摄高度，则用图形图像注释软件对图片中的退化指示草种进行标注，输入实例分割网络中并训练，进而得到实例分割的结果；执行步骤s6；
s4、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以图片为单位计算退化指示草种的覆盖度；
s5、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以像素为单位计算退化指示草种的覆盖度；
s6、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以像素为单位计算退化指示草种的覆盖度；
s7、由覆盖度判断草地退化等级。
2.根据权利要求1所述的一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，在步骤s31中的计算方法为：以高度为依据进行比例转换，得到实际地面中退化指示草种的平均覆盖度，当考虑已知数据时，使用以下符号进行表示：h为拍摄高度，m为对应高度下的图片数量，p为对应高度下退化指示草种的所有图像的平均覆盖度；
所述平均覆盖度的计算过程为：
采用公式1，计算平均高度l：
l＝(h1 h2 h3 … hn)/n公式1采用公式2，计算每一张原始图片的实际地面比例at：
2
at＝(ht/l)公式2
公式2中：at为高度为ht的原始图片的实际地面比例agp；
采用公式3，计算退化指示草种的平均覆盖度acg：
公式3中：a为实际地面比例agp，m为对应高度的图片数量，p为相应高度的退化指示草种的所有图像的平均覆盖度。
3.根据权利要求1所述的一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，在步骤s32中的计算方法为：统计裁剪后每张图片的像素个数，当考虑已知数据时，使用以下符号进行表示：h为拍摄高度，c为经过处理后该图片的像素个数，d为该图像中退化指示草种的覆盖比例；
所述平均覆盖度的计算过程为：
采用公式2，计算每一张原始图片的实际地面比例at；
采用公式4，计算退化指示草种的平均覆盖度acg：
4.根据权利要求1所述的一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，在步骤s33中的计算方法为：根据每张图片的退化指示草种的平均像素个数pavg之间的比值来判断该图片的实际地面比例agp，再根据求得的实际地面比例agp来计算平均覆盖度，当考虑已知数据时，使用以下符号进行表示：c为经过处理后该图片的像素个数，e为芨芨草总像素个数，q为图片中芨芨草的个数，设芨芨草作为退化指示草种的样本；
使用实例分割网络获得各图片中芨芨草的个数及其像素个数，根据每张图片中芨芨草的平均像素个数来推测拍摄图片的地面高度进而判断图像的实际地面比例agp，进而计算出所有原始图片中退化指示草种的平均覆盖度，其中平均像素个数pavg采用公式5：采用公式6计算所有原始图片的基准平均像素个数pavg采用公式7计算每张图片的实际地面比例agp值
采用公式8计算退化指示草种的平均覆盖度acg：
其中，若图片中没有芨芨草的情况，选择使用pavg来作为其平均每株芨芨草像素个数，即a＝1，以计算得到最终结果。
5.根据权利要求1‑4任一项所述的一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，在步骤s1中，所述视频处理软件为python中的视频处理包。
6.根据权利要求1‑4任一项所述的一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，在步骤s2和s3中，所述图形图像注释软件为labelme；所述实例分割网络为maskr‑cnn，语义分割网络为mask2former。
7.根据权利要求1‑4任一项所述的一种使用无人机影像计算退化指示草种覆盖度的方法，其特征在于，在步骤s7中，所述草地退化等级分为轻度、中度和重度危害，即退化指示草种的平均覆盖度小于25％时视为轻度危害，在25％到50％之间时视为中度危害，大于50％时视为重度危害。 说明书 : 一种使用无人机影像计算退化指示草种覆盖度的方法技术领域[0001] 本发明涉及计算机图像处理技术领域，特别涉及一种使用无人机影像计算退化指示草种覆盖度的方法。背景技术[0002] 三江源地区在我国具有很高的生态和经济价值，该地区生态系统脆弱而敏感，在自然因素和人为因素(如全球变暖和过度开垦放牧)的共同干扰之下，很容易发生草地退化，因此对其进行预测并采取措施是目前所采取的策略。[0003] 通过人工智能技术并借助于计算机图像处理技术，使用对无人机拍摄影像进行计算以分析退化指示草种的平均覆盖度，用于评价草地退化是新兴技术手段，其中使用深度学习技术研究三江源草地退化评价是实现草地评价智能化中的一个重要阶段；然而，语义分割时由于无人机影像高度不一致会导致退化指示草覆盖比例计算结果与实际情况不一致，进而导致草地退化评价结论的误差，而降低该误差的方法是本申请所要解决的难题；同时，采用某种使用无人机影像计算退化指示草种覆盖度的方法也值得探索。发明内容[0004] 本发明针对背景技术所提及的问题，提供一种使用无人机影像计算退化指示草种覆盖度的方法，所采用的技术方案包括以下步骤：[0005] s1、无人机拍摄影像的处理：使用无人机对草原进行拍摄，并得到视频或图片格式的影像；[0006] 若该影像为视频格式时，则使用视频处理软件对其进行截帧与裁剪并形成图片序列，以得到图片数据；[0007] 若该影像为图片格式时，则形成图片序列，以得到图片数据；[0008] s2、图片数据的标注及训练以形成语义分割的结果：用图形图像注释软件对步骤s1图片数据各图片中的退化指示草种进行标注，输入语义分割网络中并训练，进而得到语义分割的结果；同时进行步骤s3；[0009] s3、判断图片的拍摄高度及图片大小：判断由步骤s1所得到的图片数据中各图片的拍摄高度及图片大小；[0010] s31、若图片大小一致且已知拍摄高度，则计算平均高度和图像高度，再计算各图片的实际地面比例agp；执行步骤s4；[0011] s32、若图片大小不一致且已知拍摄高度，则计算平均高度和图像高度，再计算各图片的实际地面比例agp；执行步骤s5；[0012] s33、若图片大小不一致且未知拍摄高度，则用图形图像注释软件对图片中的退化指示草种进行标注，输入实例分割网络中并训练，进而得到实例分割的结果；执行步骤s6；[0013] s4、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以图片为单位计算退化指示草种的覆盖度；[0014] s5、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以像素为单位计算退化指示草种的覆盖度；[0015] s6、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以像素为单位计算退化指示草种的覆盖度；[0016] s7、由覆盖度判断草地退化等级。[0017] 进一步的，在步骤s31中的计算方法为：[0018] 以高度为依据进行比例转换，得到实际地面中退化指示草种的平均覆盖度，则得到表1形式的统计数据：[0019] 表1[0020][0021] 表1中：h为拍摄高度，m为对应高度下的图片数量，p为对应高度下退化指示草种的所有图像的平均覆盖度；[0022] 所述平均覆盖度的计算过程为：[0023] 采用公式1，计算平均高度l：[0024] l＝(h1 h2 h3 … hn)/n公式1[0025] 采用公式2，计算每一张原始图片的实际地面比例at：[0026] at＝(ht/l)2公式2[0027] 公式2中：at为高度为ht的原始图片的实际地面比例agp；[0028] 采用公式3，计算退化指示草种的平均覆盖度acg：[0029][0030] 公式3中：a为实际地面比例agp，m为对应高度的图片数量，p为相应高度的退化指示草种的平均覆盖度。[0031] 进一步的，在步骤s32中的计算方法为：[0032] 统计裁剪后每张图片的像素个数以得到表2形式的统计数据：[0033] 表2[0034][0035] 表2中：c为经过处理后该图片的像素个数；[0036] 所述平均覆盖度的计算过程为：[0037] 采用公式2，计算每一张原始图片的实际地面比例at：[0038] 采用公式4，计算退化指示草种的平均覆盖度acg：[0039][0040] 进一步的，在步骤s33中的计算方法为：[0041] 根据每张图片的退化指示草种的平均像素个数pavg之间的比值来判断该图片的实际地面比例agp，再根据求得的实际地面比例agp来计算平均覆盖度，则得到表3形式的统计数据：[0042] 表3[0043][0044] 表3中：q为图片中芨芨草的个数，设芨芨草作为退化指示草种的样本；[0045] 使用实例分割网络获得各图片中芨芨草的个数及其像素个数，根据每张图片中芨芨草的平均像素个数来推测拍摄图片的地面高度进而判断图像的实际地面比例agp，进而计算出所有原始图片中退化指示草种的平均覆盖度，其中平均像素个数pavg采用公式5：[0046][0047] 采用公式6计算所有原始图片的基准平均像素个数pavg[0048][0049] 采用公式7计算每张图片的实际地面比例agp值[0050][0051] 采用公式8计算退化指示草种的平均覆盖度acg：[0052][0053] 其中，若图片中没有芨芨草的情况，选择使用pavg来作为其平均每株芨芨草像素个数，即a＝1，以计算得到最终结果。[0054] 优选的，在步骤s1中，所述视频处理软件为python中的视频处理包。[0055] 优选的，在步骤s2和s3中，所述图形图像注释软件为labelme；所述实例分割网络为maskr‑cnn，语义分割网络为mask2former。[0056] 优选的，在步骤s7中，所述草地退化等级分为轻度、中度和重度危害，即退化指示草种的平均覆盖度小于25％时视为轻度危害，在25％到50％之间时视为中度危害，大于50％时视为重度危害。[0057] 实施本发明的有益效果：本发明提出一种使用无人机影像计算退化指示草种覆盖度的方法，该方法通过视频处理软件进行截帧与裁剪以得到图片数据，通过图形图像注释软件对各图片中的退化指示草种进行标注，通过语义分割网络和实例分割网络进行训练，以准确的计算出退化指示草种的覆盖度，据此而评定草地退化等级；其中，在语义分割时由于无人机影像高度不一致会导致毒杂草覆盖比例计算结果与实际情况不一致，进而导致草地退化评价结论的误差问题，本发明针对已知拍摄草地图像高度与未知拍摄草地图像高度两种情形，提出了实际地面比例agp的具体计算方法，即通过计算每一张图像的实际地面比例来将所有图像转换到同一高度进行覆盖度的计算，从而得到接近真实的毒杂草覆盖度，更加科学的评价草地退化等级。附图说明[0058] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0059] 图1：使用无人机影像计算退化指示草覆盖度的方法步骤；[0060] 图2：2m高度无人机拍摄芨芨草影像；[0061] 图3：4m高度无人机拍摄芨芨草影像；[0062] 图4：6m高度无人机拍摄芨芨草影像；[0063] 图5：2m高度下maksr‑cnn预测图；[0064] 图6：4m高度下maksr‑cnn预测图；[0065] 图7：6m高度下maksr‑cnn预测图。具体实施方式[0066] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0067] 为了更好的理解本发明，其中一些名称的解释如下：[0068] (1)无人机影像：指通过无人机对地面上目标进行摄像时所存储的影像文件；在此是在草原地面上进行摄像后所存储的影像文件。[0069] (2)地面采样距离(groundsamplingdistance，缩写为gsd)：表示数字影像中单个相元对应的地面尺寸，其描述了两个连续像素的中心距离。其计算表达式见下式：[0070] gsd＝s*h/f[0071] 式中：s表示相机的相元大小，h表示拍摄时的高度，f表示拍摄时镜头的焦距。其中s、f由于无人机所搭载的相机的参数为固定值，则其为固定值的常数；则有相同分辨率下拍摄的影像占地面积之比等于拍摄高度比值的平方。所述gsd为经视频截帧处理后的所有图片，各gsd均有编号。[0072] (3)实际地面比例(actualgroundproportion，缩写为agp)：为相同分辨率的图像在不同高度下所拍摄的实际地面面积比值。[0073] (4)实际覆盖度(actualcoverage，缩写为acg)：指的是所拍摄的无人机影像，通过高度转换以后得到的实际的退化指示草的覆盖度。[0074] 在本发明其中一个实施例中，请参阅附图1所示；一种使用无人机影像计算退化指示草种覆盖度的方法，所采用的技术方案包括以下步骤：[0075] s1、无人机拍摄影像的处理：使用无人机对草原进行拍摄，并得到视频或图片格式的影像；[0076] 若该影像为视频格式时，则使用视频处理软件对其进行截帧与裁剪并形成图片序列，以得到图片数据；[0077] 若该影像为图片格式时，则形成图片序列，以得到图片数据；[0078] s2、图片数据的标注及训练以形成语义分割的结果：用图形图像注释软件对步骤s1图片数据各图片中的退化指示草种进行标注，输入语义分割网络中并训练，进而得到语义分割的结果；同时进行步骤s3；[0079] s3、判断图片的拍摄高度及图片大小：判断由步骤s1所得到的图片数据中各图片的拍摄高度及图片大小；[0080] s31、若图片大小一致且已知拍摄高度，则计算平均高度和图像高度，再计算各图片的实际地面比例agp；执行步骤s4；[0081] s32、若图片大小不一致且已知拍摄高度，则计算平均高度和图像高度，再计算各图片的实际地面比例agp；执行步骤s5；[0082] s33、若图片大小不一致且未知拍摄高度，则用图形图像注释软件对图片中的退化指示草种进行标注，输入实例分割网络中并训练，进而得到实例分割的结果；执行步骤s6；[0083] s4、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以图片为单位计算退化指示草种的覆盖度；[0084] s5、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以像素为单位计算退化指示草种的覆盖度；[0085] s6、计算退化指示草种的覆盖度：根据实际地面比例agp和语义分割的结果，以像素为单位计算退化指示草种的覆盖度；[0086] s7、由覆盖度判断草地退化等级。[0087] 进一步的，在步骤s31中的计算方法为：[0088] 以高度为依据进行比例转换，得到实际地面中退化指示草种的平均覆盖度，则得到表1形式的统计数据：[0089] 表1[0090][0091] 表1中：h为拍摄高度，m为对应高度下的图片数量，p为对应高度下退化指示草种的所有图像的平均覆盖度；[0092] 所述平均覆盖度的计算过程为：[0093] 采用公式1，计算平均高度l：[0094] l＝(h1 h2 h3 … hn)/n公式1[0095] 采用公式2，计算每一张原始图片的实际地面比例at：[0096] at＝(ht/l)2公式2[0097] 公式2中：at为高度为ht的原始图片的实际地面比例agp；[0098] 采用公式3，计算退化指示草种的平均覆盖度acg：[0099][0100] 公式3中：a为实际地面比例agp，m为对应高度的图片数量，p为对应高度下退化指示草种的所有图像的平均覆盖度。[0101] 进一步的，在步骤s32中的计算方法为：[0102] 统计裁剪后每张图片的像素个数以得到表2形式的统计数据：[0103] 表2[0104][0105] 表2中：c为经过处理后该图片的像素个数；[0106] 所述平均覆盖度的计算过程为：[0107] 采用公式2，计算每一张原始图片的实际地面比例at：[0108] 采用公式4，计算退化指示草种的平均覆盖度acg：[0109][0110] 进一步的，在步骤s33中的计算方法为：[0111] 根据每张图片的退化指示草种的平均像素个数pavg之间的比值来判断该图片的实际地面比例agp，再根据求得的实际地面比例agp来计算平均覆盖度，则得到表3形式的统计数据：[0112] 表3[0113][0114] 表3中：q为图片中芨芨草的个数，设芨芨草作为退化指示草种的样本；[0115] 使用实例分割网络获得各图片中芨芨草的个数及其像素个数，根据每张图片中芨芨草的平均像素个数来推测拍摄图片的地面高度进而判断图像的实际地面比例agp，进而计算出所有原始图片中退化指示草种的平均覆盖度，其中平均像素个数pavg采用公式5：[0116][0117] 采用公式6计算所有原始图片的基准平均像素个数pavg[0118][0119] 采用公式7计算每张图片的实际地面比例agp值[0120][0121] 采用公式8计算退化指示草种的平均覆盖度acg：[0122][0123] 其中，若图片中没有芨芨草的情况，选择使用pavg来作为其平均每株芨芨草像素个数，即a＝1，以计算得到最终结果。[0124] 优选的，在步骤s1中，所述视频处理软件为python中的视频处理包。[0125] 优选的，在步骤s2和s3中，所述图形图像注释软件为labelme；所述实例分割网络为maskr‑cnn，语义分割网络为mask2former。[0126] 优选的，在步骤s7中，所述草地退化等级分为轻度、中度和重度危害，即退化指示草种的平均覆盖度小于25％时视为轻度危害，在25％到50％之间时视为中度危害，大于50％时视为重度危害。[0127] 相关实验，利用上述方法，发明人进行了以下工作，为了便于试验，在试验中选用草原上常见的芨芨草作为退化指示草种的样本，以计算其覆盖度。[0128] 该影像于青海省海南藏族自治州贵南县某草场地拍摄，分别为2m、4m、6m三个高度的影像；通过视频截帧方式得到2m高度图片269张，4m高度图片288张，6m高度图片302张，共859张图片；其中训练集699张，验证集159张，训练集与验证集的比例为4:1；附图2、3、4分别为2m、4m、6m高度时无人机拍摄的芨芨草图片。[0129] 发明人选择了当前主流的实例分割网络对芨芨草数据集进行训练，分别使用了rtndet、yolact、boxins、maskr‑cnn四个实例分割网络进行训练，最后选择了效果最好的maskr‑cnn分割网络作为我们的实例分割网络，该maskr‑cnn分割网络在芨芨草数据集上的map_50达到了77.2％，见表4。[0130] 表4[0131][0132] 附图5、6、7为maksr‑cnn实例分割网络分别在三个高度下的预测结果，左边为标注的mask图，右边为网络预测的分割结果图。[0133] 计算覆盖度，在表5中，2m高度的图像中芨芨草平均像素个数为13974个，芨芨草个数为221个，图片数量为60张，4m高的图像中芨芨草平均个数为5170个，芨芨草个数为409，图片数量为42张，6m高的图像中芨芨草的平均像素个数为2564个，芨芨草个数为669，图片数量为57；选择4m高度作为基准高度，可以得到2m高度图片的预测agp值为0.36，6m高度图片的预测agp值为2.01，而2m和6m高度的理论agp值则分别应该为0.25和2.25。[0134] 表5[0135][0136] 如表6所示，根据表5中展示的数据，通过前面的方法计算覆盖度，可以知道实际的覆盖度应为8.89％，如果不考虑高度直接将所有图片的芨芨草平均计算则得到的结果为10.62％，而通过实例分割网络预测高度再计算覆盖度得到的结果为9.14。使误差从1.73％降低到了0.25％。[0137] 表6[0138][0139] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：青海

专利申请日期：2023-11-20

专利公开日期：2024-07-02

专利公告号：cn117522956b