Skip to content

刘航 / watchmen

Go to a project
Switch branch/tag
80-starnet-dev.html 19.8 KB
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 


<!DOCTYPE html>
<!--[if IE 8]><html class="no-js lt-ie9" lang="en" > <![endif]-->
<!--[if gt IE 8]><!--> <html class="no-js" lang="en" > <!--<![endif]-->
<head>
  <meta charset="utf-8">
  
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  
  <title>5. watchmen在繁星的应用与开发 &mdash; watchmen 1.0 documentation</title>
  

  
  
  
  

  

  
  
    

  

  <link rel="stylesheet" href="_static/css/theme.css" type="text/css" />
  <link rel="stylesheet" href="_static/pygments.css" type="text/css" />
    <link rel="index" title="Index" href="genindex.html" />
    <link rel="search" title="Search" href="search.html" />
    <link rel="next" title="6. 修订历史" href="99-history.html" />
    <link rel="prev" title="4. zabbix监测系统" href="40-zabbix.html" /> 

  
  <script src="_static/js/modernizr.min.js"></script>

</head>

<body class="wy-body-for-nav">

   
  <div class="wy-grid-for-nav">

    
    <nav data-toggle="wy-nav-shift" class="wy-nav-side">
      <div class="wy-side-scroll">
        <div class="wy-side-nav-search">
          

          
            <a href="index.html" class="icon icon-home"> watchmen
          

          
          </a>

          
            
            
              <div class="version">
                1.0
              </div>
            
          

          
<div role="search">
  <form id="rtd-search-form" class="wy-form" action="search.html" method="get">
    <input type="text" name="q" placeholder="Search docs" />
    <input type="hidden" name="check_keywords" value="yes" />
    <input type="hidden" name="area" value="default" />
  </form>
</div>

          
        </div>

        <div class="wy-menu wy-menu-vertical" data-spy="affix" role="navigation" aria-label="main navigation">
          
            
            
              
            
            
              <p class="caption"><span class="caption-text">Contents:</span></p>
<ul class="current">
<li class="toctree-l1"><a class="reference internal" href="10-summary.html">1. 概述</a></li>
<li class="toctree-l1"><a class="reference internal" href="20-ansible.html">2. ansible集群管理工具</a></li>
<li class="toctree-l1"><a class="reference internal" href="30-elk.html">3. elk日志系统</a></li>
<li class="toctree-l1"><a class="reference internal" href="40-zabbix.html">4. zabbix监测系统</a></li>
<li class="toctree-l1 current"><a class="current reference internal" href="#">5. watchmen在繁星的应用与开发</a><ul>
<li class="toctree-l2"><a class="reference internal" href="#id1">5.1. 20181128整理需求以及设计</a><ul>
<li class="toctree-l3"><a class="reference internal" href="#id2">5.1.1. 原始需求以及应对方案</a></li>
<li class="toctree-l3"><a class="reference internal" href="#id3">5.1.2. 会话日志</a></li>
<li class="toctree-l3"><a class="reference internal" href="#id4">5.1.3. 相机状态</a></li>
<li class="toctree-l3"><a class="reference internal" href="#id5">5.1.4. 链路状态</a></li>
<li class="toctree-l3"><a class="reference internal" href="#id6">5.1.5. 任务状态</a></li>
<li class="toctree-l3"><a class="reference internal" href="#id7">5.1.6. 总结各服务需要做的事情</a><ul>
<li class="toctree-l4"><a class="reference internal" href="#sip">5.1.6.1. sip</a></li>
<li class="toctree-l4"><a class="reference internal" href="#mediaserver">5.1.6.2. MediaServer</a></li>
<li class="toctree-l4"><a class="reference internal" href="#vaserver">5.1.6.3. VAServer</a></li>
<li class="toctree-l4"><a class="reference internal" href="#dataexportservice">5.1.6.4. DataExportService</a></li>
<li class="toctree-l4"><a class="reference internal" href="#id8">5.1.6.5. 平台</a></li>
<li class="toctree-l4"><a class="reference internal" href="#operateserver">5.1.6.6. OperateServer</a></li>
<li class="toctree-l4"><a class="reference internal" href="#id9">5.1.6.7. 脚本工具</a></li>
</ul>
</li>
</ul>
</li>
<li class="toctree-l2"><a class="reference internal" href="#id10">5.2. 20181128整理需求实现</a><ul>
<li class="toctree-l3"><a class="reference internal" href="#tcp">5.2.1. tcp长连接状态</a></li>
</ul>
</li>
</ul>
</li>
<li class="toctree-l1"><a class="reference internal" href="99-history.html">6. 修订历史</a></li>
</ul>

            
          
        </div>
      </div>
    </nav>

    <section data-toggle="wy-nav-shift" class="wy-nav-content-wrap">

      
      <nav class="wy-nav-top" aria-label="top navigation">
        
          <i data-toggle="wy-nav-top" class="fa fa-bars"></i>
          <a href="index.html">watchmen</a>
        
      </nav>


      <div class="wy-nav-content">
        
        <div class="rst-content">
        
          















<div role="navigation" aria-label="breadcrumbs navigation">

  <ul class="wy-breadcrumbs">
    
      <li><a href="index.html">Docs</a> &raquo;</li>
        
      <li>5. watchmen在繁星的应用与开发</li>
    
    
      <li class="wy-breadcrumbs-aside">
        
            
            <a href="_sources/80-starnet-dev.rst.txt" rel="nofollow"> View page source</a>
          
        
      </li>
    
  </ul>

  
  <hr/>
</div>
          <div role="main" class="document" itemscope="itemscope" itemtype="http://schema.org/Article">
           <div itemprop="articleBody">
            
  <div class="section" id="watchmen">
<h1>5. watchmen在繁星的应用与开发<a class="headerlink" href="#watchmen" title="Permalink to this headline"></a></h1>
<div class="section" id="id1">
<h2>5.1. 20181128整理需求以及设计<a class="headerlink" href="#id1" title="Permalink to this headline"></a></h2>
<div class="section" id="id2">
<h3>5.1.1. 原始需求以及应对方案<a class="headerlink" href="#id2" title="Permalink to this headline"></a></h3>
<div class="highlight-default notranslate"><div class="highlight"><pre><span></span>一.视频点播问题：点播不出来、点播耗时长 、点播的视频质量差等
1.原始流点播：包括平台点播和分析节点点播；原始流类型有国标、相机rtsp、上传视频rtsp
    1.原始流点播的信令交互请求、响应日志
    2.原始流点播各个环节消耗时长。
    3.原始流点播各个环节视频数据质量(码率、帧率、视频数据完整性)
    4.视频流服务要转发视频数据，需要监测转发的视频数据路数、负载（CPU、内存、带宽）
2.分析流点播:平台点播分析流，分析流点播基础是分析节点能请求到原始流正常分析输出
    1.分析流点播请求、响应日志
    2.分析流点播拼串中运维和分析的交互日志----这个环境失败率高**
    3.分析流输出视频质量
</pre></div>
</div>
<ul class="simple">
<li>1.1 <span class="raw-html"><S>sip的所有模块，所有信令均写日志。 转发模块第一帧来了写一条点播成功的日志，调用vproc写状态</S></span>  ——信令先加错误日志，点播成功日志待定</li>
<li>1.2 <span class="raw-html"><S>转发模块接收到点播指令时记日志。 转发模块第一帧往rtspserver发时加日志。 耗时从日志时间戳计算。</S></span> ——点播日志待定</li>
<li>1.3 MediaServer利用动态item机制，建立一个点播表。  见**相机状态**表章节</li>
<li>1.4 已实现</li>
<li>2.1 <span class="raw-html"><S>rtspserver接收到点播请求写日志。 VAServer接收到点播请求写日志。发出第一帧写日志。</S></span> ——先不加，用输出的状态值排查问题</li>
<li>2.2 见**会话日志**章节</li>
<li>2.3 已有帧率</li>
</ul>
<div class="highlight-default notranslate"><div class="highlight"><pre><span></span>二、平台程序占用资源情况监测：平台程序基于java使用docker容器运行；繁星数据量大，数据读写存储并发高非常消耗资源，当消耗资源过高，会产生很多莫名其妙的异常。
1.监测平台各个docker程序消耗系统资源情况（CPU、内存、IO、带宽等）----以便后续优化
2.监测平台服务器磁盘容量，低于某个阈值报警---避免由于磁盘被占满导致的问题
3.平台程序连接状态监测，例如平台各个服务之间连接监测：配置服务、管理服务、数据库等间的连接状态；平台各个服务与外部各个服务的连接监测：配置服务、管理服务、数据库与运维服务、
4.数据转发服务的连接等
</pre></div>
</div>
<ul class="simple">
<li>1 已配好，见监控docker章节</li>
<li>2 已有</li>
<li>3/4 见**链路状态**章节</li>
</ul>
<div class="highlight-default notranslate"><div class="highlight"><pre><span></span>三、任务下发、配置、管理环节问题：存在下发任务未运行（下发失败）、配置截图截不到，参数修改不生效、任务删除删除不掉资源无法释放等问题
1.任务下发、删除各个环节请求，响应日志
2.任务下发、删除响应时间（特别大批量下发任务时）
3.任务、节点对应关系（通过节点能直观的知道任务运行在哪个节点）
4.任务配置截图请求、响应日志，消耗时长、图片数据大小等---------截图失败率高**
</pre></div>
</div>
<ul class="simple">
<li>1/2/4. 各服务要增加关键流程的消息日志。 增加统一的TAG（tag_addtask/tag_deletetask等），带消息id，耗时统计。 搜索日志时根据TAG和消息ID了解各环节处理情况。 见**会话日志**章节</li>
<li>3 见**任务状态**表章节</li>
</ul>
<div class="highlight-default notranslate"><div class="highlight"><pre><span></span>四、数据接入和转出、数据存储、数据显示问题：任务请求不到数据（视频数据、图片数据）、请求到数据发送失败、发送环节成功但存储失败或丢失等都会导致最终的数据展示
1.数据接入环节需要有请求数据成功和失败的记录，失败报警、数据量记录（如图片数量），数据来源
2.数据转发环节需要有发送成功失败的记录，失败报警，数据量记录，数据来源（关联任务、节点）
3.数据存储环节需要有接收到和存储到数据的成功失败记录，数据量，数据来源（关联任务、节点）
</pre></div>
</div>
<ul class="simple">
<li>4 链路状态 配合 错误日志–所有会导致结果扔掉的日志</li>
</ul>
</div>
<div class="section" id="id3">
<h3>5.1.2. 会话日志<a class="headerlink" href="#id3" title="Permalink to this headline"></a></h3>
<p>一个事件，主要是用户操作，整个业务链路的通讯、处理过程均当做一个会话。 经过的所有服务的处理过程均应该增加日志，日志中增加能够描述这个会话的TAG和id。 当发现操作没有达到预期，在elk web中以TAG或id作为搜索条件，查看处理流程中哪个环节的日志有异常。达到快速定位问题的目的。</p>
<p>TAG作为一种会话的类型，可作为第一层筛选。id作为补充，每种流程不同。比如task相关的就用taskid。</p>
<p>会话日志规范（以下日志均需要增加TAG，有条件的还要加id）：</p>
<ul class="simple">
<li>message输入要将原消息写日志，源头ip。</li>
<li>处理过后新的message输出写日志， 目标ip</li>
<li>非常关键的处理环节写日志</li>
<li>错误写日志，加_ERROR_关键字(头尾加下划线)</li>
</ul>
<p>在这里罗列一些TAG，方便我们在elk中精准的搜索到想要的日志。持续增加</p>
<table border="1" class="docutils">
<colgroup>
<col width="33%" />
<col width="21%" />
<col width="47%" />
</colgroup>
<thead valign="bottom">
<tr class="row-odd"><th class="head">TAG值</th>
<th class="head">其他关键字</th>
<th class="head">说明</th>
</tr>
</thead>
<tbody valign="top">
<tr class="row-even"><td>tag_add_task</td>
<td>taskid</td>
<td>添加任务</td>
</tr>
<tr class="row-odd"><td>tag_del_task</td>
<td>taskid</td>
<td>删除任务</td>
</tr>
<tr class="row-even"><td>tag_edit_task</td>
<td>taskid</td>
<td>编辑任务</td>
</tr>
<tr class="row-odd"><td>tag_capture_image</td>
<td>&#160;</td>
<td>截图</td>
</tr>
<tr class="row-even"><td>tag_upgrade</td>
<td>&#160;</td>
<td>升级</td>
</tr>
<tr class="row-odd"><td>tag_playvideo</td>
<td>&#160;</td>
<td>视频点播相关</td>
</tr>
<tr class="row-even"><td>tag_result</td>
<td>refid,ip</td>
<td>结果相关,错误日志必须写。</td>
</tr>
<tr class="row-odd"><td>tag_playurl</td>
<td>&#160;</td>
<td>点播串相关，取串拼串</td>
</tr>
</tbody>
</table>
<p>请将无用日志删掉，或体量大，平时用不到又不能删的日志，单独写一个文件并告诉我文件名。收集日志时会将其去掉。</p>
</div>
<div class="section" id="id4">
<h3>5.1.3. 相机状态<a class="headerlink" href="#id4" title="Permalink to this headline"></a></h3>
<p>VAServer的相机状态表已添加。</p>
<p>MediaServer需在内存中维护一个相机状态表，程序增加统计代码， 状态表中保存各统计指标，每隔10秒写使用vproc写状态。</p>
<p>zabbix web增加lld，key: mediaserver.cameras</p>
<p>在此lld内增加items:</p>
<blockquote>
<div><p>如果是sip，[id]写相机编号，rtsp方式[id]写rtsp串（需要把句号.全部去掉）。</p>
<table border="1" class="docutils">
<colgroup>
<col width="48%" />
<col width="52%" />
</colgroup>
<thead valign="bottom">
<tr class="row-odd"><th class="head">key</th>
<th class="head">说明</th>
</tr>
</thead>
<tbody valign="top">
<tr class="row-even"><td>mediaserver.cameras.[id].playurl</td>
<td>点播地址</td>
</tr>
<tr class="row-odd"><td>mediaserver.cameras.[id].fps</td>
<td>接收频率</td>
</tr>
<tr class="row-even"><td>mediaserver.cameras.[id].bitrate</td>
<td>码率</td>
</tr>
<tr class="row-odd"><td>mediaserver.cameras.[id].lossrate</td>
<td>丢包率。 希望rtspclient能检测丢包率</td>
</tr>
<tr class="row-even"><td>mediaserver.cameras.[id].sendtoip</td>
<td>字符串，转发目的地ip，多个用逗号隔开</td>
</tr>
</tbody>
</table>
</div></blockquote>
</div>
<div class="section" id="id5">
<h3>5.1.4. 链路状态<a class="headerlink" href="#id5" title="Permalink to this headline"></a></h3>
<p>利用动态item功能，每个服务将自己比较关键的连接写状态。[id]自己定义，每个连接要有唯一性，最好有一定的描述性，比如connect_to_ops, from_vaserver_1。 connect.server是作为服务端，监听到的链接链路。</p>
<blockquote>
<div><table border="1" class="docutils">
<colgroup>
<col width="46%" />
<col width="54%" />
</colgroup>
<thead valign="bottom">
<tr class="row-odd"><th class="head">key</th>
<th class="head">描述</th>
</tr>
</thead>
<tbody valign="top">
<tr class="row-even"><td>appname.connection.server.[id].ip</td>
<td>连接到自己的ip</td>
</tr>
<tr class="row-odd"><td>appname.connection.server.[id].status</td>
<td>长连接时表示连接状态，短连接无意义</td>
</tr>
<tr class="row-even"><td>appname.connection.server.[id].lastmsgtime</td>
<td>最后一条消息的时间</td>
</tr>
<tr class="row-odd"><td>appname.connection.client.[id].url</td>
<td>自己主动连接的地址</td>
</tr>
<tr class="row-even"><td>appname.connection.client.[id].status</td>
<td>长连接时表示连接状态，短连接时表示是否能成功发消息</td>
</tr>
<tr class="row-odd"><td>appname.connection.client.[id].lastmsgtime</td>
<td>最后一条消息的时间</td>
</tr>
</tbody>
</table>
</div></blockquote>
<p><strong>长连接暂时用写脚本调用netstat的方式实现，短连接需要服务在程序内添加。后续发现无法用脚本实现的再通知程序开发者</strong></p>
</div>
<div class="section" id="id6">
<h3>5.1.5. 任务状态<a class="headerlink" href="#id6" title="Permalink to this headline"></a></h3>
<p>服务器运维维护一个任务表，任务状态有变化时用vproc写状态</p>
<p>zabbix web增加lld动态item, key: ops.tasks</p>
<p>在此lld内增加items:</p>
<blockquote>
<div><table border="1" class="docutils">
<colgroup>
<col width="45%" />
<col width="55%" />
</colgroup>
<thead valign="bottom">
<tr class="row-odd"><th class="head">key</th>
<th class="head">说明</th>
</tr>
</thead>
<tbody valign="top">
<tr class="row-even"><td>ops.tasks.[id].name</td>
<td>任务名</td>
</tr>
<tr class="row-odd"><td>ops.tasks.[id].sendto</td>
<td>分配到了哪台设备，最好写ip</td>
</tr>
<tr class="row-even"><td>ops.tasks.[id].status</td>
<td>任务状态</td>
</tr>
</tbody>
</table>
</div></blockquote>
</div>
<div class="section" id="id7">
<h3>5.1.6. 总结各服务需要做的事情<a class="headerlink" href="#id7" title="Permalink to this headline"></a></h3>
<div class="section" id="sip">
<h4>5.1.6.1. sip<a class="headerlink" href="#sip" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>错误的信令日志</li>
<li>会话日志</li>
</ul>
</div>
<div class="section" id="mediaserver">
<h4>5.1.6.2. MediaServer<a class="headerlink" href="#mediaserver" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>相机状态表</li>
</ul>
</div>
<div class="section" id="vaserver">
<h4>5.1.6.3. VAServer<a class="headerlink" href="#vaserver" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>会话日志</li>
</ul>
</div>
<div class="section" id="dataexportservice">
<h4>5.1.6.4. DataExportService<a class="headerlink" href="#dataexportservice" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>往平台发消息的链路状态</li>
<li>会话日志</li>
</ul>
</div>
<div class="section" id="id8">
<h4>5.1.6.5. 平台<a class="headerlink" href="#id8" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>所有重要链路状态</li>
<li>会话日志</li>
</ul>
</div>
<div class="section" id="operateserver">
<h4>5.1.6.6. OperateServer<a class="headerlink" href="#operateserver" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>任务状态表</li>
<li>会话日志</li>
</ul>
</div>
<div class="section" id="id9">
<h4>5.1.6.7. 脚本工具<a class="headerlink" href="#id9" title="Permalink to this headline"></a></h4>
<ul class="simple">
<li>长连接状态</li>
</ul>
</div>
</div>
</div>
<div class="section" id="id10">
<h2>5.2. 20181128整理需求实现<a class="headerlink" href="#id10" title="Permalink to this headline"></a></h2>
<div class="section" id="tcp">
<h3>5.2.1. tcp长连接状态<a class="headerlink" href="#tcp" title="Permalink to this headline"></a></h3>
</div>
</div>
</div>


           </div>
           
          </div>
          <footer>
  
    <div class="rst-footer-buttons" role="navigation" aria-label="footer navigation">
      
        <a href="99-history.html" class="btn btn-neutral float-right" title="6. 修订历史" accesskey="n" rel="next">Next <span class="fa fa-arrow-circle-right"></span></a>
      
      
        <a href="40-zabbix.html" class="btn btn-neutral" title="4. zabbix监测系统" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left"></span> Previous</a>
      
    </div>
  

  <hr/>

  <div role="contentinfo">
    <p>
        &copy; Copyright 2018, liuhang.

    </p>
  </div>
  Built with <a href="http://sphinx-doc.org/">Sphinx</a> using a <a href="https://github.com/rtfd/sphinx_rtd_theme">theme</a> provided by <a href="https://readthedocs.org">Read the Docs</a>. 

</footer>

        </div>
      </div>

    </section>

  </div>
  


  

    <script type="text/javascript">
        var DOCUMENTATION_OPTIONS = {
            URL_ROOT:'./',
            VERSION:'1.0',
            LANGUAGE:'None',
            COLLAPSE_INDEX:false,
            FILE_SUFFIX:'.html',
            HAS_SOURCE:  true,
            SOURCELINK_SUFFIX: '.txt'
        };
    </script>
      <script type="text/javascript" src="_static/jquery.js"></script>
      <script type="text/javascript" src="_static/underscore.js"></script>
      <script type="text/javascript" src="_static/doctools.js"></script>

  

  <script type="text/javascript" src="_static/js/theme.js"></script>

  <script type="text/javascript">
      jQuery(function () {
          SphinxRtdTheme.Navigation.enable(true);
      });
  </script> 

</body>
</html>