server

借鉴的开源链接

可借鉴的链接

Posted by nomadli on December 2, 2015

网络

  • Tap Bridge Veth
  • Tun Cisco Nexus 1000V VMware Virtual Switch Open vSwitch
  • SONiC 开源交换机
  • https://github.com/iqiyi/dpvs DPDK+LVS

集群管理

  • Kubernetes
  • Istio 是Service Mes(其实是七层网络代理,服务发现、均衡、限流、tls管道、权限等)的一种实现
  • Cilium 基于eBPF开源网络互通、负载均衡、安全和可观测性等解决方案
  • Helm、Kustomize、Operator、Terraform 包管理工具
  • SuperEdge k8 边缘计算管理
  • Workload Service Framework 动态调度

容器

  • runc 是OCI(Open Container Initiative)标准的实现;创建/启动/销毁 调用内核cgroups/namespace
  • CRI-O 基于runc实现CRI(Container Runtime Interface)标准 实现k8调用接口 依赖工具skopeo/cri-tools
  • containerd 已不在docker公司, 守护进程管理容器镜像、存储和运行时

AI

  • AutoML 模型特征工程、模型选择、超参选择自动完成 katib 基于k8的实现
  • fineWeb huggingface.co 数据集 模型
  • tiktokenizer.vercel.app 模型分词token 展示
  • bbycroft.net/llm 模型原理可视化
  • github.com/karpathy/llm.c GPT-2 开源基础模型训练介绍
  • github.com/openai/gpt-2 包含基础模型及其调用方法(搜索 biggest llm base models)
  • app.hyperbolic.xyz 在线测试基础模型的输出
  • github.com/thunlp/ultrachat 二次训练对话数据生成 (SFT阶段)
  • https://artofproblemsolving.com 二次训练后强化训练(RL阶段)
  • https://lmarena.ai 模型排行并下载
  • LMStudio 本地模型vscode改的
  • CUDA Accelerated Graph-based Retrieval Algorithm api该学
  • LangChain - 最成熟和流行的框架之一，提供丰富的工具链和集成，适合快速构建复杂的AI应用。支持多种LLM、向量数据库和工具调用，有完善的文档和社区支持。
  • LlamaIndex - 专注于数据索引和检索，特别擅长RAG（检索增强生成）场景。提供高效的文档处理和查询能力，适合知识密集型应用。
  • AutoGPT/AutoGen - 微软推出的多Agent协作框架，支持多个Agent之间的对话和协作，可以处理更复杂的任务分解和执行。
  • CrewAI - 专注于角色扮演型Agent的协作框架，每个Agent有明确的角色和目标，适合模拟团队协作场景。
  • LangGraph - LangChain团队开发的状态图框架，提供更精细的流程控制，适合构建复杂的、需要明确状态管理的Agent应用。
  • Semantic Kernel - 微软的轻量级框架，与Azure服务集成良好，支持多种编程语言，强调插件化设计。
  • Hermes Agent、LangChain、AutoGen、CrewAI、Claude Code、OpenAI Codex CLI

大数据

特征|Mpp架构|Lambda架构|Kappa架构|Lakehouse架构 :–|:–|:–|:–|:– 核心思想|大规模并行处理：将数据和查询任务分布到多个节点并行计算，提升性能|批流分离，两套系统并行处理|流批一体，单一流处理引擎处理所有数据|湖仓一体，在数据湖基础上实现数据仓库的管理能力和性能 数据流|数据经分片后存储在各节点。查询时，所有节点并行处理本地数据，协调节点汇总结果|数据同时进入批处理和实时处理层，结果在服务层合并|所有数据视为流，通过可重播的消息队列统一处理|流、批数据直接写入具备事务能力的统一数据湖表 优势|高性能: 并行处理，查询速度快强一致性: 支持ACID事务[多数MPP库] 扩展性:可通过增加节点线性提升性能|兼顾批处理的准确性与流处理的低延迟技术栈成熟，容错性好|架构简化，只需维护一套流处理逻辑通过消息队列重放，历史数据回溯能力强|真正实现流批一体，共用同一份存储和元数据.支持ACID事务，数据一致性高成本效益高，存储计算分离生态兼容性好，支持多种计算引擎 劣势|扩展瓶颈:节点过多时，协调开销可能增大，网络易成瓶颈存储成本:通常需专用存储，成本较高|架构复杂，需维护两套系统，开发运维成本高，批流合并逻辑复杂，易出现数据不一致|对消息队列的存储容量和保留时间要求高；历史数据全量重放可能非常耗时；对流处理引擎的容错和状态管理能力要求极高|对底层数据湖格式[Delta Lake/lceberg/Hudi]依赖强高频写入可能产生小文件，需额外的压缩优化 典型技术组件|数据库:Greenplum, ClickHouse, Apache Doris,Teradata查询引擎:Presto,Amazon Redshift|批处理层:Hadoop,MapReduce,Spark速度层:Apache Storm,Flink服务层:HBase,Redis, Druid 存储:HDFS|消息队列，Kafka[长期持久化]流处理引擎:Flink,spark,streaming存储:Kafka(原始数据]，数据库或数据湖[结果]|存储层:对象存储(S3/oss/0B5]HDFS表格式:Delta Lake,Apache Iceberg,Anache Hudi计算引擎:Spark, Flink, Presto/Trino元数据管理:HMS,AWS Glue 适用场景|高速OLAP:复杂即席查询、多表关联;高并发点查询:B报表、仪表盘;离线数仓:传统企业数据仓库|对数据准确性要求极高，可接受小时级延迟的场景;金融风控[最终精确报表]已有成熟批处理系统，需增量扩展实时能力|实时性要求极高，业务逻辑变化相对不频繁实时推荐系统、实时监控希望简化技术栈，愿意接受流处理技术挑战|需要同时进行大规模历史数据分析和实时处理数据科学、机器学习平台，需直接处理原始数据希望降低TCO[总拥有成本]，打破数据孤岛iot设备时序数据分析

组件类型 典型代表 核心特点 典型适用场景
关系型数据库 (OLTP) MySQL 事务支持 (ACID)、行式存储、丰富的SQL支持与生态系统、支持二级索引 核心业务系统（如用户、订单、交易管理）；内容管理系统（CMS）、博客、Wiki；中小规模且结构定义良好的应用或数据仓库
分布式文件系统 HDFS 高容错、高吞吐、高可靠 、低成本；支持海量非结构化数据存储 、线性扩展 离线批处理- 数据湖底层存储 、历史数据备份
NoSQL数据库 HBase 高可靠、高性能、面向列、强一致性；可扩展性强 、支持随机实时读写 高并发点查询- 实时读写 、海量数据持久化
数据仓库/OLAP Hive SQL化查询 、易于上手 、支持超大规模数据集 离线ETL 、大数据集的批处理作业 、网络日志分析
NoSQL数据库 Iceberg, Hudi 湖仓一体格式：支持ACID事务、版本管理、时间旅行 构建于数据湖（HDFS/S3）之上的数仓，支持流批一体
消息队列（流存储） Kafka 高吞吐、持久化 、弹性扩展 、支持实时数据流 实时数据流缓冲 、日志记录 、海量日志处理
内存数据库/缓存 Redis 内存存储极致性能：数据存于内存，读写速度极快（微秒级）；丰富的数据结构：支持字符串；哈希、列表、集合、有序集合等，远超普通键值存储；持久化可选：支持 RDB 快照和 AOF 日志，可配置数据持久化；高可用与分布式：支持主从复制、哨兵模式及集群模式 高速缓存（如会话缓存、页面缓存）会话存储（如用户登录状态）；实时排行榜（利用有序集合） 消息队列与发布/订阅（简单场景）；分布式锁（如控制资源并发访问）计数器（如点赞数、浏览量）和实时统计（如利用HyperLogLog统计UV）
MPP分析型数据库 StarRocks 极速分析性能：采用MPP架构、全面向量化执行引擎和列式存储，复杂查询速度快- 实时与批量统一：支持实时数据流（如Kafka）和批量数据导入，数据写入即可查；兼容MySQL生态；高并发支持：通过良好数据分布、索引和物化视图支持高并发查询- 多模型支持 实时数据仓库：电商大促、物流跟踪、实时监控；OLAP多维分析与即席查询：用户行为分析、财务报表、自助式报表平台；高并发BI报表：广告主报表、Dashboard多页面分析- 统一数据分析平台：一套系统满足多维分析、高并发和实时查询，降低复杂度- 数据湖查询加速：直接对湖上数据执行高速分析
列式OLAP数据库 ClickHouse 列式存储：数据按列存储，压缩率高，减少I/O并提升查询效率；向量化执行引擎：利用CPU的SIMD指令进行并行处理，大幅提升计算性能；高性能查询：擅长大规模数据的聚合分析，查询速度极快；实时数据更新：支持实时数据插入和更新，适用于实时分析场景；多样化表引擎：提供MergeTree系列（含复制表）、Log、Memory等多种引擎，适应不同场景；数据分片与分布式查询：支持分布式部署，实现水平扩展和并行处理 实时数据分析：用户行为分析、实时报表；日志与时序数据处理：日志分析、监控指标、IoT传感器数据；商业智能(BI)：复杂的Ad-hoc查询、大数据量的报表系统；数据仓库：作为高性能数仓存储和查询大量数据
实时OLAP数据库 Apache Druid 为实时OLAP设计：低延迟（亚秒级）的交互式查询；列式存储 + 位图索引：优化快速聚合和过滤；原生支持实时数据摄入：数据写入即可查- 深度优化时序数据：原生时间分区和聚合 实时监控仪表盘、实时BI- 用户行为分析、点击流分析- 时序数据（IoT、运维监控）分析

CD

  • Spinnaker 多云 容器虚拟机混合 复杂
  • Tekton 高度模块 自定义开发
  • Argo CD 纯K8s+git 轻量 无CI
  • syncd 单二进制+Web界面 非常简单
  • Jenkins

DBA

  • GH-OST 在线表结构变更

日志

  • ELK Logstash Elasticsearch kibana Splunk
  • FluentBit Loki Promtail OpenObserve

监控

  • Promtheus DataDog
  • Grafana

虚拟打印机

  1. Ghostscript
  2. PDF相关的代码
  3. PDFCreator
  4. pdfwriterformac

语言

  • IR(Intermediate Representation) llvm 中间表示
  • 字节码 bytecode
  • 领域专用语言 Domain-Specific Intermediate Language regeex
  • AST Abstract Syntax Tree 抽象语法树

HPC 高性能计算

  • RDMA(Remote Direct Memory Access) 直接内存交换
    • InfiniBand 标准RDMA实现，需要网卡、交换机支持
    • RoCE 通过TCP实现，需要网卡支持
    • iWARP 通过二层网络实现, 需要网卡支持
  • 并行文件系统
  • openhpc hpc工具集合

CTF(Common Trace Format) 跟踪日志数据设计,用于高速日志输出

UIO

  • 驱动程序在用户态空间里实现,不支持DMA、中断等

IOMMU(Input/Output Memory Management Unit)

  • 硬件独立于CPU的MMU
  • 作用连接 DMA-capable I/O 和 主存, 将设备访问的虚拟内存转换为实际物理内存
  • 为每个直通的设备分配独立的页表，因此不同的直通设备彼此之间相互隔离
  • /dev/vfio 设备文件
  • container是内核对象,表示一个IOMMU设备,container是IOMMU操作的最小对象

VFIO

  • 把设备I/O、中断、DMA等暴露到用户空间
  • 直通的最小单元不再是某个单独的设备了,而是分布在同一个group的所有设备
  • 将IOMMU的container模拟出多个iommu_group, 用于虚拟设备.如一块物理网卡虚拟多块网卡,共享container

需求文档

  • 项目背景 业务背景、市场情况、行业情况
  • 产品目标 实现指标、解决什么、价值
  • 用户分析 痛点、特点
  • 核心场景 who where when 目标 动作
  • 业务流程 流程图、泳道图、时序图、业务架构图
  • 具体要求
  • 数据埋点
  • 风险评估
  • 迭代计划

数学键盘

崩溃报告

安装代理根证书

HTTP/1.1 200 OK
Content-Type: application/x-x509-ca-cert
Content-Disposition: filename=charles-proxy-ssl-proxying-certificate.pem
Content-Length: 1917
Proxy-Connection: close

-----BEGIN CERTIFICATE-----
MIIFTDCCBDSgAwIBAgIGAXZV03igMA0GCSqGSIb3DQEBCwUAMIGpMTowOAYDVQQDDDFDaGFybGVz
IFByb3h5IENBICgxMiBEZWMgMjAyMCwgbm9tYWRsaS1tYWMubG9jYWwpMSUwIwYDVQQLDBxodHRw
czovL2NoYXJsZXNwcm94eS5jb20vc3NsMREwDwYDVQQKDAhYSzcyIEx0ZDERMA8GA1UEBwwIQXVj
a2xhbmQxETAPBgNVBAgMCEF1Y2tsYW5kMQswCQYDVQQGEwJOWjAgFw0wMDAxMDEwMDAwMDBaGA8y
MDUwMDIwODA3MjEzMVowgakxOjA4BgNVBAMMMUNoYXJsZXMgUHJveHkgQ0EgKDEyIERlYyAyMDIw
LCBub21hZGxpLW1hYy5sb2NhbCkxJTAjBgNVBAsMHGh0dHBzOi8vY2hhcmxlc3Byb3h5LmNvbS9z
c2wxETAPBgNVBAoMCFhLNzIgTHRkMREwDwYDVQQHDAhBdWNrbGFuZDERMA8GA1UECAwIQXVja2xh
bmQxCzAJBgNVBAYTAk5aMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEApN5H38rCutIY
dmZePtq50N/vtIfulcS/Mx0wKJVB01sujrFKelIKn8fXhlPy9YvoQd+kZnEq3RNfrMngo+CKZ4bQ
IzA+mMpyL76z+2NoQiI1O7bT5iW+HNEExGeerK5ZfSfXiYLa7dNWhktNpRY1+ISXvsHUFrNR8JMG
sVpGNxReuIbz5lDscWuwO/7fjSQBDtHWgw+edYCn6EkxcDuszGSaIIG65ZqkLVnU7rnDv/Ltxaqe
Toqq8X7HhuTB+0mVmBYHS+oU/OUkqj8rsGQI48ifFWAYu1tKcIm03kUMHKTQGS3+AL6UabLJp/Gn
2sqo57ipSyeucx7e4EETwmz6twIDAQABo4IBdDCCAXAwDwYDVR0TAQH/BAUwAwEB/zCCASwGCWCG
SAGG+EIBDQSCAR0TggEZVGhpcyBSb290IGNlcnRpZmljYXRlIHdhcyBnZW5lcmF0ZWQgYnkgQ2hh
cmxlcyBQcm94eSBmb3IgU1NMIFByb3h5aW5nLiBJZiB0aGlzIGNlcnRpZmljYXRlIGlzIHBhcnQg
b2YgYSBjZXJ0aWZpY2F0ZSBjaGFpbiwgdGhpcyBtZWFucyB0aGF0IHlvdSdyZSBicm93c2luZyB0
aHJvdWdoIENoYXJsZXMgUHJveHkgd2l0aCBTU0wgUHJveHlpbmcgZW5hYmxlZCBmb3IgdGhpcyB3
ZWJzaXRlLiBQbGVhc2Ugc2VlIGh0dHA6Ly9jaGFybGVzcHJveHkuY29tL3NzbCBmb3IgbW9yZSBp
bmZvcm1hdGlvbi4wDgYDVR0PAQH/BAQDAgIEMB0GA1UdDgQWBBQ4vrYuvJb3rEr/INCsRWKBqBmS
ejANBgkqhkiG9w0BAQsFAAOCAQEAU4UbEAzF/GGVnK13AdcOSdyczC1G1ru4oiBZNXK8QYlLcxFs
rOyWhqTKDjetd2IwQs28sq8tRrHb0fr23pOT+l3nOUG9iawobRElrZkrOASf+MTImIr5dKOLCNY8
RS7G/kWRGhS591bGK1NHOhIBKqaiIOrGuVDTk0pS8L7N0PRUcpmzrvhTbdzufl1NqsLex+XI++z6
f9NT5BN9HkgKytAgfcufzuUlm8OQZ+5ghao2rSy9vweJ+3VCmYewncfvYCq0DisO+CgnoMKw9ED6
h2VKXn+k5iforQ0dTOgu9bjj6KUf8uRnNFRMzEVs4db2U2c+hGtSRnJGpZkUNDaSmg==
-----END CERTIFICATE-----

excalidraw.com 在线绘图网站

CATALOG
    FEATURED TAGS
    server markdown safe IOS other android golang java ios
    FRIENDS