项目目标

1. 从标注关键点生成实例 bbox（训练时作为 ROI 来源）
2. ROI 裁剪并缩放到固定输入（默认 256×256）
3. HRNet 输出热力图（默认 64×64），由热力图 argmax 得到关键点
4. 可选：推理时使用自动提框（阈值+轮廓）生成 ROI，或外部 bbox（检测器/规则）提供 ROI

2. 目录结构

project_root/
  train_hrnet_lbracket.py
  predict_hrnet_lbracket.py                 # 推理脚本（仅预测）
  predict_compare_hrnet_lbracket.py         # 推理+对比标注差异（推荐）
  l_bracket_dataset_final/
    images/
      image_000000.png
      ...
    annotations/
      annotation_000000.json
      ...
    config.json
  runs/
    hrnet_lbracket/
      best.pth

3. 数据格式要求

• 顶层：
  • file_name: 图片文件名（如 image_000000.png）
  • width, height: 图像尺寸（例如 512×512）
  • annotations: 多实例列表
• annotations[i]：
  • keypoints_2d: [x, y, v] 重复 K 次（本项目 K=3）
    • v=1 表示可见；v=0 表示不可见/出视野
  • 其他字段（如 keypoints_3d, pose）可用于后续扩展，但本项目训练 2D 关键点时不强制依赖

• 三个关键点的顺序必须在整个数据集中语义一致（否则模型无法收敛）。

4. 环境依赖

pip install torch torchvision opencv-python numpy

5. 训练（train_hrnet_lbracket.py）

5.1 基本训练命令

python train_hrnet_lbracket.py \
  --data_root ./l_bracket_dataset_final \
  --work_dir ./runs/hrnet_lbracket \
  --epochs 80 \
  --batch_size 32 \
  --lr 1e-3 \
  --device cuda \
  --remove_red_dots

5.2 训练输出

• 最优模型保存为：
  • ./runs/hrnet_lbracket/best.pth
• 训练日志中会显示：
  • train_loss
  • val_loss
  • val_l2(px)：验证集关键点平均像素误差（在 ROI 输入坐标系）

5.3 训练实现要点（方案 A）

• 将每张图的多实例 annotations 展开为“每个实例一个样本”
• bbox 由该实例可见关键点外接矩形生成，并加 padding
• ROI 经过仿射裁剪到固定输入尺寸（默认 256×256）
• 输出热力图尺寸默认 64×64（=输入/4），使用 MSE loss（按可见性加权）

6. 推理预测（predict_hrnet_lbracket.py）

6.1 自动提框预测（适合白底+深色物体）

python predict_hrnet_lbracket.py \
  --ckpt ./runs/hrnet_lbracket/best.pth \
  --image ./l_bracket_dataset_final/images/image_000001.png \
  --out_json ./pred_000001.json \
  --out_vis  ./pred_000001_vis.png \
  --device cuda \
  --remove_red_dots

• out_json：每个实例的 bbox 和 3 个关键点 (x,y,score)
• out_vis：可视化 bbox 与预测关键点

6.2 外部 bbox 预测（更稳定）

python predict_hrnet_lbracket.py \
  --ckpt ./runs/hrnet_lbracket/best.pth \
  --image ./l_bracket_dataset_final/images/image_000001.png \
  --bboxes "[[10,20,120,160],[300,200,420,350]]" \
  --out_json ./pred_000001.json \
  --out_vis  ./pred_000001_vis.png

7. 对比标注差异与误差统计（推荐）（predict_compare_hrnet_lbracket.py）

python predict_compare_hrnet_lbracket.py \
  --ckpt ./runs/hrnet_lbracket/best.pth \
  --image ./l_bracket_dataset_final/images/image_000001.png \
  --ann_json ./l_bracket_dataset_final/annotations/annotation_000001.json \
  --out_vis ./compare_000001.png \
  --out_report ./compare_000001.json \
  --device cuda \
  --remove_red_dots

• pred_instances / gt_instances / matched
• overall_mean_error(px)：所有“GT可见且预测置信度>=阈值”的关键点平均像素误差
• 每个关键点 joint0/1/2 的平均误差

完整开题报告