[OpenPose] 영상 인물 뼈대(skeleton) 검출

이전 포스팅에서 OpenPose를 활용하여 이미지 속 인물의 skeleton을 검출해 보았습니다. 이제 영상에 적용시켜 테스트를 진행해 보겠습니다. 필요한 모델 파일들에 대한 설명은 하단 링크의 이전 포스팅을 참고하면 되겠습니다.

https://prlabhotelshoe.tistory.com/27

[OpenPose] 이미지 인물 뼈대(skeleton) 검출

---

소스코드

import cv2 as cv
import os
os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"   
os.environ["CUDA_VISIBLE_DEVICES"]="0"

#-- 파츠명 선언
BODY_PARTS = {
                "Head": 0, "Neck": 1, "RShoulder": 2, "RElbow": 3, "RWrist": 4,
                "LShoulder": 5, "LElbow": 6, "LWrist": 7, "RHip": 8, "RKnee": 9,
                "RAnkle": 10, "LHip": 11, "LKnee": 12, "LAnkle": 13, "Chest": 14,
                "Background": 15
            }

POSE_PAIRS = [["Head", "Neck"], ["Neck", "RShoulder"], ["RShoulder", "RElbow"],
                ["RElbow", "RWrist"], ["Neck", "LShoulder"], ["LShoulder", "LElbow"],
                ["LElbow", "LWrist"], ["Neck", "Chest"], ["Chest", "RHip"], ["RHip", "RKnee"],
                ["RKnee", "RAnkle"], ["Chest", "LHip"], ["LHip", "LKnee"], ["LKnee", "LAnkle"] ]

#-- 모델 파일 불러오기
protoFile = "./pose_deploy_linevec_faster_4_stages.prototxt" #-- 자신의 환경에 맞게 경로 변경할 것
weightsFile = "./pose_iter_160000.caffemodel" #-- 자신의 환경에 맞게 경로 변경할 것

#-- network 불러오기
net = cv.dnn.readNetFromCaffe(protoFile, weightsFile)

#-- GPU 연동
#net.setPreferableBackend(cv.dnn.DNN_BACKEND_CUDA)
#net.setPreferableTarget(cv.dnn.DNN_TARGET_CUDA)

#-- 옵션 값 설정
threshold = 0.1
inputHeight = 368
inputWidth = 368
inputScale = 1.0/255

#-- 비디오 파일 경로
vedio_path = './vedio.mp4' #-- 자신의 환경에 맞게 경로 변경할 것

cap = cv.VideoCapture(vedio_path) #-- 캠 이용 시 vedio_path 대신 0 입력

while cv.waitKey(1) < 0:
    hasFrame, frame = cap.read()
   # frame = cv.resize(frame, dsize=(320, 240), interpolation=cv.INTER_AREA)

    if not hasFrame:
        cv.waitKey()
        break
    
    frameWidth = frame.shape[1]
    frameHeight = frame.shape[0]
    inp = cv.dnn.blobFromImage(frame, inputScale, (inputWidth, inputHeight), (0, 0, 0), swapRB=False, crop=False)
    
    net.setInput(inp)
    out = net.forward()

    points = []
    for i in range(len(BODY_PARTS)):
        heatMap = out[0, i, :, :]

        _, conf, _, point = cv.minMaxLoc(heatMap)
        x = int((frameWidth * point[0]) / out.shape[3])
        y = int((frameHeight * point[1]) / out.shape[2])


        if conf > threshold:
            cv.circle(frame, (x, y), 3, (0, 255, 255), thickness=-1, lineType=cv.FILLED)
            cv.putText(frame, "{}".format(i), (x, y), cv.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 1, lineType=cv.LINE_AA)
            points.append((x, y))
        else:
            points.append(None)


    for pair in POSE_PAIRS:
        partFrom = pair[0]
        partTo = pair[1]

        idFrom = BODY_PARTS[partFrom]
        idTo = BODY_PARTS[partTo]

        if points[idFrom] and points[idTo]:
            cv.line(frame, points[idFrom], points[idTo], (0, 255, 0), 1)

    t, _ = net.getPerfProfile()
    freq = cv.getTickFrequency() / 1000
    #-- 프레임 출력
    cv.putText(frame, '%.2fms' % (t / freq), (10, 20), cv.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0))

    cv.imshow('OpenPose_vedio_test', frame)

---

테스트

아무래도 코드 특성상 인물 한 명만을 인식하다 보니 한 명의 인물이 나오는 영상에 적용시켜 보았습니다.

 

 

 

또 다른 영상에 테스트한 결과

이 영상의 경우 화질이 고르지 못해 명확한 인식은 보기 어려웠습니다.