[OpenPose] 영상 손가락 마디&관절 인식

사진 혹은 영상 속 인물들의 스켈레톤 검출에 대표적으로 쓰이는 OpenPose의 모델과 OpenCV를 활용하여 영상에서의 손가락 관절과 마디를 검출하도록 하겠습니다.

 

---

1. 모델파일 설치

필요한 파일은 'pose_deploy.prototxt', 'pose_iter_102000.caffemodel' 두 가지로 prototxt 파일의 경우 하단의 링크를 통해 다운로드 할 수 있습니다.

https://github.com/CMU-Perceptual-Computing-Lab/openpose

GitHub - CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, hand

소스코드를 zip 파일 형태로 다운로드한 뒤 압축해제 후 openpose-master -> models -> hand 의 경로에 prototxt 파일이 있습니다.

 

caffemodel 파일의 경우 하단 링크를 통해 바로 다운로드할 수 있습니다.

http://posefs1.perception.cs.cmu.edu/OpenPose/models/hand/pose_iter_102000.caffemodel

해당 링크로 더이상 다운로드가 불가하여 하단의 링크를 활용하시기 바랍니다.

 

https://www.kaggle.com/datasets/changethetuneman/openpose-model?select=pose_iter_102000.caffemodel 

openpose_model

링크 접속후 사진과 같이 다운로드 버튼을 클릭하여 파일을 다운 받습니다.(로그인 필요)

 

준비된 파일을 따로 폴더를 지정하여 저장하거나 소스코드 파일과 함께 저장하여도 무방합니다.

---

2. 소스코드

import cv2 as cv

#-- 파츠명 선언
HAND_PARTS = {
                 "Wrist": 0,
                 "ThumbMetacarpal": 1, "ThumbProximal": 2, "ThumbMiddle": 3, "ThumbDistal": 4,
                 "IndexFingerMetacarpal": 5, "IndexFingerProximal": 6, "IndexFingerMiddle": 7, "IndexFingerDistal": 8,
                 "MiddleFingerMetacarpal": 9, "MiddleFingerProximal": 10, "MiddleFingerMiddle": 11, "MiddleFingerDistal": 12,
                 "RingFingerMetacarpal": 13, "RingFingerProximal": 14, "RingFingerMiddle": 15, "RingFingerDistal": 16,
                 "LittleFingerMetacarpal": 17, "LittleFingerProximal": 18, "LittleFingerMiddle": 19, "LittleFingerDistal": 20,
             }

POSE_PAIRS = [["Wrist", "ThumbMetacarpal"], ["ThumbMetacarpal", "ThumbProximal"],
                ["ThumbProximal", "ThumbMiddle"], ["ThumbMiddle", "ThumbDistal"],
                ["Wrist", "IndexFingerMetacarpal"], ["IndexFingerMetacarpal", "IndexFingerProximal"],
                ["IndexFingerProximal", "IndexFingerMiddle"], ["IndexFingerMiddle", "IndexFingerDistal"],
                ["Wrist", "MiddleFingerMetacarpal"], ["MiddleFingerMetacarpal", "MiddleFingerProximal"],
                ["MiddleFingerProximal", "MiddleFingerMiddle"], ["MiddleFingerMiddle", "MiddleFingerDistal"],
                ["Wrist", "RingFingerMetacarpal"], ["RingFingerMetacarpal", "RingFingerProximal"],
                ["RingFingerProximal", "RingFingerMiddle"], ["RingFingerMiddle", "RingFingerDistal"],
                ["Wrist", "LittleFingerMetacarpal"], ["LittleFingerMetacarpal", "LittleFingerProximal"],
                ["LittleFingerProximal", "LittleFingerMiddle"], ["LittleFingerMiddle", "LittleFingerDistal"]]


threshold = 0.1

#-- 모델 파일 불러오기
protoFile = "./pose_deploy.prototxt.prototxt" #-- 자신의 환경에 맞게 경로 변경할 것
weightsFile = "./pose_iter_102000.caffemodel" #-- 자신의 환경에 맞게 경로 변경할 것

net = cv.dnn.readNetFromCaffe(protoFile, weightsFile)

#-- GPU 사용
#net.setPreferableBackend(cv.dnn.DNN_BACKEND_CUDA)
#net.setPreferableTarget(cv.dnn.DNN_TARGET_CUDA)

#-- 캠 사용
cap = cv.VideoCapture(0)

inputHeight = 368
inputWidth = 368
inputScale = 1.0/255

while cv.waitKey(1) < 0:
    hasFrame, frame = cap.read()

    if not hasFrame:
        cv.waitKey()
        break

    frameWidth = frame.shape[1]
    frameHeight = frame.shape[0]
    inp = cv.dnn.blobFromImage(frame, inputScale, (inputWidth, inputHeight), (0, 0, 0), swapRB=False, crop=False)
    
    net.setInput(inp)
    out = net.forward()

    points = []
    for i in range(len(HAND_PARTS)):
        heatMap = out[0, i, :, :]

        _, conf, _, point = cv.minMaxLoc(heatMap)
        x = int((frameWidth * point[0]) / out.shape[3])
        y = int((frameHeight * point[1]) / out.shape[2])


        if conf > threshold:
            cv.circle(frame, (x, y), 3, (0, 255, 255), thickness=-1, lineType=cv.FILLED)
            cv.putText(frame, "{}".format(i), (x, y), cv.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 1, lineType=cv.LINE_AA)
            points.append((x, y))
        else:
            points.append(None)


    for pair in POSE_PAIRS:
        partFrom = pair[0]
        partTo = pair[1]

        idFrom = HAND_PARTS[partFrom]
        idTo = HAND_PARTS[partTo]

        if points[idFrom] and points[idTo]:
            cv.line(frame, points[idFrom], points[idTo], (0, 255, 0), 1)

    t, _ = net.getPerfProfile()
    freq = cv.getTickFrequency() / 1000
    cv.putText(frame, '%.2fms' % (t / freq), (10, 20), cv.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0)) #-- 프레임 출력

    cv.imshow('OpenPose Hand Test', frame)

 

---

3. 테스트

 

인식은 잘 되는듯하나 두 손을 동시에는 인식할 수 없는 것을 알 수 있었습니다.

저의 경우 GPU를 연동하여 빠른 인식과 출력을 볼 수 있었는데, GPU 연동이 안 되었을 경우는 아주 느리게 출력이 됩니다. OpenCV와의 GPU 연동에 대해선 하단 링크를 참조하면 되겠습니다.

https://prlabhotelshoe.tistory.com/24 

[CUDA&OpenCV] Python 환경 OpenCV GPU 연동 (CUDA backend in OpenCV) - 1. 파일 설치