[OpenCV] 얼굴&눈 영역 인식(+졸음 인식)

OpenCV에서 제공되는 haarcascade_frontalface_alt.xml 과 dlib에서 제공되는 shape_predictor_68_face_landmarks.dat 를 활용하여 영상속 얼굴과 눈을 인식합니다. 가중치 파일의 경우 haarcascade_frontalface_alt.xml는 OpenCV 라이브러리 폴더에서 ./data/haarcascades/ 경로에 위치해 있으며(경로 확인 참조: https://prlabhotelshoe.tistory.com/3),  shape_predictor_68_face_landmarks.dat는 아래의 링크를 통해 개별적으로 다운로드 가능합니다.

http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2

 

---

#1 이미지 테스트

1-1 소스 코드

import numpy as np
import dlib
import cv2

EYES = list(range(36,48))

frame_width = 640
frame_height = 480

raw_image = cv2.imread('./sample_image.png') #-- 이미지 경로

face_cascade_name = './haarcascade_frontalface_alt.xml' #-- 본인 환경에 맞게 변경할 것
face_cascade = cv2.CascadeClassifier()
if not face_cascade.load(cv2.samples.findFile(face_cascade_name)):
    print('--(!)Error loading face cascade')
    exit(0)

predictor_file = './shape_predictor_68_face_landmarks.dat' #-- 본인 환경에 맞게 변경할 것
predictor = dlib.shape_predictor(predictor_file)

image = cv2.resize(raw_image, (frame_width, frame_height))
faces = face_cascade.detectMultiScale(image)

#- detect face area
for (x, y, w, h) in faces:
    cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)
    rect = dlib.rectangle(int(x), int(y), int(x+w), int(y+h))
        
    #- detect eye area
    points = np.matrix([[p.x, p.y] for p in predictor(image, rect).parts()])
    show_parts = points[EYES]

    for (i, point) in enumerate(show_parts):
        x = point[0,0]
        y = point[0,1]
        cv2.circle(image, (x, y), 1, (0, 255, 255), -1)

cv2.imshow('Face & Eye Area Detection', image)
#cv2.imwrite('output.png',image) #- image output 저장용
cv2.waitKey()
cv2.destroyAllWindows()

 

1-2 테스트

---

#2 영상 테스트

2-1 소스 코드

import numpy as np
import dlib
import cv2

EYES = list(range(36,48))

frame_width = 640
frame_height = 480

face_cascade_name = './haarcascade_frontalface_alt.xml' #-- 본인 환경에 맞게 변경할 것
face_cascade = cv2.CascadeClassifier()
vedio_path = './vedio.mp4' #-- 본인 환경에 맞게 변경할 것


if not face_cascade.load(cv2.samples.findFile(face_cascade_name)):
    print('--(!)Error loading face cascade')
    exit(0)

predictor_file = './shape_predictor_68_face_landmarks.dat' #-- 본인 환경에 맞게 변경할 것
predictor = dlib.shape_predictor(predictor_file)

cap = cv2.VideoCapture(vedio_path) #-- 캠 사용 시 vedio_path 대신 0 사용    

if not cap.isOpened:
    print('Could not open video')
    exit(0)

"""
#- vedio output 저장용
w = round(frame_width) # round(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = round(frame_height) # round(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = 20 # cap.get(cv2.CAP_PROP_FPS)
fourcc = cv2.VideoWriter_fourcc(*'DIVX')
out = cv2.VideoWriter('output_sample.mp4', fourcc, fps, (w, h))

"""

while cap.isOpened():
    ret, frame = cap.read()

    if not ret:
        print('Could not read frame')
        exit()

    image = cv2.resize(frame, (frame_width, frame_height))
    faces = face_cascade.detectMultiScale(image)
    
    #- detect face area
    for (x, y, w, h) in faces:
        cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)
        rect = dlib.rectangle(int(x), int(y), int(x+w), int(y+h))
        
        #- detect eye area
        points = np.matrix([[p.x, p.y] for p in predictor(image, rect).parts()])
        show_parts = points[EYES]

        for (i, point) in enumerate(show_parts):
            x = point[0,0]
            y = point[0,1]
            cv2.circle(image, (x, y), 1, (0, 255, 255), -1)

    #out.write(image) #- vedio output 저장용
    cv2.imshow('Face & Eye Area Detection', image)
    
    # q 입력시 종료
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

 

2-2 테스트

---

#3 졸음 인식 테스트

위의 예제 코드를 바탕으로 캠 화면에서 눈 영역이 특정 임계값을 벗어날 경우 졸음으로 간주하여 이를 인식하는 테스트를 시작해봅니다.

3-1 소스 코드

import numpy as np
import dlib
import cv2
import time
import winsound

RIGHT_EYE = list(range(36, 42))
LEFT_EYE = list(range(42, 48))
EYES = list(range(36, 48))

frame_width = 640
frame_height = 480

title_name = 'Drowsiness Detection'

face_cascade_name = './haarcascade_frontalface_alt.xml' #-- 본인 환경에 맞게 변경할 것
face_cascade = cv2.CascadeClassifier()
if not face_cascade.load(cv2.samples.findFile(face_cascade_name)):
    print('--(!)Error loading face cascade')
    exit(0)

predictor_file = './shape_predictor_68_face_landmarks.dat' #-- 본인 환경에 맞게 변경할 것
predictor = dlib.shape_predictor(predictor_file)

status = 'Awake'
number_closed = 0
min_EAR = 0.25
closed_limit = 10 #-- 눈 감김이 10번 이상일 경우 졸음으로 간주
show_frame = None
sign = None
color = None

def getEAR(points):
    A = np.linalg.norm(points[1] - points[5])
    B = np.linalg.norm(points[2] - points[4])
    C = np.linalg.norm(points[0] - points[3])
    return (A + B) / (2.0 * C)
    
def detectAndDisplay(image):
    global number_closed
    global color
    global show_frame
    global sign

    image = cv2.resize(image, (frame_width, frame_height))
    show_frame = image
    frame_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    frame_gray = cv2.equalizeHist(frame_gray)
    faces = face_cascade.detectMultiScale(frame_gray)
    
    for (x,y,w,h) in faces:
        cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)
        
        rect = dlib.rectangle(int(x), int(y), int(x + w),
			int(y + h))
        points = np.matrix([[p.x, p.y] for p in predictor(image, rect).parts()])
        show_parts = points[EYES]
        right_eye_EAR = getEAR(points[RIGHT_EYE])
        left_eye_EAR = getEAR(points[LEFT_EYE])
        mean_eye_EAR = (right_eye_EAR + left_eye_EAR) / 2 

        right_eye_center = np.mean(points[RIGHT_EYE], axis = 0).astype("int")
        left_eye_center = np.mean(points[LEFT_EYE], axis = 0).astype("int")

        cv2.putText(image, "{:.2f}".format(right_eye_EAR), (right_eye_center[0,0], right_eye_center[0,1] + 20),
            cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1)
        cv2.putText(image, "{:.2f}".format(left_eye_EAR), (left_eye_center[0,0], left_eye_center[0,1] + 20),
            cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1)
        
        for (i, point) in enumerate(show_parts):
            x = point[0,0]
            y = point[0,1]
            cv2.circle(image, (x, y), 1, (0, 255, 255), -1)
            
        if mean_eye_EAR > min_EAR:
            color = (0, 255, 0)
            status = 'Awake'
            number_closed = number_closed - 1
            if( number_closed<0 ):
                number_closed = 0
        else:
            color = (0, 0, 255)
            status = 'sleep'
            number_closed = number_closed + 1
                     
        sign = 'sleep count : ' + str(number_closed) + ' / ' + str(closed_limit)

        # 졸음 확정시 알람 설정
        if( number_closed > closed_limit ):
            show_frame = frame_gray
            #winsound.PlaySound("./alarm.wav", winsound.SND_FILENAME) #-- 본인 환경에 맞게 변경할 것
        
    cv2.putText(show_frame, status , (x-w,y-h), cv2.FONT_HERSHEY_DUPLEX, 2, color, 2)
    cv2.putText(show_frame, sign , (10,frame_height-20), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2)
    cv2.imshow(title_name, show_frame)
    
cap = cv2.VideoCapture(0)
time.sleep(2.0)
if not cap.isOpened:
    print('Could not open video')
    exit(0)

while True:
    ret, frame = cap.read()

    if frame is None:
        print('Could not read frame')
        cap.release()
        break

    detectAndDisplay(frame)
    
    # q 입력시 종료
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()