시선추적을 위한 신경망의 도전과 발전

신뢰할 수 있는 헤드 및 시선 추적은 운전자 모니터링에 필수적입니다. 그렇다면 왜 많은 자동차 회사들이 이 행동을 모니터링하기 위해 오래되고 지나치게 복잡한 방법에 의존하고 있을까요? 네오노드의 신경망에 대한 맞춤형 접근 방식은 고객이 신뢰할 수 있는 강력하고 신뢰할 수 있는 데이터를 제공합니다.

머리 자세 추정과 시선추적은 다양한 활용 사례가 있습니다. 사람의 시선이 어디로 향하는지 파악하는 것은 시각적 머천다이징, 광고 및 가전제품과 같은 상업적 애플리케이션에서 유용할 수 있습니다. 그러나 정확한 추적은 다음과 같은 애플리케이션에서 매우 중요합니다. 운전자 모니터링와 같은 애플리케이션에서는 데이터 무결성과 정확성이 필수적입니다.

신경망은 헤드 및 시선 추적에 사용할 정보를 얻기 위해 가장 많이 사용되는 솔루션이지만, 신경망을 사용한 후 복잡한 추가 로직이 필요하고 원하는 값을 직접 읽는 대신 신경망에서 근사치를 추출하는 추가 후처리가 필요한 구식 방식으로 적용되는 경우가 여전히 흔합니다.

가시선이 가려지면 랜드마크 아이트래킹이 실패할 수 있습니다.

시선추적의 대표적인 예는 얼굴과 눈 주위의 특정 랜드마크 지점을 찾도록 네트워크를 훈련시키는 것입니다. 이러한 랜드마크 포인트를 기반으로 실제로 관심 있는 데이터를 계산하는 로직을 추가합니다. 예를 들어, 네트워크를 훈련시켜 눈 주변의 랜드마크 포인트를 찾은 다음 2D 이미지에서 포인트의 위치를 사용하여 위아래 눈꺼풀의 가로 세로 비율과 눈의 너비를 계산하는 로직을 작성하여 눈 뜨는 정도를 찾을 수 있습니다. 이 로직이 신뢰할 수 있으려면 관심 지점 중 일부가 카메라에 가려져 있는 경우와 눈의 각도가 화면비에 영향을 미치는 경우를 고려해야 합니다.

이 방법은 수작업으로 주석을 단 사진만이 유일한 학습 데이터였던 시절에서 유래했습니다. 이러한 사진에 일관된 방식으로 주석을 달기는 어렵기 때문에 여러 계층의 근사치를 기반으로 솔루션을 구축해야 합니다. 이러한 근사치를 보완하기 위해 네트워크도 복잡해져야 하며, 더 많은 연산 능력이 필요합니다.

눈 주위의 랜드마크 포인트 - 눈의 개방도를 찾는 구식 접근 방식입니다.

복잡한 설치와 보정이 필요한 동공 중심 각막 반사(PCCR)

눈의 개방도를 결정하는 유사한 확립된 방법은 분석 대상자의 눈에서 활성 조명으로 인한 반사를 살펴보는 것입니다. 예를 들어, 눈에 반사되는 조명의 양을 연구함으로써 눈의 개방 정도를 결정할 수 있습니다. 동공 중심 각막 반사법(PCCR)을 사용하여 추적할 수 있으며, 동공 중심과 각막 반사 사이의 거리를 사용하여 시선 방향을 결정합니다.

이 방법은 위에서 언급한 랜드마크 방법보다 약간 더 정교하지만, 몇 가지 동일한 결함이 있습니다. 관심 지점을 찾은 후 추가 로직이 필요하며, 관심 지점의 오클루전을 처리하기 위한 전략이 필요합니다. 또한 하드웨어 설치 정확도에 대한 요구가 높습니다. 솔루션이 작동하려면 액티브 조명이 얼굴에 정확하게 비춰져야 합니다. 이 기술은 연구 대상의 눈과 광원 사이의 거리를 항상 알고 항상 같은 각도에서 눈을 관찰하는 아이 태킹 헤드셋에 뿌리를 두고 있습니다. 이렇게 통제된 환경에서는 이 방법을 통해 매우 정확한 결과를 얻을 수 있습니다. 그러나 이러한 정확도를 달성하려면 광범위한 단위 보정이 필요합니다. 이 방법을 사용하여 멀리서 피사체를 추적하는 경우(원격 추적이라고 함) 솔루션은 사전 보정된 "헤드박스" 내에 있는 피사체만 추적할 수 있습니다. 인물이 이미지의 어디에 있든 추적할 수 있기를 원한다면 이 솔루션은 실패할 것입니다. 이 방법은 3D 세계의 모든 복잡성을 처리하기 위해 개발된 것이 아니기 때문입니다.

신경망에 대한 새로운 접근 방식으로 복잡성 제거 및 견고성 향상

신경망에 대한 네오노드 접근 방식은 오랫동안 사용해 온 합성 데이터. 합성 데이터 팩토리를 통해 정확한 요구 사항을 충족하는 데이터를 생성할 수 있으며, 이를 통해 우리가 묻는 질문에 대한 직접적인 답을 제공하는 신경망을 만들 수 있는 가능성을 갖게 됩니다. 또한 이 데이터에서는 모든 눈과 모든 얼굴을 동일한 방식으로 처리할 수 있습니다. 주석은 전체 훈련 데이터 세트에 걸쳐 일관성을 유지합니다. 이를 통해 임베디드 애플리케이션에 적합한 경량 네트워크를 만들 수 있습니다.

시선 추적: 눈 뜨기 감지

네오노드에서는 머리 자세 추정과 시선추적에 순수 인공지능 방식을 사용합니다. 눈을 뜬 상태의 경우, 네트워크가 직접 개방 수준을 제공하도록 훈련할 수 있습니다. 진정으로 강력한 답변을 위해 이 정보는 네트워크가 현장에서 수집할 수 있는 다른 정보와 결합됩니다.

훈련 데이터에서 다양한 렌즈 매개변수, 카메라 위치 및 유형, 오클루전 현상을 시뮬레이션함으로써 훈련에서 보지 않고도 실제 세계의 모든 문제를 처리할 수 있는 시스템을 만들 수 있습니다. 중요한 특징이 눈에 보이지 않더라도 네트워크는 계속해서 사람을 성공적으로 추적할 수 있습니다. 기존의 랜드마크 감지는 검증과 시각화 측면에서 여전히 유효하지만, 랜드마크에만 의존하면 3D 세계의 복잡성을 모두 처리하기에는 부적합한 시스템이 될 수 있습니다.

PCCR 솔루션과 달리 소니의 신경망은 추가 보정 없이도 사람을 추적할 수 있습니다. 또한 사람이 이미지에서 감지될 수 있을 만큼 카메라에 충분히 가까이 있다면 이미지의 어느 위치에 있든 추적할 수 있습니다. 헤드 및 시선 추적에 대한 네오노드 접근 방식은 피사체의 원격 추적을 위해 특별히 개발되었기 때문에 까다로운 실제 조건에서 탁월한 성능을 발휘합니다.

신뢰할 수 있는 솔루션

운전자 및 실내 모니터링을 위한 네오노드의 헤드 포즈 추정 및 시선 추적 솔루션에 대한 자세한 내용은 당사에 문의하세요.