Augmented Physics: Creating Interactive and Embedded Physics Simulations from Static Textbook Diagrams

https://arxiv.org/abs/2405.18614

Augmented Physics: Creating Interactive and Embedded Physics Simulations from Static Textbook Diagrams

 

초록
우리는 정적 교과서 다이어그램을 인터랙티브한 물리 시뮬레이션으로 변환할 수 있는 머신 러닝 기반 도구인 'Augmented Physics'를 소개합니다. 이 웹 기반 시스템은 Segment Anything 및 OpenCV와 같은 컴퓨터 비전 기술을 활용하여 사용자가 물리 교과서의 다이어그램을 반자동으로 추출하고, 추출된 콘텐츠를 기반으로 인터랙티브한 시뮬레이션을 생성할 수 있도록 합니다. 생성된 인터랙티브 다이어그램은 스캔된 교과서 페이지에 원활하게 통합되어, 중력, 광학, 회로, 운동학 등 다양한 물리 개념을 학습하는 데 있어 개인 맞춤형 상호작용 학습 경험을 제공합니다. 우리는 7명의 물리학 강사와 함께한 유도 연구를 통해 네 가지 주요 증강 기법을 탐구했습니다: 1) 증강 실험, 2) 애니메이션 다이어그램, 3) 양방향 조작 도구, 4) 매개 변수 시각화. 또한, 기술 평가, 사용성 연구(N=12), 전문가 인터뷰(N=12)를 통해 우리 시스템을 평가하였습니다. 연구 결과, 이 시스템이 물리 교육에서 더 흥미롭고 개인화된 학습 경험을 촉진할 수 있음을 시사합니다.

물리 교육; 탐색 가능한 설명; 인터랙티브 페이퍼; 증강 교과서; 저작 인터페이스

 

저널 연도: 2024
저작권: ACM 라이선스
컨퍼런스: ; 2024년 5월;
CCS: 인간 중심 컴퓨팅 혼합 / 증강 현실

 

그림 1. Augmented Physics는 정적 물리 다이어그램을 광학, 운동학, 진자, 전기 회로와 같은 다양한 주제에 대해 내장된 인터랙티브 시뮬레이션으로 변환하는 머신 러닝 통합 저작 도구입니다.

 

1. 서론
물리 교육에서 인터랙티브 시뮬레이션은 학생들이 추상적인 개념을 이해하는 데 중요한 역할을 합니다 (Perkins et al., 2006). 교과서를 수동적으로 읽는 것과 달리, 인터랙티브 물리 시뮬레이션은 학습자가 복잡한 개념을 능동적으로 탐구하고 실험할 수 있도록 도와줍니다 (Perkins et al., 2006). 이러한 체험적 접근은 복잡한 원리를 더 깊이 이해하도록 돕고, 교과서나 영상보다 풍부하고 기억에 남는 학습 경험을 제공합니다 (Lee et al., 2008; Ceberio et al., 2016).

 

그러나 이러한 인터랙티브 시뮬레이션을 만드는 것은 시간 소모적이며 프로그래밍에 상당한 노력이 필요합니다. 대부분의 교사와 학생들이 이러한 기술적 능력을 갖추고 있지 않기 때문에, 온라인에서 쉽게 구할 수 있는 "기성품" 시뮬레이션에 의존할 수밖에 없습니다. 이러한 일반적인 시뮬레이션도 유용할 수 있지만, 때로는 학생들의 학습 자료와 정확히 맞지 않는 경우가 있습니다. 예를 들어, 형성 연구 결과에 따르면 학생들은 종종 교과서 내용과 정확히 일치하는 외부 시뮬레이터를 찾는 데 어려움을 겪고 있었습니다. 또한, 온라인 예시를 자신의 학습 자료와 연결시키기 위해 웹사이트와 교과서 사이를 오가야 하는 번거로움이 있습니다. 이러한 번거롭고 산만한 과정 때문에, 동적 시뮬레이션은 그 잠재적 이점에도 불구하고 현재 교육 환경에서 효과적으로 활용되지 못하고 있습니다.

 

본 논문에서는 정적 교과서 다이어그램을 증강하여 인터랙티브 물리 시뮬레이션을 만드는 새로운 접근 방식인 'Augmented Physics'를 제안합니다. Segment-Anything (Kirillov et al., 2023) 및 OpenCV와 같은 고급 컴퓨터 비전 기술을 활용하여, 사용자는 스캔된 교과서 페이지에서 다이어그램을 반자동으로 추출한 후 추출된 콘텐츠를 기반으로 인터랙티브 시뮬레이션을 생성할 수 있습니다. 본 시스템은 뉴턴 운동, 광학, 회로, 반복 애니메이션 등 다양한 유형의 시뮬레이션을 지원합니다 (그림 1). 간단한 저작 과정을 통해 사용자는 세그먼트화할 객체를 선택하고, 세그먼트화된 객체를 조작하며, 매개 변수 값을 변경하여 시뮬레이션 결과와 상호작용할 수 있습니다. 또한, 이러한 인터랙티브한 시각적 출력은 웹 기반 인터페이스를 통해 스캔된 PDF에 원활하게 겹쳐지며, 학생들이 외부 자료를 검색하거나 (Perkins et al., 2006) 시뮬레이션을 처음부터 만들 필요 없이 교과서로 학습, 실험, 놀이를 할 수 있도록 합니다 (Scott and Davis, 2013; Cheema and LaViola, 2012).

 

정적 문서에서 인터랙티브한 설명을 생성하는 아이디어는 새로운 것이 아닙니다 (Masson et al., 2023; Chulpongsatorn et al., 2023). 그러나 본 논문은 세 가지 주요 방식에서 기여를 합니다. 첫째, 우리는 새로운 이미지-시뮬레이션 파이프라인을 제안합니다. 기존 연구인 Charagraph (Masson et al., 2023) 및 Augmented Math (Chulpongsatorn et al., 2023)는 주로 표준 OCR이나 간단한 이미지 인식을 사용하는 텍스트-텍스트 또는 텍스트-그래프 파이프라인에 중점을 두고 있습니다. 하지만 물리 시뮬레이션에는 이미지 중심의 접근 방식이 필요하기 때문에 이러한 파이프라인은 충분하지 않습니다. 따라서 우리는 객체를 세그먼트화하고, 이미지를 인식하며, 이를 시뮬레이션 준비 객체로 변환하고 스캔된 다이어그램에 통합하는 파이프라인을 개발하였습니다. 우리가 아는 한, 본 연구는 이미지 기반 물리 시뮬레이터 생성에 대해 탐구하고 시연한 첫 번째 연구입니다.

 

둘째, 우리는 증강된 물리 시뮬레이션 도구의 설계 공간에 기여합니다. 우리 시스템을 설계하기 위해 7명의 물리학 강사들에게 물리 교과서를 어떻게 증강하고 싶은지 묻는 형성 유도 연구를 진행하였습니다. 그 결과 네 가지 주요 증강 전략을 확인하였습니다: 1) 증강 실험, 2) 애니메이션 다이어그램, 3) 양방향 조작 도구, 4) 매개 변수 시각화.

 

셋째, 우리는 세 가지 평가에서 얻은 통찰을 공유합니다: 기술 평가, 예비 사용성 연구 (N=12), 물리학 강사와의 전문가 인터뷰 (N=12). 기술 평가에서는 다섯 권의 물리 교과서에서 200개의 다이어그램을 사용하여 성능과 정확도를 평가했습니다. 기술 평가 결과, 우리 파이프라인은 운동학(64%), 광학(44%), 회로(15%), 애니메이션(66%) 등 다이어그램 유형에 따라 성능이 달랐습니다. 사용자 연구와 전문가 인터뷰를 통해 기존 학습 방식 (핸드아웃, 비디오, 기존 인터랙티브 웹사이트)과 우리 접근 방식을 비교하여, 우리 도구가 사용자의 요구를 어떻게 충족시키고 현재 교육 관행에 맞출 수 있는지 탐구하였습니다. 그들의 피드백에 따르면, 우리 시스템은 비디오나 온라인 시뮬레이터와 같은 기존 학습 자료를 대체하는 것이 아니라 이를 보완하는 역할을 합니다. 잘 개발된 기존 자료가 특정 주제에 대해 더 나을 수 있지만, 우리 도구는 특정 문맥에 맞춰진 주문형 개인 학습 지원을 제공합니다. 그들의 피드백과 통찰에 기반하여, 향후 배포를 위해 현재의 프로토타입 개념을 확장하는 방법에 대해 논의합니다.

 

마지막으로, 우리의 주요 기여는 다음과 같습니다:

(1) Augmented Physics: 정적 물리 다이어그램을 추출하고 애니메이션화하여 인터랙티브 시뮬레이션을 생성하는 도구.
(2) 증강 전략 세트: 7명의 물리학 강사와의 형성 유도 연구를 통해 도출된 증강 전략 세트.
(3) 통찰과 발견: 기술 평가, 사용성 연구 (N=12), 물리학 강사와의 전문가 인터뷰 (N=12)를 통해 얻은 통찰.

 

2. 관련 연구
2.1. 학습을 위한 물리 시뮬레이션
물리 시뮬레이션은 특히 교실 환경에서 학습 경험을 향상시키는 효과적인 방법으로 오랫동안 인정받아 왔습니다 (Kincaid et al., 2003; Billinghurst and Duenser, 2012; Garzón, 2021). 이러한 동기에서 연구자들은 학생들이 복잡한 물리 개념을 탐구하고 더 깊이 이해할 수 있도록 돕기 위해 다양한 시뮬레이션 응용 프로그램을 지속적으로 개발해왔습니다 (Sarı et al., 2017; Ceberio et al., 2016; Lee et al., 2008; Kaufmann and Meyer, 2008). 예를 들어, PhET (Website, [n.d.]b), MyPhysicsLab (myp, able), The Physics Classroom (Website, [n.d.]e), oPhysics (Walsh, [n.d.]), Physion (Website, [n.d.]c), Simphy (Website, [n.d.]d) 등 다양한 온라인 물리 시뮬레이터는 운동학, 자성, 소리, 회로와 같은 다양한 물리 개념의 이해를 돕습니다. 스크린 기반의 물리 시뮬레이션을 넘어, HCI 연구자들은 AR 및 가시적인 물리 시뮬레이션 도구도 탐구해 왔습니다 (예: Bogusevschi et al., 2020; Cai et al., 2013; Thees et al., 2020; Radu et al., 2019; RealitySketch (Suzuki et al., 2020), ConductAR (Narumi et al., 2015), Urp (Underkoffler and Ishii, 1999), HOBIT (Furió et al., 2017), Illuminating Clay (Piper et al., 2002), Physics Playground (Kaufmann and Meyer, 2008), Sketched Reality (Kaimoto et al., 2022), Physica (Li et al., 2023), CircuitTUI (Website, [n.d.]a)), 이는 공간적이고 체험적인 상호작용을 통해 더 매력적이고 협력적인 학습 경험을 제공합니다.

 

그러나 이러한 기존 물리 시뮬레이션 도구들은 주로 사전에 프로그래밍된 기성 시뮬레이션에 한정되어 있어, 학생들이 직면하는 특정 요구와 도전에 충분히 부응하지 못하는 경우가 종종 있습니다. 이러한 한계를 해결하기 위해, HCI 연구자들은 사용자가 필요에 따라 개인화된 물리 시뮬레이션을 만들 수 있는 저작 도구를 탐구해 왔습니다. 예를 들어, PhysInk (Scott and Davis, 2013), PhysicsBook (Cheema and LaViola, 2012), MathPad2 (LaViola and Zeleznik, 2007), ChalkTalk (Perlin et al., 2018) 같은 도구들은 사용자가 물리 다이어그램을 스케치하면 이를 자동으로 인터랙티브하고 애니메이션화된 그래픽으로 변환해 줍니다. 이러한 저작 도구들은 학생과 교사 같은 비기술적인 사용자도 프로그래밍 지식 없이 손쉽게 물리 시뮬레이션을 빠르게 생성할 수 있도록 합니다. 이러한 스케치 도구들은 교실에서 교사의 수업 도구로서 큰 잠재력을 지니고 있지만, 우리의 형성 연구에 따르면 학생들은 명확한 안내와 지침이 없는 상황에서 스스로 효과적인 시뮬레이션을 만드는 데 어려움을 겪는 경우가 많았습니다. 이러한 격차를 메우기 위해, 본 논문에서는 기존의 정적 다이어그램을 애니메이션화하여 인터랙티브 시뮬레이션을 생성하는 대안적인 접근 방식을 탐구합니다. 이는 완전히 새로운 스케치에서 시뮬레이션을 만드는 대신 기존의 다이어그램을 활용하는 접근입니다.

 

2.2. 기존 문서의 증강
이전 연구들은 정적 설명을 어떻게 더 동적이고 인터랙티브하게 만들 수 있을지 조사했습니다. 예를 들어, Victor는 '탐구 가능한 설명(Explorable Explanations)' 개념을 소개하며 과학적 읽기를 위한 다양한 인터랙티브 설명을 시연했습니다 (Victor, 2011a; Victor, 2005, 2011b, 2013a). 이러한 인터랙티브 설명은 텍스트와 데이터 간의 관계를 강조함으로써 독자의 이해를 증진시키며 (Chen and Xia, 2022; Latif et al., 2021; Kong et al., 2014), 멀티버스 분석을 통한 현장 탐구를 가능하게 합니다 (Dragicevic et al., 2019; Hohman et al., 2020). 하지만 인터랙티브 문서의 주요 한계는 프로그래밍이 필요하다는 점으로, 이를 생성하는 데 상당한 시간과 비용이 요구됩니다 (Head et al., 2022). Tangle (Victor, 2013b), Idyll Studio (Conlen et al., 2021), Data Theater (Lau and Guo, 2020)와 같은 도구들이 이 장벽을 낮추려 시도했지만, 여전히 프로그래밍이 필요해 기존의 정적 문서는 인터랙티브 설명에 사용될 수 없습니다.

 

이 문제를 해결하기 위해 연구자들은 처음부터 프로그래밍하는 대신 기존 문서를 증강하는 방법을 개발해 왔습니다. 이전 연구들은 기존 문서를 반자동으로 요약 (예: Marvista (Chen et al., 2022)), 참조 (예: HoloDoc (Li et al., 2019)), 하이라이트 (예: ScentHighlights (Chi et al., 2005), Scim (Fok et al., 2023), Kim et al., 2018), 주석 (예: Threddy (Kang et al., 2022), Contextifier (Hullman et al., 2013), textSketch (Subramonyam et al., 2020), DuallyNoted (Qian et al., 2022)), 시각화 (예: Elastic Documents (Badam et al., 2018), Jessica et al. (Hullman et al., 2018))하는 도구들을 조사했습니다. 우리 연구와 가장 관련이 있는 Charagraph (Masson et al., 2023)와 Augmented Math (Chulpongsatorn et al., 2023)는 정적 문서에서 텍스트를 추출하여 반자동으로 인터랙티브 차트와 그래프를 생성하는 방법을 탐구했습니다. 그러나 이러한 텍스트 기반 추출 방법은 물리 시뮬레이션에서는 부족합니다. 물리 시뮬레이션은 텍스트 입력보다는 시각적 표현에 많이 의존하기 때문입니다. 따라서 본 논문은 객체 세그멘테이션, 이미지 인식, 물리 시뮬레이터 생성 등을 활용하여 이미지에서 직접 인터랙티브 설명을 생성하는 새로운 파이프라인을 제안합니다.

 

2.3. 인터랙티브 다이어그램 저작 도구
이전 연구들은 기술 삽화(Zhu et al., 2011), 과학적 설명(Sarracino et al., 2017), 예술적 애니메이션(Xing et al., 2016) 등을 포함한 다양한 응용 분야에서 동적이고 인터랙티브한 다이어그램을 만들기 위한 엔드 유저 저작 도구를 탐구해 왔습니다. 교육 분야에서도 많은 온라인 도구(GeoGebra, [n.d.]; Walsh, [n.d.])와 연구 프로토타입(Saquib et al., 2021; LaViola and Zeleznik, 2007)이 인터랙티브한 저작과 애니메이션을 지원합니다. 이러한 도구들은 스케치 기반 상호작용(Willett et al., 2018; Davis et al., 2008; Kazi et al., 2014b; Kazi et al., 2016; Kazi et al., 2014a)과 물리적인 시연(Barnes et al., 2008)을 통해 사용자가 애니메이션을 만들 수 있도록 돕습니다. 이러한 저작 기법들은 3D 애니메이션(Ma et al., 2022), 비디오 증강(Hashim et al., 2023; Xia et al., 2023), 모션 그래픽 비디오(Jahanlou and Chilana, 2022) 등 다양한 분야에서 다재다능하고 적응 가능한 것으로 입증되었습니다. 비록 이러한 방법들이 동적 시각 자료의 창의적인 저작을 상당히 향상시켰지만, 물리 교과서의 설명 콘텐츠에는 이상적으로 맞춰져 있지 않을 수 있습니다. 이러한 맥락에서 애니메이션 객체는 특정한 물리적 행동을 따라야 하며, 이는 일반적인 기법이 덜 효과적일 수 있음을 의미합니다.

 

우리의 연구 초점과 유사하게, 정적 문서를 애니메이션화하는 여러 도구들이 개발되었습니다. 예를 들어, Revision(Savva et al., 2011)은 사용자가 문서 내의 텍스트와 데이터를 연결할 수 있도록 도와주며, PaperTrail(Rajaram and Nebeling, 2022)은 수동 시연을 통해 정적 문서를 증강합니다. 이러한 연구들을 기반으로, 우리는 교육 목적을 위한 인터랙티브 시각 자료의 엄청난 잠재력을 인식했습니다. 우리의 목표는 교육자와 학습자 모두가 교과서 페이지 내에서 쉽게 인터랙티브 다이어그램을 생성할 수 있도록 하여, 복잡한 탐구를 통한 풍부한 학습 경험을 촉진하는 것입니다.

 

3. 형성 연구
우리 시스템을 설계하기 위해, 우리는 7명의 물리학 강사와 함께 형성 연구를 진행했습니다. 이 연구의 목표는 두 가지였습니다: 1) 현재 물리 교육과 학습 방법을 이해하여 현재 교육 실천에서의 격차와 필요성을 식별하는 것, 2) 잠재적인 증강 전략에 대한 통찰을 얻기 위해 설계 유도를 통해 이러한 도구의 설계를 교육적 관점에서 안내하는 것이었습니다.

3.1. 방법
3.1.1. 참가자
우리는 지역 대학 커뮤니티에서 7명의 참가자를 모집했습니다 (남성 6명, 여성 1명). 모든 참가자는 물리 교육에 대한 상당한 배경 지식을 가진 학생들이었으며, 물리학과 관련 학과에서 학부(1명), 석사(5명), 박사 후보(1명)로 물리 교육의 모든 수준을 대표했습니다. 참가자들은 평균적으로 1.7년의 TA 또는 강사로서의 교육 경험을 가지고 있었습니다. 각 연구 세션은 약 한 시간 동안 진행되었으며, 연구에 참여한 대가로 모든 참가자에게 $10 상당의 아마존 기프트 카드를 제공했습니다.

3.1.2. 절차
동의서를 받은 후, 참가자들에게 HCI 연구에 대한 기본 정보를 제공하고 우리의 탐구 목표와 형성 연구의 목적을 설명했습니다. 먼저, 참가자들과 현재의 물리 교육 실천에 대한 그들의 견해를 탐구하기 위해 열린 토론을 진행하여, 새로운 도구에 대한 교육적 격차와 필요성을 확인했습니다.

 

그 다음, 우리는 이러한 격차를 채울 새로운 도구에 대한 추론을 위해 설계 유도 연구를 진행했습니다. 유도 연구를 위해, 각 참가자에게 동일한 교과서를 제공했습니다: "Physics for Scientists and Engineers: A Strategic Approach, 3rd Edition" by Randall D. Knight (Knight, 2017), 이는 전형적인 학부 1학년 물리 교과서입니다. 이 교과서를 선택한 이유는 참가자들이 사용할 수 있는 많은 다이어그램을 포함하고 있으며, 운동학, 원운동, 뉴턴 역학, 전자기학, 빛과 광학, 회로 등 물리의 다양한 주제를 다루고 있기 때문입니다.

 

참가자들이 교재를 탐색하는 동안, 우리는 그들이 접하는 정적 개념 다이어그램이 어떻게 증강될 수 있을지 상상해 보도록 요청하여 해당 개념에 대한 이해를 높이도록 했습니다. 또한 참가자들에게 교사의 관점에서 이 작업을 접근하도록 지시했습니다. 참가자들은 가능성 있는 설계를 생각하며 말하기 프로토콜을 사용하도록 요청받았습니다. 추가로, 우리는 그들에게 교과서를 일러스트로 표시할 수 있는 문구류를 제공했으며, 이는 이후 섹션에서 도형으로 번역되었습니다.

 

3.2. 현재 실천의 과제
형성 연구의 결과는 현재 물리 교육 실천에서 몇 가지 교육적 한계를 강조하며, 이러한 교육적 격차를 메우기 위한 증강된 인터랙티브 설명의 명확한 필요성을 보여줍니다.

3.2.1. 정적 시각화는 시간에 의존하는 물리 개념을 표현할 수 없음
현재 물리 교육을 위한 대부분의 교육 자료는 정적 시각화에 의존하고 있습니다. 참가자들은 정적 시각화가 단순한 개념을 설명할 때는 충분하며, 학생들이 기본 원리를 이해할 수 있도록 돕는다고 언급했습니다. 그러나 이러한 정적 시각화는 움직임을 포함하거나 시간이 지나면서 변화하는 시스템을 설명할 때는 직관적이지 못합니다. 예를 들어, 참가자 P2는 중력 잠재 에너지의 다이어그램을 언급하며 “이 물체를 가리켜 이 시점에서 어떤 힘이 작용하고 있는지 보고 싶다”고 했습니다. 시간에 의존하는 행동에 대해, P4는 “타원 궤도에서의 물체의 행동은 정적 다이어그램으로는 정확히 묘사되지 않는다”고 지적하며, 궤도를 따라 진행하는 천체의 변화하는 속도를 제대로 보여주지 못한다고 말했습니다.

3.2.2. 비디오는 이해를 돕지만 실험 기회를 제공하지 않음
참가자들은 학부 물리학 학생들이 이해하기 어려운 개념을 더 잘 이해하기 위해 유튜브 비디오를 자주 시청하도록 권장된다고 언급했습니다. 그러나 이 비디오들 역시 상호작용성과 실험 가능성 측면에서 한계를 가지고 있다고 지적했습니다. 예를 들어, P1은 “유튜브 비디오는 인터랙티브하지 않다”며, “상호작용이 가능할 때 직관을 형성하는 데 도움이 된다”고 말했습니다. 물리학의 직관적 학습은 실험에 크게 의존하기 때문에 상호작용성의 부재는 단점으로 여겨졌습니다.

3.2.3. 시뮬레이션 도구는 충분한 교육적 발판을 제공하지 않음
대부분의 참가자들은 온라인 시뮬레이션 도구에 익숙했으나, 이러한 시뮬레이터들이 종종 학생들에게 물리 시뮬레이션을 직접 생성하도록 요구하며, 이는 해당 주제에 대한 탄탄한 이해를 전제로 한다고 언급했습니다. 회로 시뮬레이터를 예로 들어, 학생들은 회로를 처음부터 만들어야 한다고 하였으며, 이는 개방형 실험을 촉진하지만 어떻게 시작해야 할지에 대해 불확실함을 느끼게 할 수 있습니다. 반면, 교과서는 기존의 다이어그램을 통해 발판을 제공하여 의미 있는 시뮬레이션을 만드는 데 필요한 단계를 줄일 수 있습니다. P2와 P7에 따르면 교과서는 이미 주제를 이해하는 데 도움을 주는 “안내 단계”를 제공합니다. 따라서 참가자들은 시뮬레이션 도구가 다른 자료를 보완하는 유익한 도구가 될 수 있지만, 그것에만 의존하는 것은 도전을 야기할 수 있다고 느꼈습니다.

 

교실 물리 교육을 보충하기 위해 외부 자원을 사용하는 것은 학생들에게 두 가지 주요 도전을 야기합니다: 첫째, 해당 콘텐츠가 교실의 고유한 커리큘럼과 직접적으로 맞지 않을 수 있으며, 둘째, 주요 자료에서 벗어나면 집중력이 흐트러질 수 있습니다. 교실 자원에 이미 존재하는 정적 다이어그램을 증강함으로써, Augmented Physics는 이러한 문제를 직접 해결합니다. 여러 참가자들은 외부 자원을 찾는 것보다 학습 자료에서 시각 자료를 개선하는 것이 이점이 있다고 인식했습니다. 그들은 교실에서 소개된 예시가 기본적인 이해를 제공하며, 이를 추가적인 증강 시각 자료를 통해 더 풍부하게 할 수 있다고 믿었습니다.

3.2.4. 외부 콘텐츠는 핵심 학습에서 벗어나고 집중을 방해할 수 있음
이러한 단점들 외에도, 교실 자료를 보충하기 위해 외부 콘텐츠를 찾는 것은 두 가지 주요 도전을 야기합니다. 첫째, 외부 콘텐츠는 항상 교실에서 가르치는 개념과 밀접하게 일치하지 않을 수 있습니다. 기존 시뮬레이션 도구들이 일반화된 실험을 제공하기 때문에, 학생들은 스스로 이를 문맥에 맞추고 그 격차를 메워야 합니다. 둘째, 핵심 자료에서 초점을 벗어남에 따라 학생들은 유튜브 비디오의 다른 콘텐츠나 추천 영상과 같은 산만함에 직면하는 경우가 많습니다. 이러한 문제를 고려하여, 여러 참가자들은 외부에서 찾는 것보다 자신의 자료에서 발견되는 시각화를 증강하는 것의 명확한 장점과 필요성을 강조했습니다. 그들은 교실에서 소개된 예시들이 기본적인 정신적 발판을 제공하며, 증강된 시각화를 통해 이를 더욱 강화할 수 있다고 믿었습니다.

 

3.3. 유도된 증강 전략
우리 시스템을 개발하는 과정에서 우리는 운동학, 광학, 전자기학, 뉴턴 중력, 음향학, 열역학 등 다양한 주제에 대한 참가자들의 설계 제안을 수집했습니다. 이러한 피드백에서 네 가지 주요 증강 기술 범주를 식별할 수 있었습니다. 이 섹션에서는 참가자들의 아이디어를 설명하는 스케치와 함께 이러한 기술들을 설명합니다.

증강 실험
가장 인기 있는 접근 방식은 물리 원리에 기반하여 다이어그램을 동적으로 시뮬레이션하고, 학생들이 교과서에 묘사된 개념과 상호작용하며 실시간 피드백을 통해 실험을 시각화할 수 있도록 하는 것이었습니다. 예를 들어, 참가자들은 렌즈의 위치가 변경될 때 빛의 경로가 굴절하는 것을 관찰하는 것을 상상했습니다. 그들은 이러한 시뮬레이션이 개념의 직관적 이해를 얻는 데 얼마나 중요한지 강조했습니다. 또한 참가자들은 렌즈의 굴절률을 변경하여 빛의 경로에 미치는 영향을 관찰하는 등 시뮬레이션 매개변수를 수정하고 싶어했습니다. 이러한 욕구는 충돌 시뮬레이션에서 질량이나 속도와 같은 매개변수까지 확장되어, 사용자 정의된 변경에 시뮬레이션이 반응할 필요성을 강조했습니다. 예를 들어, 다이어그램이 두 개의 궤도 물체를 보여주고 이들의 질량이 변경되면, 시뮬레이션은 궤도의 중심과 이심률을 적절히 조정해야 한다고 말했습니다.

그림 2. 증강 실험
(그림에는 증강 실험의 예시가 포함되어 있습니다)

 

애니메이션 다이어그램
정적 다이어그램을 애니메이션화하는 것도 참가자들의 피드백에서 나온 또 다른 주요 기술이었습니다. 증강 실험과 달리, 이 기술은 시뮬레이션된 행동보다는 반복적인 애니메이션에 더 초점을 맞춥니다. 참가자들은 시간 경과에 따른 변화를 동적으로 시연하는 다이어그램을 보고 싶어하는 의견을 일치시켰습니다. 정적 다이어그램은 종종 변화하는 시스템을 적절히 전달하지 못하기 때문입니다. 예를 들어 음향학 분야에서는 소리와 전자기파의 연속적인 움직임을 묘사하는 애니메이션이 필요하다고 지적했습니다. 유튜브 비디오에서 볼 수 있는 애니메이션의 교육적 가치를 인식한 참가자들은, 단순한 애니메이션이라도, 예를 들어 물체가 궤도를 따라가는 것과 같은 움직임을 보이면 개념의 직관성과 몰입을 크게 향상시킬 수 있다고 믿었습니다.

그림 3. 애니메이션 다이어그램
(그림에는 애니메이션 다이어그램의 예시가 포함되어 있습니다)

 

양방향 조작 도구
물리학은 종종 시스템의 측정 가능한 매개변수 간의 양방향 관계를 포함합니다. 운동학에서의 예로는 운동 에너지와 위치 에너지 간의 관계, 또는 질량과 가속도 간의 관계가 있습니다. 교과서는 일반적으로 이러한 개념을 데이터 시각화와 실제 시나리오의 그래픽 묘사와 함께 제시합니다. 우리 연구에서 제공된 예시는 일정 높이에서 떨어지는 공을 보여주는 다이어그램과, 공이 떨어질 때 변화하는 운동 에너지와 위치 에너지를 막대 그래프로 나타낸 것입니다. 참가자들은 이러한 시각화의 정적인 특성이 이해를 제한한다고 언급했습니다. 정적 데이터 시각화 대신, 그들은 페이지에서 공의 높이를 조정하고 이러한 변화가 막대 그래프에 어떻게 반영되는지를 실시간으로 보는 옵션을 선호했습니다. 추가 논의에서는 그 반대 방향에 대한 욕구도 밝혀졌습니다: 막대 그래프를 조작하여 공의 높이가 조정되는 것을 보는 것입니다. 따라서 참가자들은 정적 다이어그램의 증강을 통해 시스템 매개변수 간의 양방향 관계를 작동 가능하게 만드는 데 관심을 보였습니다.

그림 4. 양방향 조작 도구
(그림에는 양방향 조작 도구의 예시가 포함되어 있습니다)

 

매개변수 시각화
참가자들은 교과서에 있는 다이어그램 중 시각적 데이터가 수반되지 않은 것에 대해 데이터 시각화를 생성하는 데 관심을 표명했습니다. 예를 들어, 회로와 관련하여 두 명의 참가자는 회로 다이어그램의 임의 두 지점 간의 전압을 측정할 수 있는 디지털 오실로스코프의 잠재적 이점을 언급했습니다. 추가로 한 명의 참가자는 타원 궤도에서 행성의 움직임을 속도-시간 그래프로 표현하여, 근일점에서의 행성 속도 증가와 궤도의 이심률 변화와의 관계를 보여주기를 제안했습니다.

그림 5. 매개변수 시각화
(그림에는 매개변수 시각화의 예시가 포함되어 있습니다)

 

4. Augmented Physics: 시스템 설계
4.1. 개요
이 섹션에서는 비기술적인 사용자가 정적 다이어그램에서 인터랙티브한 물리 시뮬레이션을 생성할 수 있도록 설계된 머신 러닝 기반 저작 도구인 'Augmented Physics'를 소개합니다. 우리 웹 기반 도구는 학생과 강사 등 사용자가 물리 교과서에서 다이어그램을 반자동으로 추출하고, 스캔된 교과서 페이지와 원활하게 통합된 시뮬레이션을 생성할 수 있도록 돕습니다. 우리의 연구는 주로 미국의 고등학교에서 가르치는 뉴턴 운동, 광학, 전기 회로와 같은 기본 물리 개념에 중점을 둡니다. 양자역학과 같은 더 고급 주제는 현재 범위에 포함되지 않지만, 우리의 적응형 애니메이션 다이어그램 기술은 사용자가 이러한 개념에 대한 애니메이션 일러스트레이션을 만들 수 있도록 합니다. 또한, 우리는 HCI 커뮤니티가 우리의 프로토타입과 방법을 더 발전시키도록 독려하기 위해 머신 러닝 파이프라인과 브라우저 기반 시뮬레이터를 포함한 시스템을 오픈 소스로 제공했습니다.

 

그림 6. 광학 다이어그램의 인터랙티브 시뮬레이션

1. 사용자가 객체, 렌즈, 초점을 세그먼트화합니다. 2) 시스템이 겹쳐진 시뮬레이션을 생성합니다. 3) 사용자가 객체와 초점과 상호작용하여 변화를 관찰합니다.

4.2. 저작 워크플로우
우리의 저작 워크플로우는 다음 단계로 구성됩니다: 1) 교과서 페이지 가져오기, 2) 시뮬레이션 유형 선택, 3) 이미지 추출 및 세그먼트화, 4) 세그먼트화된 이미지에 역할 할당, 5) 시뮬레이션 생성 및 실행, 6) 매개변수 조작을 통한 시뮬레이션 결과와의 상호작용. 이후 섹션에서는 고등학교 물리 교과서에서 가져온 일련의 예시를 사용해 이 워크플로우를 설명합니다.

1단계. 교과서 다이어그램 가져오기
첫 번째 단계는 사용자가 웹 인터페이스를 통해 다이어그램을 가져오는 것입니다. 우리 시스템은 데스크탑과 모바일 장치 모두를 지원하며, 사용자는 컴퓨터에서 PDF 파일로 교과서 페이지를 업로드하거나 스마트폰으로 교과서 페이지를 찍어 업로드할 수 있습니다.

2단계. 시뮬레이션 유형 선택
다이어그램을 가져온 후, 시스템은 사용자가 사용할 수 있는 시뮬레이션 유형 중에서 선택하도록 요청합니다. 사용자는 운동학, 광학, 회로의 세 가지 특정 시뮬레이션 범주 중 하나를 선택할 수 있습니다. 또한 특정 유형의 시뮬레이션이 필요하지 않은 경우를 위한 애니메이션 옵션도 제공됩니다.

3단계. 이미지 세그먼트화
다음 단계는 이미지 세그먼트화입니다. 사용자는 박스나 점을 사용하여 다이어그램에서 특정 영역을 선택하여 세그먼트화를 시작합니다. 예를 들어, 사용자가 광학 관련 다이어그램에서 나무와 렌즈를 선택하여 이 객체들을 세그먼트화할 수 있습니다 (그림 6). 다른 경우에는 뉴턴 운동과 관련된 다이어그램에서 다양한 객체, 예를 들어 물체와 경사면 등을 세그먼트화할 수 있습니다 (그림 7). 또한, 사용자는 선을 세그먼트화하여 라인 팔로우 애니메이션을 생성하기 위한 경로를 추출할 수도 있습니다 (그림 10).

그림 7. 운동학 다이어그램의 인터랙티브 시뮬레이션

1. 사용자가 경사면을 정적 객체로 세그먼트화합니다. 2) 사용자가 스키어를 동적 객체로 세그먼트화합니다. 3) 시스템이 시뮬레이션을 생성하고 실행합니다.

4단계. 세그먼트화된 객체에 역할 할당
세그먼트화 이후, 사용자는 각 세그먼트화된 객체에 라벨을 할당하여 시뮬레이션 내에서 특정 역할을 부여합니다. 시스템은 각 시뮬레이션 유형에 맞는 역할 목록을 제공하여 사용자가 선택할 수 있도록 합니다. 예를 들어, 광학 시뮬레이션에서 사용자는 나무를 투영할 객체로, 렌즈는 렌즈로, 초점은 초점으로 라벨링할 수 있습니다 (그림 6). 중력 관련 시나리오에서는 세그먼트화된 항목을 동적 객체(중력의 영향을 받음) 또는 정적 객체(고정됨)로 분류할 수 있습니다 (그림 7). 추가로 스프링이나 줄과 같은 라벨은 운동학 다이어그램에서 사용할 수 있습니다 (그림 11). 회로 시뮬레이션의 경우 시스템은 이미지 인식을 통해 저항기나 배터리와 같은 객체를 자동으로 분류합니다 (그림 9).

5단계. 시뮬레이션 생성 및 실행
사용자가 이미지를 세그먼트화하고 역할을 할당한 후, 시스템은 세그먼트화된 이미지를 물리 시뮬레이션에 적합한 속성을 가진 다각형으로 변환하여 시뮬레이션을 생성합니다. 예를 들어, 그림 7에 나타난 스키어와 경사면은 각각 동적 객체와 정적 객체로 다각형으로 정확하게 재현됩니다. 이 접근 방식은 시뮬레이션이 원래 다이어그램과 원활하게 통합되어 이미지 내의 모양과 위치가 일치하도록 보장합니다. 이러한 단계를 완료한 후, 시뮬레이션은 실행 준비가 됩니다. 사용자는 실행 버튼을 클릭하거나 렌더링된 다각형과 상호작용하여 동적 시각 출력을 볼 수 있습니다 (그림 8). 또한 사용자는 시뮬레이션 객체를 클릭하고 매개변수를 변경할 수 있습니다.

6단계. 매개변수 조작을 통한 시뮬레이션과의 상호작용
사용자는 시뮬레이션 내의 매개변수를 조정할 수 있는 유연성을 가집니다. 역할에 따라 다른 객체는 질량(동적 객체), 마찰(정적 객체), 스프링 상수 등의 다양한 매개변수를 갖습니다. 또한, 시스템은 텍스트나 이미지 내의 매개변수 값을 인식하여 사용자가 페이지의 수치 값을 조작할 수 있도록 합니다. 예를 들어, 전기 회로 시뮬레이션에서는 저항기나 배터리의 값을 변경하여 시뮬레이션 결과를 동적으로 바꿀 수 있습니다. 또한 사용자는 텍스트의 수치 값을 시뮬레이션 내 객체의 특정 속성에 간단히 바인딩하여 연결할 수 있습니다.

 

그림 8. 다른 광학 다이어그램에 대한 인터랙티브 시뮬레이션, 사용자가 인터랙티브한 시뮬레이션 결과를 볼 수 있음
(그림에는 광학 다이어그램의 인터랙티브 시뮬레이션 예시가 포함되어 있습니다)

 

4.3. 지원되는 증강 기능
우리는 다음 네 가지 증강 기술을 개발했습니다: 1) 증강 실험, 2) 애니메이션 다이어그램, 3) 양방향 조작 도구, 4) 매개변수 시각화. 이러한 기능들은 교사들이 학생들을 위해 만들고자 하는 다양한 시뮬레이션 실험을 지원하도록 맞춰져 있습니다.

4.3.1. 증강 실험
증강 실험은 교과서 이미지를 인터랙티브한 시뮬레이션으로 변환하여 학생들이 매개변수를 조작하고 다이어그램과 상호작용할 수 있도록 합니다. 예를 들어, 그림 6에서 학생들은 시뮬레이션 내에서 나무 객체를 볼록 렌즈에 더 가까이 드래그하여 물체와 같은 쪽에 가상 이미지가 형성되는 것을 관찰할 수 있습니다. 또는, 그림 9에서 볼 수 있듯이 회로 시뮬레이션에서는 사용자가 각 전자 부품의 전압과 저항 값을 수정하여 전류 흐름을 변경할 수 있습니다. 이를 통해 회로 내의 지점에서 전류와 전압의 변화를 실시간으로 관찰할 수 있습니다.

 

그림 9. 전기 회로 다이어그램의 증강 실험

1. 사용자가 먼저 다이어그램을 선택합니다. 2) 시스템이 겹쳐진 시뮬레이션을 생성합니다. 3) 사용자가 시뮬레이션의 값을 조작합니다.

앞서 언급했듯이, 우리 시스템은 세 가지 시뮬레이션 범주를 지원합니다: 1) 운동학: 중력, 뉴턴 운동, 스프링, 진자; 2) 광학: 렌즈, 빛의 반사, 거울을 통한 이미지 형성; 3) 전기 회로: 전자 회로에서의 전류 흐름을 시뮬레이션하는 데 집중합니다.

 

4.3.2. 애니메이션 다이어그램
애니메이션 다이어그램은 반복적인 애니메이션을 생성하는 방법을 제공합니다. 사용자는 세그먼트화된 객체가 따라야 할 경로를 지정하여 움직임을 시뮬레이션하는 애니메이션을 만들 수 있습니다. 예를 들어, 그림 10은 사용자가 객체를 세그먼트화하고 애니메이션 경로를 정의하여 빛이 각도에 따라 반사의 다양한 경로를 따라가는 방법을 보여줍니다. 이 기능을 통해 교과서의 내용을 직접 매력적인 애니메이션으로 만들 수 있으며, 지구가 태양을 공전하는 것과 같은 애니메이션을 생성할 수 있습니다. 더욱이 증강 실험과 달리 애니메이션 다이어그램은 사용 가능한 시뮬레이션에 제한되지 않으며, 모든 다이어그램에 적용될 수 있습니다.

 

그림 10. 빛의 굴절 다이어그램을 위한 애니메이션 다이어그램

1. 사용자가 광자를 세그먼트화합니다. 2) 사용자가 굴절 경로를 세그먼트화합니다. 3) 시스템이 광자를 경로를 따라 애니메이션화합니다.

4.3.3. 양방향 조작 도구
양방향 조작 도구는 저자가 텍스트에서 파라미터 값을 관련된 시뮬레이션과 연결할 수 있도록 합니다. 이 기능은 학생들이 텍스트 내에서 이러한 값을 직접 조정하고 실시간으로 변화를 관찰할 수 있게 합니다. 초기에는 시스템이 저자에게 제공된 이미지 내 모든 숫자를 식별하고 강조 표시합니다. 이후 저자는 텍스트에서 특정 수치 값을 선택하고 드롭다운 메뉴를 통해 해당 값을 시뮬레이션 속성에 할당할 수 있습니다. 예를 들어, 그림 11은 사용자가 텍스트의 값을 스프링의 압축 속성에 바인딩하여, 시스템이 이 값을 사용하여 스프링의 압축을 변경함으로써 시나리오를 시뮬레이션하는 방법을 보여줍니다.

 

그림 11. 운동학 다이어그램을 위한 양방향 조작 도구

1. 사용자가 먼저 값을 선택하고 바인딩합니다. 2) 사용자가 값을 드래그합니다. 3) 시스템이 업데이트된 값을 기반으로 시뮬레이션을 실행합니다.

4.3.4. 매개변수 시각화
마지막으로 매개변수 시각화는 저자가 선택한 값을 동적 그래프로 시각화할 수 있도록 합니다. 시스템은 이를 기본적인 시계열 그래프로 시각화합니다. 예를 들어, 그림 12에서 사용자는 진자가 평형 위치에 접근하면서 조화 운동을 하는 동안 각도의 변화를 보여주는 그래프를 관찰할 수 있습니다.

 

그림 12. 진자 다이어그램을 위한 매개변수 시각화

1. 사용자가 진자를 시뮬레이션하기 시작합니다. 2) 사용자가 사용 가능한 매개변수를 선택합니다. 3) 시스템이 시간 경과에 따른 변화를 시각화합니다.

4.4. 구현
우리 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다: Python을 사용한 백엔드 컴퓨터 비전 파이프라인 모듈과 React.js로 개발된 프런트엔드 웹 인터페이스입니다. 컴퓨터 비전 모듈은 Segment-Anything(Kirillov et al., 2023)이라는 널리 사용되는 이미지 세그멘테이션 모델을 통합하였으며, OpenCV를 통해 커스텀으로 개발된 선과 윤곽 감지 알고리즘을 포함하고 있습니다. 프런트엔드와 백엔드 간의 통신은 Firebase 실시간 데이터베이스를 통해 이루어지며, 제공된 입력 좌표를 바탕으로 이미지를 처리합니다. 결과물인 추출된 이미지, 선 또는 점은 이후 Firebase를 통해 다시 전달됩니다. 또한, 우리는 추출된 이미지 세그먼트의 경계 상자와 X 및 Y 좌표를 계산하고 이 데이터를 프런트엔드로 전송합니다. 텍스트 인식과 수치 값 추출을 위해 Google의 Cloud Vision API를 사용합니다. 프로토타입과 기술 평가를 위해 프런트엔드에서는 MacBook Air 14인치 2022(M2, 10-코어 통합 GPU, 16GB RAM)를 사용했고, 백엔드에서는 Google Colab(CPU: Intel Xeon 4코어, GPU: Nvidia T4, RAM: 50GB)을 사용했습니다.

 

4.4.1. 운동학 시뮬레이션
우리의 운동학 시뮬레이션에서는 2D 뉴턴 물리 시뮬레이션을 위한 널리 인정된 JavaScript 라이브러리인 MatterJS를 사용합니다 링크. 사용자가 추출한 이미지는 실제 형태를 반영하는 2D 다각형으로 변환됩니다. 이 다각형은 이후 물리 엔진에 강체로 통합되며, 세그먼트화된 이미지는 스프라이트로 사용됩니다. 이러한 스프라이트는 사용자 정의 속성을 부여받아 정적 또는 동적 객체로 지정되며, 정적 객체는 고정된 상태로 남아있고, 동적 객체는 중력이나 시간과 같은 시뮬레이션 요소의 영향을 받습니다. 저자는 또한 스프링, 선, 또는 추출된 객체를 추가로 포함시킬 수 있는 옵션이 있습니다. 세그먼트화된 이미지와 생성된 다각형의 정렬은 각 객체의 경계 상자를 일치시킴으로써 이루어지며, 이를 통해 강체가 다이어그램에 정확히 겹쳐지도록 보장합니다.

 

4.4.2. 애니메이션 다이어그램
우리의 애니메이션 파이프라인도 Segment-Anything 모델을 사용하여 사용자가 지정한 경로를 다이어그램에서 추출합니다. 이는 전통적인 선 추출 방법보다 더 효과적인 솔루션을 제공합니다. 모델의 긍정적 및 부정적 프롬프트를 처리하는 능력을 활용하여, 사용자는 클릭으로 선택한 경로를 지정하고 이를 경로로 표시할 수 있습니다. 이 기능을 통해 이미지에서 추가 경로 점을 클릭하여 추가하고, 원하지 않는 세그먼트를 "부정적" 점으로 식별하여 제거함으로써 경로 선택의 정확성과 경로 추출의 전반적인 정확성을 개선할 수 있습니다. 경로 세그먼트를 이미지 마스크로 격리한 후, 우리는 OpenCV와 skimage를 사용하여 마스크를 1픽셀 너비로 정제하는 스켈레톤화와 얇아지기 기법을 적용하여 불필요한 아티팩트나 노이즈를 효과적으로 제거합니다. 그 결과 명확한 경로 점 집합이 정의되어 애니메이션에 준비됩니다. 애니메이션 실행을 위해 GSAP.js 애니메이션 라이브러리를 사용합니다 링크. 이를 통해 정해진 경로를 따라 객체를 애니메이션화하며, 필요한 경우 속도나 방향과 같은 추가적인 애니메이션 매개변수를 통합합니다.

 

4.4.3. 광학 시뮬레이션
우리는 P5.js 시각 그래픽 라이브러리를 활용하여 맞춤형 광학 시뮬레이터를 개발했습니다 링크. 현재 우리의 시뮬레이터는 볼록 렌즈, 오목 렌즈, 거울을 지원합니다. 이는 물체와 초점 위치를 기반으로 두 개의 대표적인 광선의 위치를 계산하여 일반적으로 수동으로 다이어그램을 그리는 방식을 모방합니다.

 

4.4.4. 회로 시뮬레이션
우리는 회로 이론의 원칙, 예를 들어 키르히호프 법칙을 통합한 맞춤형 회로 시뮬레이터를 웹 브라우저 내에서 작동하도록 개발했습니다. 지원 벡터 머신 분류기를 사용하여 시스템은 회로 다이어그램 내 저항기, 커패시터, 배터리 기호를 식별하고 세그먼트화합니다. 이후 윤곽 감지를 통해 선을 격리하고 방향에 따라 이를 구별하는 작업을 수행합니다. 다이어그램 내에서 접점을 식별함으로써 시스템은 감지된 저항기나 전압원의 경계 상자를 자동으로 선(전선)과 연결합니다. 회로는 간단한 배열 구조로 표현되며, 이는 Firebase 실시간 데이터베이스를 통해 프런트엔드로 전송되고 이후 웹 브라우저 환경에서 시뮬레이션을 통해 시각화됩니다.

 

4.5. 기술 평가
4.5.1. 방법
우리는 기술 평가를 통해 파이프라인의 정확성과 다양성을 평가했습니다. 먼저 운동학, 광학, 회로 이론, 자기학 등의 주제를 다루는 여섯 권의 물리 교과서를 수집했습니다. 각 교과서에서 각 시뮬레이션 범주(운동학, 회로, 광학, 애니메이션)에 관련된 다이어그램이 포함된 페이지를 무작위로 10페이지씩 선택하여, 총 200개의 다이어그램을 샘플 데이터셋으로 만들었습니다. 우리는 이 다이어그램들에 대해 각 시뮬레이터 범주에 맞추어 감지 파이프라인을 적용했습니다. 객체 세그먼트화의 경우, 마우스 상호작용을 통해 객체를 간단히 선택합니다. 선 세그먼트화(애니메이션 다이어그램의 경우)를 위해서는 네 개의 점, 즉 두 개의 긍정적 프롬프트와 두 개의 부정적 프롬프트를 사용하여 선을 세그먼트화합니다. 이후, 표준화된 자동 검사 방법이 없기 때문에 여러 저자가 생성된 결과물을 수동으로 검토하며, 아래 설명된 기준에 따라 평가합니다. 우리 시스템을 사용하여 평가된 페이지와 도형의 전체 목록은 보충 자료에 제공될 예정입니다. 분석은 파이프라인의 다양한 구성 요소에서 발생하는 오류율을 측정하는 데 중점을 두었습니다.

 

4.5.2. 결과
표 1은 기술 평가 결과의 요약을 제시합니다. 각 시뮬레이션 구성 요소의 성공률은 다음과 같습니다: 운동학 64%, 광학 44%, 회로 15%, 애니메이션 66%.

 

운동학, 광학, 애니메이션은 반자동 세그먼트화에 의존합니다. 특히 객체 세그먼트화는 86%의 높은 성공률을 보였으며, 이는 운동학, 광학, 애니메이션 구성 요소의 상대적인 성공에 크게 기여합니다. 특히 운동학의 경우, 다각형 생성과 배치의 성공률은 각각 72%, 70%로, 적절한 세그먼트화를 통해 물리 시뮬레이션 가능한 강체로 효과적으로 변환되었음을 나타냅니다. 그러나 운동학 시뮬레이션에서는 특정 기능(예: 회전 운동, 물체의 비중, 로프와 같은 지원되지 않는 객체, 곡면을 부드럽게 시뮬레이션하는 문제)과 같은 특징들을 지원하는 데 한계가 있어 6%의 도전이 발생했습니다. 또한 다이어그램의 74%는 시뮬레이션 매개변수의 수정과 같은 작은 조정만 필요했으며, 이를 통해 정확한 시뮬레이션 결과를 얻을 수 있었습니다. 저작 및 수정 과정이 전혀 없이 성공한 비율은 40%였습니다. 애니메이션과 광학의 경우도 비슷한 수치를 보였으나, 동일한 Segment Anything 기법을 사용했음에도 불구하고 선 세그먼트화의 성공률은 더 낮았습니다.

 

한편, 회로 시뮬레이션의 경우 커스텀 자동 인식 모델을 사용하며, 회로에 대한 성공률이 눈에 띄게 낮은 15%였습니다. 이 낮은 성공률은 다양한 기호를 지원하지 못한 것에 주로 기인합니다. 다이어그램의 53%는 커패시터, 인덕터, LED, 모터 등 지원되지 않는 요소를 포함하고 있었습니다. 또한, SVM 기반 자동 회로 기호 인식 시스템은 불충분한 학습 데이터셋으로 인해 겨우 10%의 성공률을 보였습니다. 회로 연결 및 선 인식 방법은 45%의 성공률을 기록했습니다. 전반적으로 회로 시뮬레이션은 기호가 정확히 인식될 경우 잘 작동할 수 있었습니다.

 

표 1. 기술 평가 결과
(표에는 기술 평가 결과가 요약되어 있습니다)

-----

각각의 시뮬레이션 유형(운동학, 광학, 회로, 애니메이션)은 여러 단계를 거쳐 최종적으로 사용자가 상호작용할 수 있는 시뮬레이션이 완성됩니다. 각 단계마다 성공률을 나눈 이유는 각 단계가 서로 다른 종류의 도전과제를 가지고 있고, 그에 따라 성공의 기준이 달라지기 때문입니다. 이를 통해 어느 특정 단계에서 문제가 발생하는지, 해당 단계의 성공률이 얼마나 높은지를 구체적으로 분석할 수 있는 것입니다. 각 성공률을 분리해서 설명해보겠습니다.

1. 운동학, 광학, 애니메이션의 성공률 설명

운동학, 광학, 애니메이션의 경우 반자동 세그먼트화를 사용하는데, 여기서 각 단계별로 성공률이 평가됩니다. 예를 들어:

• 객체 세그먼트화: 여기서 성공률이 86%라고 명시된 것은 사용자가 다이어그램에서 객체를 선택하고 해당 객체를 정확하게 분리해내는 단계에서 성공한 비율을 의미합니다. 이것이 운동학, 광학, 애니메이션의 성공률에 큰 영향을 미칩니다. 높은 세그먼트화 성공률은 이후 단계들에서도 높은 성공률을 가져옵니다.
• 다각형 생성과 배치: 객체가 정확하게 세그먼트화된 후, 그 객체가 2D 다각형으로 변환되고 물리 시뮬레이션에 사용되는데, 이 단계에서 운동학의 경우 성공률이 각각 72%와 70%로 나타났습니다. 즉, 다각형 생성 자체의 정확성, 그리고 다이어그램 내 정확한 위치에 배치하는 성공률을 각각 평가한 것입니다.

따라서, 전체적인 운동학 시뮬레이션의 최종 성공률이 64%로 평가된 이유는 각 단계의 성공률이 종합되어 도출된 결과입니다. 개별 단계의 성공 여부가 최종 성공에 중요한 영향을 미치기 때문에, 이처럼 세부적으로 나누어 평가한 것입니다.

2. 회로 시뮬레이션의 성공률 설명

회로 시뮬레이션의 경우 상대적으로 낮은 성공률을 보인 이유는 다음과 같습니다.

• 자동 기호 인식: 회로 다이어그램에서 저항기, 배터리, 커패시터 등 전기 부품을 인식하는 단계에서 SVM 기반의 기호 인식 모델을 사용했습니다. 이 단계에서의 성공률이 단지 10%에 불과한데, 이는 학습 데이터셋의 부족으로 인한 것입니다. 즉, 모델이 이러한 다양한 전기 부품을 정확하게 식별하지 못한 경우가 많았다는 뜻입니다.
• 선 인식 및 연결: 회로 다이어그램 내에서 전선이나 연결 지점을 올바르게 인식하고 연결하는 단계에서 45%의 성공률을 보였습니다. 이는 선의 위치와 방향을 정확히 감지하고, 연결 지점을 잘 판단하여 회로를 완성하는 데 필요한 정확성을 나타냅니다.

회로 시뮬레이션의 전체 성공률이 15%에 그친 이유는 이러한 다양한 하위 단계들에서 문제점이 있었기 때문입니다. 이처럼 각 기호를 제대로 인식하지 못하거나 회로의 특정 요소들을 자동으로 감지하지 못하면 전체 회로의 동작을 시뮬레이션하기 어려워지기 때문에 낮은 성공률이 발생한 것입니다.

3. 각 시뮬레이션의 기법 차이에 따른 성공률의 분리

각 시뮬레이션 유형마다 필요한 기술이 조금씩 다르고, 각 기술의 성공 여부가 최종적인 결과물의 정확성과 직결되기 때문에 각각의 성공률을 따로 평가하는 것입니다. 예를 들어, 운동학이나 광학은 객체를 정확히 세그먼트화하여 물리 시뮬레이션을 하는 것이 중요한 반면, 회로의 경우에는 회로의 구성 요소를 제대로 인식하고 이들이 어떻게 연결되는지 파악하는 것이 핵심입니다.

-----

 

5. 사용자 연구
우리는 두 가지 사용자 연구를 통해 시스템을 평가했습니다: 1) 12명의 참가자를 대상으로 한 사용성 연구, 2) 12명의 물리학 강사를 대상으로 한 전문가 인터뷰. 사용성 연구의 목적은 시스템의 사용성 및 다양한 기능에 대한 학생 관점에서의 선호도를 측정하는 것이었습니다. 반면, 전문가 인터뷰는 교사의 관점에서 교육적 측면에 대한 비판적인 피드백을 얻는 것이 목적이었습니다.

5.1. 예비 사용자 평가
5.1.1. 방법
우리는 물리학에서 최소한 고등학교 수준의 지식을 가진 12명의 참가자를 모집했습니다. 각 세션은 약 40분 동안 진행되었으며, 참가자들에게는 참여에 대한 보상으로 15 캐나다 달러를 지급했습니다. 동의를 얻고 연구에 대해 소개한 후, 우리는 참가자들에게 회로 예시를 포함한 시스템의 데모를 안내했습니다 (그림 9). 참가자들이 시스템을 숙지한 후에는 증강 실험, 애니메이션 다이어그램, 매개변수 시각화, 양방향 조작 도구 등의 네 가지 준비된 예시와 기능들과 상호작용할 수 있도록 했습니다. 모든 참가자는 동일한 교과서 페이지와 물리학 다이어그램을 사용했으며, 모든 사람이 동일한 기능 집합을 동일한 예시로 경험하도록 표준화된 환경을 제공했습니다. 세션에서는 광학 예시 두 개, 회로 하나, 진자 하나, 경사면이 있는 운동학 하나, 태양계를 특징으로 하는 애니메이션 하나를 사용했습니다 (4절에서 설명됨). 우리는 연구 동안 말하기 프로토콜을 사용하여 참가자들이 시스템과 상호작용하는 동안 피드백을 말로 표현하도록 격려했습니다.

 

실험이 끝난 후, 우리는 시스템 사용성에 대한 피드백을 수집했습니다. 초기에는 참가자들에게 정적 다이어그램을 보여준 후, 애니메이션을 보여주었습니다. 그런 다음 정적 다이어그램에 대한 반응을 질적으로 비교했습니다. 모든 세션은 대면으로 진행되었습니다. 참가자들은 각 기능의 직관성, 몰입도, 유용성에 대해 정적 교과서와 비교하여 평가하도록 요청받았습니다. 말하기 세션 후, 참가자들은 시스템과 기능에 대한 질문과 시스템 사용성 척도(Brooke, 1996)에서 적응된 사용성 설문지를 포함한 설문조사를 완료했습니다.

 

5.1.2. 결과
이 섹션에서는 예비 사용자 연구의 결과를 제시합니다. 우리는 시스템 사용성 점수(SUS), 전체 몰입도, 시스템의 유용성을 평가했습니다. 우리 시스템은 평균 SUS 점수 92.73, 표준 편차(SD) 9.84를 기록했습니다. 참가자들은 특히 매개변수 시각화 기능(mean (M)=6.8, SD=0.4)과 양방향 바인딩 기능(M=6.7/7, SD=0.67)을 가장 높게 평가했으며, 그 뒤로 증강 실험(M=6.0/7, SD=1.78)과 애니메이션 다이어그램(M=6.2, SD=1.07) 기능이 있었습니다 (그림 13). 전반적으로 참가자들은 모든 기능이 유용하다고 평가했습니다.

 

그림 13. 참가자들이 직관 형성을 위해 다양한 증강 유형에 대해 제공한 피드백
(그림에는 참가자들이 다양한 증강 기능에 대해 제공한 피드백이 포함되어 있습니다)

 

모든 참가자들은 연구의 모든 부분 동안 말을 하도록 요청받았습니다. 참가자들은 물리 개념을 공부하고 이해하는 데 이전에 겪었던 경험에 대해 언급했습니다. 한 참가자는 "추상적인 개념(회로)을 이해하는 데 어려움을 겪었는데, 이 시스템은 다양한 값을 조작하고 그것이 어떻게 동작하는지 보면서 더 직관적으로 만들었다"고 말했습니다. P8도 "우리는 일주일에 한 번 정도만 실험실에 갈 수 있으므로, 모든 의문에 대해 실험실에서 실험을 할 수는 없습니다. 그래서 저는 우리가 스스로 더 많은 실험의 유연성을 가질 수 있을 것 같아요"라고 말했습니다. 참가자들은 또한 이 도구가 양방향 바인딩 기능과 관련하여 시스템의 동작에 대한 정신적 모델을 확인하거나 수정하는 데 도움을 줄 수 있다고 생각했습니다. P7은 "내가 이해한 것이 내가 생각한 것과 일치하는지 확인할 수 있죠... 제가 무슨 일이 일어나고 있는지 알 것 같다고 생각하지만, 실행해보고 예상대로 움직이지 않으면 제 이해를 다시 확인할 수 있어요. 문제를 풀 때, 내가 어디서 오류를 범했는지 찾고 싶다면, 단순히 정확한 값으로 시스템을 시각화할 수 있어요"라고 언급했습니다.

 

5.2. 전문가 인터뷰
우리는 12명의 물리학 강사(E1-E12)와 반구조화된 인터뷰를 진행했습니다. 전문가 인터뷰의 목표는 우리 도구에 대한 피드백을 수집하고, 교육 환경에서의 유용성을 평가하며, 개선할 영역을 식별하는 것이었습니다. 이 강사들은 1년에서 5년까지의 교육 경험을 가지고 있으며, 평균 2.4년의 경험을 보유하고 있습니다. 9명의 전문가는 대학 수준에서 가르치고 있으며, 4명은 고등학교와 중학교 모두에서 교육 경험이 있습니다. 인터뷰 동안 우리는 강사들이 우리 시스템을 탐색하고 자신만의 시뮬레이션을 작성할 수 있도록 했습니다. 인터뷰는 약 1시간 동안 진행되었으며, 전문가들에게는 35 캐나다 달러의 보상이 제공되었습니다.

 

5.2.1. 방법
연구는 Zoom을 통한 온라인 회의로 진행되었습니다. 먼저, 우리는 강사들의 배경과 현재 교육 방법에 대해 질문했으며, 여기에는 비디오나 온라인 시뮬레이션 같은 외부 자원의 사용, 이러한 자료와 관련된 도전과제, 그리고 교육 방법론 내에서의 통합 전략 등이 포함되었습니다. 이 소개 단계는 약 15분 동안 지속되었습니다. 그 후, 우리는 시스템을 소개하고 그들이 컴퓨터의 웹 브라우저를 사용해 콘텐츠를 만들고 상호작용할 수 있도록 했습니다. 참가자들은 교과서나 다이어그램을 가져와 업로드할 수 있는 옵션이 주어졌고, 자료가 없는 경우 우리는 기술 평가 데이터셋에서 가져온 10개의 예시(운동학 3개, 광학 2개, 회로 2개, 애니메이션 3개)를 제공했습니다. 초기에는 처음 두 예시를 사용해 시스템 사용 방법을 시연한 후, 전문가들이 원하는 만큼 예시를 탐색하고 실험해 볼 수 있도록 했습니다. 이 상호작용 단계는 15분이 할당되었습니다. 그들이 시스템과 상호작용한 후, 30분 동안 반구조화된 인터뷰를 진행하여 그들의 경험에 대해 논의했습니다. 열린 질문을 통해 우리의 도구가 기존의 교육 자원과 어떻게 비교되는지, 그리고 그들의 교육 실천에 어떻게 적용될 수 있는지에 대한 통찰을 얻고자 했습니다.

 

5.2.2. 결과
전문가들은 일반적으로 우리 시스템이 학생들을 위해 개인화된 시뮬레이션을 만드는 데 도움이 될 수 있다고 평가했으며, 우리 도구와 향후 구현에 대한 귀중한 피드백을 제공했습니다. 아래는 전문가 피드백의 요약입니다:

 

온라인 자원을 보완, 대체가 아닌 보충
많은 교사들(E4, E5, E9, E10)은 문맥적으로 임베디드된 시뮬레이션 생성 기능을 높이 평가하며, 교과서 다이어그램에서 직접 시뮬레이션을 생성할 수 있는 시스템의 독특한 능력을 강조했습니다. 이는 미리 정의된 예시에 의존하는 OPhysics와 같은 전통적인 온라인 시뮬레이터와 차별화되는 기능입니다. 대부분의 전문가들(E1, E2, E4, E5, E6, E8, E9, E10, E12)은 유튜브 비디오나 시뮬레이터와 같은 온라인 자원을 수업에 통합하고 있지만, E4, E6, E8, E10은 비디오 콘텐츠 중 10-20%만이 교육 목표와 일치한다고 지적했습니다. 학생들에게 긴 비디오를 제공하는 것도 문제를 일으켜, 일부 전문가들(E9, E10, E12)은 주로 개인적인 영감을 얻기 위해 이러한 자원을 사용하거나 맞춤형 자료를 개발하는 데 많은 시간을 투자하고 있었습니다.

 

하지만 일부 전문가는 여전히 특정 과목을 위한 복잡하고 종합적인 시뮬레이션을 지원할 수 있는 온라인 시뮬레이터가 더 나은 교육적 지원을 제공한다고 인정합니다. E1과 E6은 우리의 시스템이 기존 온라인 자원에 대한 대체가 아닌 가치 있는 보충 도구라고 여겼습니다. 비교적 간단한 시뮬레이션 기능에도 불구하고, E5는 시스템이 단순히 애니메이션에 의존하지 않고 실제 물리 엔진을 통합한 점을 높이 평가했습니다. E6 역시 시스템의 간단함과 독특함을 좋아하며, 이를 학생들이 학습을 시작할 수 있는 효과적인 출발점으로 간주했습니다. 전반적으로 참가자들은 시스템의 독특한 맥락적 지원이 시뮬레이션과 상호작용하는 장벽을 낮추고 현재 학습 도구의 격차를 메울 수 있음을 인정했습니다.

 

실험의 한계를 넘는 확장 가능성
실험과 다이어그램은 이론적 개념에 대한 실질적인 통찰을 제공하는 물리 교육에서 중요한 역할을 합니다. 하지만 그 효과는 종종 실제적인 한계에 의해 제한됩니다. 전문가들(E3, E4, E5, E6, E12)은 자원 부족이나 복잡한 실험 장비 설정에 대한 시간 부족으로 인해 어려운 개념을 충분히 다룰 수 있는 실험을 준비하는 데 어려움을 겪고 있다고 강조했습니다.

 

Augmented Physics는 전문가들에 의해 실험을 보완할 수 있는 유망한 도구로 평가되었습니다. 시뮬레이션은 조정 가능한 매개변수와 다양한 시나리오를 통해 실험의 한계를 극복할 수 있습니다. 하지만 E4는 시뮬레이션이 "손으로 직접 하는 학습"과 "실험의 예측 불가능성"을 포착하지 못할 수 있어, 체험적 학습의 깊이에 영향을 미칠 수 있다고 언급했습니다. 시뮬레이션은 복잡한 개념의 이해를 강화할 수 있지만, 실제 실험에서 얻을 수 있는 직접적이고 촉각적인 학습 경험을 완전히 대체하지는 못합니다. 이는 개념에 대한 이해를 깊게 하는 데 중요한 역할을 한다고 전문가들은 보고 있습니다.

 

독립적 탐구를 통한 학생 참여 유도
E4와 E5가 설명한 바와 같이, 물리 개념을 가르칠 때 학생들의 관심 부족은 공통적인 도전 과제입니다. 진정한 관심을 유도하는 것은 효과적인 학습의 중요한 요소입니다. 전문가들은 Augmented Physics가 처음에는 물리에 큰 관심이 없는 학생들의 흥미를 유발할 잠재력을 가진 도구라고 평가했습니다. E2와 E7은 Augmented Physics가 물리 개념에 대한 수동적 참여가 아닌 능동적 참여를 촉진하며, 학생들이 "자신만의 작은 실험"을 주도할 수 있도록 한다고 언급했습니다. E4는 학생들이 자신의 실험을 주도할 때 독립적인 사고와 능동적인 학습이 향상된다고 관찰했습니다. 이러한 능동적 실험은 단지 흥미를 유발하는 것에 그치지 않고, 학생들이 물리에 대해 스스로 더 깊이 탐구할 수 있도록 한다고 평가되었습니다(E4, E5, E6, E9, E10). 전문가들은 시스템의 탐구적 잠재력을 인정했습니다. 우리 시스템은 개인화된 탐구를 위한 접근성을 제공할 수 있으며, 물리 학습에서 더 상호작용적이고 탐구적인 학습 경험으로의 전환을 시사합니다.

 

관찰을 통한 질문 촉진
전문가들(E3, E4, E5, E6, E8, E9, E10)은 학생들이 복잡한 개념을 이해하는 데 직면하는 일반적인 어려움을 강조했습니다. 교육자들(E4, E6)은 우리 시스템이 학생들이 추상적이거나 시각화하기 어려운 개념을 이해하는 데 도움을 줄 수 있다고 언급했습니다. 그들은 학생들이 자신의 관찰을 바탕으로 더 통찰력 있는 질문을 생성할 수 있어 개념의 이해를 증진한다고 평가했습니다. 또한 학습 과정 중 의미 있는 질문을 개발하고 제기하도록 장려하는 것이 중요하다고 강조하며, 진정한 이해는 현상에 대한 세밀한 관찰과 그에 따른 심도 있는 질문에서 비롯된다고 주장했습니다.

 

교실 시연 전 시뮬레이션의 검증 필요성
우리 시스템의 한계에 대해 물었을 때, 모든 전문가들은 그 신뢰성과 정확성에 대한 우려를 나타냈습니다. 교육 도구로서의 역할을 고려할 때, 교사들은 교실에서 사용하기 전에 시뮬레이션 결과를 검증해야 할 필요가 있다고 언급했습니다. 또한 E4, E5, E6은 시뮬레이션 내 부정확성이 개념에 대한 오해를 초래할 수 있으며, 교사의 세심한 감독이 필요하다고 경고했습니다. 이러한 어려움에도 불구하고, 모든 전문가들은 시뮬레이션 결과를 사전에 검증할 수 있는 한 교육적 환경에서 시스템의 가치를 인정했습니다. 이 검증 단계는 잠재적 위험과 혼란을 줄여 부정확한 결과로 인해 발생할 수 있는 오해를 방지할 수 있습니다.

 

교사들은 시스템의 즉각적 사용보다 독립적 사고를 강조
그 장점에도 불구하고, 몇몇 전문가들(E3, E4, E5, E6)은 학생들이 시뮬레이션에 즉각 의존하기 전에 개념에 대해 신중하게 사고하는 것이 중요하다고 강조했습니다. E4는 이러한 도구를 소개하는 데 있어 "학생들의 사고 과정의 자연스러운 흐름을 방해하지 않도록 신중한 타이밍이 필요하다"고 언급했습니다. E6은 시뮬레이션이 자신의 예측과 계산대로 진행되는 것을 목격했을 때의 보람찬 경험을 공유했습니다. 그는 "이러한 순간들은 학습 과정을 검증할 뿐만 아니라 학생들에게 강한 인상을 남겨 개념에 대한 이해와 기억을 향상시킨다"고 관찰했습니다.

 

향후 구현을 위한 가능한 기능
모든 전문가들은 시스템에서 더 많은 사용자 정의를 원하며, 시나리오 설정에 대한 더 많은 제어와 더 풍부한 시연을 위해 사용자 정의 객체를 추가하거나 복제할 수 있는 기능을 요구했습니다. 이러한 개선 사항을 추구하면서도 학습 곡선을 가파르게 만드는 것을 피하기 위해 단순함을 유지하는 것이 중요하다고 강조했습니다. 그들은 우리 시스템의 단순함을 높이 평가하면서, 필요할 때만 매개변수를 변경할 수 있기를 원한다고 말했습니다. E6과 E11은 속도 추정이나 순서 기억과 같은 관찰 도전 과제를 해결하기 위해 궤도 경로나 프레임별 일러스트레이션과 같은 시각적 도구를 통합하는 것을 제안했습니다. 이러한 가능성 있는 기능들은 이론적 개념과 시각적 증거를 연결하여 물리적 원리에 대한 이해를 깊게 하며, 시스템의 교육적 가치를 더욱 향상시킬 수 있을 것입니다.

 

6. 한계점 및 향후 작업

오탐 처리와 교사에게 더 많은 제어 제공
비기술적인 사용자가 물리 증강을 만들 수 있도록, 우리는 Segment Anything과 OpenCV와 같은 컴퓨터 비전 기술을 사용하여 저작 과정을 단순화했습니다. Augmented Physics는 사용자가 터치 기반 장치에서 물리 교과서에 겹쳐진 동적이고 인터랙티브한 시뮬레이션을 만들 수 있도록 합니다. Augmented Physics는 다양한 물리 개념에 대한 시뮬레이션 저작을 지원하지만, 아직 처리되지 않은 몇 가지 영역이 있습니다(해당 시뮬레이터가 구축되지 않았다는 의미). 더 복잡하거나 추상적인 삽화는 시스템이 제대로 작동하기에 너무 복잡할 수 있습니다. 가끔 Augmented Physics는 나열된 사용 사례(예: 저항기나 선)를 이미지에서 제대로 감지하지 못하기도 합니다. 참가자들은 우리가 만든 다양한 사용 사례를 높이 평가했지만, 일부는 Augmented Physics를 더 넓은 범위의 물리 개념에 사용하고 싶어 했으며, 더 정교한 제어 기능을 요구했습니다. 상업적으로 활용 가능한 Augmented Physics의 버전은 물리 교육의 모든 주제에서 완전한 사용성을 요구할 것입니다. 따라서 미래 구현에서는 분자 동역학 등 물리의 다양한 개념에 대한 시뮬레이터가 포함되어야 합니다. 마찬가지로 사용자는 시뮬레이션된 콘텐츠와 상호작용하기 위한 더 많은 제어 기능을 가져야 합니다. 완전히 배포된 시스템은 플러그인 기반 시스템에서 이점을 얻을 수 있으며, 이를 통해 교사들은 자신의 시뮬레이터를 포팅하여 다른 사람들이 동적이고 인터랙티브한 임베디드 시뮬레이션을 생성하여 보다 개인화된 교육을 촉진할 수 있습니다.

 

AR 기기와의 통합
미래에는 웹 기반 인터페이스를 넘어서 AR 인터페이스의 사용을 탐구하고자 합니다. 더욱이 모바일 인터페이스를 넘어 시스템을 증강 현실(AR) 헤드셋 환경에 도입하면 사용자 참여를 높일 수 있을 것입니다. 공간 제약으로 인해 페이지에 직접 다이어그램을 증강하는 것은 현재 불가능하지만, AR 하드웨어의 발전으로 인해 이러한 접근 방식이 가능해질 수 있습니다. 우리는 혼합 현실 기기(예: 헤드셋)에서 증강 학습 경험을 개발하는 데 관심이 있습니다. Augmented Physics의 현재 정밀도 한계로 인해 즉각적인 AR 헤드셋 배포는 어렵지만, 향후 개선을 통해 모바일 및 컴퓨터 기반 인터페이스를 넘어서는 몰입형 학습 경험의 가능성을 열 수 있을 것입니다.

 

대규모 시스템 배포
우리의 사용자 연구는 경험 있는 물리학 학생들과의 전문가 인터뷰, 그리고 비전문가들과의 인터뷰를 포함했습니다. 비록 이 참가자들이 Augmented Physics를 물리 교육에서 사용할 가능성을 강조했지만, 교실 환경에서의 Augmented Physics 배포는 그 능력을 더 잘 평가할 수 있을 것입니다. 향후 우리는 교사들이 Augmented Physics의 기능을 자신들의 교육 자료와 어떻게 통합하여 교육 방식을 개선할 수 있는지를 연구해야 합니다. 또한 초보 물리학 학습자를 대상으로 배포하여 그들이 시스템과 어떻게 상호작용하고 학습을 돕는지 대규모로 평가해야 합니다.

 

7. 결론
우리는 정적 물리 다이어그램을 인터랙티브 시뮬레이션으로 변환하기 위한 머신 러닝 통합 도구인 Augmented Physics를 소개했습니다. Segment-Anything과 OpenCV를 사용하여 우리 시스템은 다이어그램에서 콘텐츠를 반자동으로 추출하고, 비기술적인 사용자가 프로그래밍 없이 개인화된 인터랙티브 및 애니메이션 설명을 만들 수 있도록 합니다. 두 가지 사용자 연구 결과는 Augmented Physics가 더 몰입적이고 개인화된 학습 경험을 지원한다는 것을 시사합니다. 향후 작업으로는 물리에서 다루는 다른 도메인에 우리 상호작용 기법을 적용하고, 실전 배포를 통해 교실에서의 사용 가능성을 조사하며, 마지막으로 혼합 현실 모드를 탐구하여 물리 교육을 향상시키는 것을 포함합니다.

 

2405.18614v2.pdf

4.98MB