카카오톡채널
search for




 

Comparison of Feasibility of Touch-Based Cognitive Training Games in Community Elderly and Elderly with Minor Dementia
Phys Ther Rehabil Sci 2022;11:154-64
Published online June 30, 2022
© 2022 Korean Academy of Physical Therapy Rehabilitation Science.

Seung-Hwa Junga , Seon-Jin Oha , Hyun-Ju Parkb , Dae-Sung Parka*

aDepartment of Physical Therapy, Konyang University, Daejeon, Republic of Korea
bDr.ARA Pilates Lab
Correspondence to: Dae-Sung Park (ORCID https://orcid.org/0000-0003-4258-0878)
Department of Physical Therapy, College of Medical Science, Konyang University 158, Gwanjeodong-ro, Seo-gu, 35365, Daejeon, Republic of Korea
Tel: +82-42-600-8456 Fax: +82-42-600-8408 E-mail: daeric@konyang.ac.kr
Received May 24, 2022; Revised June 21, 2022; Accepted June 22, 2022.
cc This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract
Objective: The purpose of this study is to select a cognitive training game that can evaluate five cognitive domains and to study their validity with existing cognitive evaluation tools.
Design:
Methods: Delphi survey was conducted through the 2nd questionnaire for 30 experts to select games suitable for training 5 cognitive domains. Five cognitive training games and Mini Mental State Examination - Korea(MMSE-K), and cognitive impairment screening test(CIST) were conducted for 82 elderly in the community. Pearson correlation analysis was performed to find out the correlation of the three tests. The ROC curve was used to calculate the selection criteria for the game results for the screening evaluation of the presence or absence of mild cognitive impairment.
Results: The coefficient of variation to evaluate the stability of the Delphi survey was less than 0.50 in most game items. The ‘correct answers’ and ‘level’ of the five final selected game items showed a statistically significant positive correlation with the CIST and MMSE-K scores. CIST score and ‘time’ of all game items except ‘number making_time’ showed a statistically significant negative correlation.
Conclusions: The validity of the cognitive training program using smart devices was evaluated, and the criteria for classifying the cognitive domain and distinguishing the presence or absence of cognitive impairment were confirmed.
Keywords : Dementia, Cognitive impairment, Delphi study, Validity, ROC curve
서론

인지기능영역은 ‘주의집중력’, ‘실행기능력’, ‘공간지각력’, ‘문제해결력’, ‘작업기억력’ 등 다섯 가지로 분류된다[1]. 주의집중력(attention concentration)이란 주어진 시간 안에 방해받지 않고 얼마나 많은 양의 정보를 작업해낼 수 있는지를 나타내는 것으로 선택 주의력, 자기통제력, 지속적 주의력 등을 포괄한다. 실행기능력(executive function)이란 사고와 행동에 대해 계획, 결정, 판단, 자기지각 하는 인지적 조절 과정을 통하여 목표지향적인 행동을 조직화하고 조절하는 인지과정이다. 공간지각력(spatial perception)이란 공간에서 혹은 공간으로부터 주어지는 자극을 인식하고 식별하며, 이러한 자극들을 이전 경험들과 결합하여 해석하고 이해하는 능력이다. 문제해결력(problem solving)이란 개인의 지각에 의한 인지, 행동적 과정으로서 일상생활에서 어려운 상황에 처했을 때에 대처전략으로 간주된다. 작업기억력(working memory)은 정보를 일시적으로 보유하고 조작하는 정신적 작업 공간을 말한다[2-6].

인지 기능 저하는 평균수명 연장과 노인성 질환과 관련이 있으며 주의력, 언어, 시공간 능력, 판단력 등의 손상과 개인의 기본적인 일상생활활동(basic activities of daily living, BADL), 수단적 일상생활(instrumental activities of daily living, IADL)을 불가능하게 만드는 원인이 된다[7,8]. 인지 기능이 저하된 경우 적절한 인지훈련 프로그램을 통해 인지기능 장애를 최소한으로 줄이고 인지기능을 회복하는 것이 중요하다. 최근에는 이러한 훈련프로그램의 일환으로 기능성 게임(serious game)이 주목받고 있다. 현재 기능성 게임은 보건 및 의료 분야에서 유용한 도구로 인식됨에 따라 질병 예방이나 관리, 치료목적을 위한 접근방식에 있어서 새로운 패러다임을 제시하고 있다[9]. 최근 연구에 따르면, 사용자들의 접근성을 확보하기 위해 직관적이고 조작이 쉬운 인터페이스를 제공하고 사용자와 기기 간의 원활한 상호작용이 가능한 스마트 디바이스와 애플리케이션을 사용한 인지훈련 프로그램이 증가하고 있으며, 이러한 인지훈련은 전통적 방식의 인지치료보다 인지기능, 일상생활, 만족감 등에서 유의한 효과가 있었다고 보고된다[10].

그러나 선행되고 있는 여러 인지 훈련 프로그램이 다섯 가지 인지 영역 중에서도 어떤 세부 항목에 영향을 미치는지에 대한 유효성을 뒷받침할 근거들이 부족한 실정이다. 따라서 본 연구에서는 ‘주식회사 캐어유’에서 개발한 디지털 치매예방 관리 플랫폼인 ‘엔브레인’의 19가지 인지훈련게임을 델파이 조사를 통해 5가지 세부인지영역 훈련에 적합한 다섯 가지 게임으로 분류 및 선정하고,실제 사용되는 인지평가도구와의 상관관계 분석을 통해 타당도를 알아보고자 실시되었다.

연구방법

연구대상자

델파이 조사

델파이 조사는 연구 참여에 동의한 물리 ‧ 작업치료사30명을 대상으로 총 2차에 걸쳐 온라인 설문조사로 진행되었다. 1차와 2차 델파이 조사는 모두 동일한 전문가의 참여로 이루어졌으며, 주어진 기한 내에 설문에 참여하지 않은 경우 대상에서 제외하였다.

전문가 선정의 원칙으로 전문가적 식견 및 관점의 포괄성이 중요시 여겨지기 때문에 델파이 조사를 시행하는 시점에 임상에서 활동 중인 전문가만을 대상으로 하였으며 근무지 형태에 따라 관점이 다르게 표현될 수 있기 때문에 다양한 규모의 근무지, 임상 연차 범위 확대, 인지기능 저하가 있는 뇌 병변 환자를 치료한 경험등을 고려하였다[11].

1차 델파이 조사를 완료한 전문가는 작업치료사 14명, 물리치료사 15명으로 총 29명이었다. 조사 대상자의 최종 학위는 전문학사/학사 11명, 대학원 석사 15명, 대학원 박사 3명이었으며, 근무 병원의 형태로는 병원(한방병원, 종합병원) 12명, 재활(요양)병원 4명, 상급종합병원10명, 의원(보건소) 2명, 기타 1명이었다. 근무 경력으로 5년 미만 5명, 5년~9년 이하 17명, 10년~19년 이하 4명, 20년 이상 3명이었다.

2차 델파이 조사를 완료한 전문가는 작업치료사 10명, 물리치료사 8명으로 총 18명이었다. 조사 대상자의 최종 학위는 전문학사/학사 6명, 대학원 석사 9명, 대학원 박사 3명이었으며, 근무 병원의 형태로는 병원(한방병원, 종합병원) 7명, 재활(요양)병원 3명, 상급종합병원6명, 의원(보건소) 1명, 기타 1명이었다. 근무 경력으로5년 미만 2명, 5년∼9년 이하 11명, 10년∼19년 이하 2명, 20년 이상 3명이었다.

타당도 연구

델파이 조사 후 최종 결정된 게임의 타당도 연구를 위해 대전광역시에 거주 중인 지역사회 노인 82명을 대상으로 하였다. 연구 대상으로 1) 65세 이상의 노인, 2) 연구의 목적과 내용을 이해하며 의사소통이 가능한 자를 선정기준으로 하였다. 청력, 시력 장애가 있는 자는 제외하였다(Table 1).

연구절차

본 연구에서는 ‘주식회사 캐어유’에서 개발한 디지털 치매예방 관리 플랫폼인 ‘엔브레인’의 19가지 인지훈련게임을 델파이 조사를 통해 5가지 인지영역 훈련에 적합한 게임을 분류하고, 실제 사용되는 인지평가도구와의 상관관계 분석을 통해 타당도를 알아보고자 실시되었다. 연구에 참여한 전문가는 델파이 조사를 통해19가지의 게임 중 5개의 인지영역 훈련에 적합한 게임을 선정하였다. 최종적으로 선정된 다섯 가지 인지훈련게임을 지역사회 노인과 경증 인지장애 노인을 대상으로 실시하여 게임 결과를 기록하고, 추가적으로 기존의 인지 평가 도구인 한국판 인지선별검사(cognitive impairment screening test, CIST)와 한국판 간이정신상태 검사(Korean version of mini-mental state examination, MMSE-K)를 실시하였다. 기록된 게임의결과, CIST, MMSE-K의 상관관계를 분석하여 타당도를 연구하고, 경도인지장애 노인과 경도인지장애가 없는 노인 간의 선별평가를 위한 게임 결과의 선별 기준값(Cutoff value)을 제시하여 인지훈련 게임의 인지 영역분류 신뢰성을 높이고자 실시되었다.

본 연구는 건양대학교 기관 생명윤리위원회의 심의(IRB:KYU-2021-06-071-001, KYU-2021-06-056-001)를받고 실시하였다.

델파이법의 적용

델파이법은 내용 타당도를 이용한 연구방법으로 선행연구 자료가 많지 않고 전문가들의 견해가 중요한 자료로 사용되어야 하는 상황에서 관련 전문가들을 모아 의견을 구하고 종합적인 방향을 전망하는 기법이다[12]. 델파이법은 그룹 내의 상호작용을 없애기 위해 익명성을 매우 중요시하며, 그룹 전체 의견을 통계적으로 집계하고 의견의 분포적 특성을 제시하는 방법론적 특징을 가지고 있다[13-16].

본 연구에서는 상호작용의 가능성을 줄이기 위해 연구 참여자 모집, 연구 참여 동의 및 설문조사까지 모두온라인을 통해 진행하였다.

델파이 조사 라운드 분류와 설문구성

1차 설문조사는 19종의 게임에 대한 평가를 진행하는데, 게임별 3가지 문항으로 구성되었다. 첫 번째 문항은 ‘분류의견(classification opinion)’을 수집하는 것으로 해당하는 인지훈련 게임이 다섯 가지 인지영역 중 어느 영역에 해당하는지 선택하도록 하였다. 두 번째 문항은 본인이 선택한 인지 영역에 대한 게임의 ‘적절성(relevance)’ 평가로 매우 높음(very high), 높음(high), 보통(moderate), 낮음(low), 매우 낮음(very low)의 다섯가지 단계로 구성되었다. 세 번째 문항은 개별의견을 반영하는 문항으로 구성되었다.

2차 설문조사는 적절성 평가로서 게임별 3가지 문항으로 구성되었다. 첫 번째 문항에서는 1차 설문조사 결과를 종합하여 최종 분류된 인지영역을 제시하고 그 결과의 ‘동의율(consent rate)’을 평가하는 것으로 매우 높음, 높음, 보통, 낮음, 매우 낮음의 다섯 가지 단계로 구성되었다. 두 번째 문항은 최종 분류된 인지 영역을 해당 게임으로 어느 정도 설명할 수 있는지를 의미하는 ‘설명력(explanatory power)’을 평가하는 것으로 매우높음, 높음, 보통, 낮음, 매우 낮음의 다섯 가지 단계로 구성되었다. 세 번째 문항은 개별의견을 반영하는 문항으로 구성되었다.

2차 설문조사 결과를 바탕으로 내용타당도비율(content validity ratio, CVR) 계산식을 이용하여 최종 분류된 인지영역의 동의율을 산출하고 각각 분류된 인지 영역별로 가장 높은 동의율부터 3위까지의 게임을 분류하였다[17]. 그중 연구자들의 판단하에 치매 및 지역사회 노인들이 직접 진행하였을 때 쉽게 진행할 수 있는 게임을 투표하도록 하였고 가장 많은 표를 받은 하나를 선택하였다. 이러한 방식으로 다섯 가지 인지영역에 최종 분류된 다섯 가지 게임이 선택되었다.

인지훈련 게임의 타당도 검증을 위한 자료수집

연구에 동의한 지역사회 노인 82명을 대상으로 한국판 간이정신상태검사(MMSE-K)를 실시하였다. 검사 결과 23점 이하는 경증인지장애, 24점 이상은 정상으로 분류하였다. 이때 23점 이하인 경우 한국판 인지선별검사(CIST)를 추가로 실시하였다. 이후 모든 대상자는 ‘엔브레인’ 인지 훈련게임 19종 중 최종 선택된 다섯 가지인지훈련게임을 배정받아 스마트패드를 이용하여 수행하였다. 모든 게임은 1레벨부터 10레벨까지로 간단한게임으로 구성되어 있으며, 이해할 수 없거나 제한시간내에 문제를 풀 수 없는 경우 해당 레벨에서 게임을 종료하게 하였다. 게임 완료 후 최종적으로 성공한 레벨, 정답 수, 수행시간을 기록하였다. 이때 성공한 레벨은 모두 더한 값으로(3단계 성공 시 1+2+3=6) 기록하였고, 수행시간은 한 단계(1레벨)를 수행하는데 걸리는 평균 초(second)로 환산하여 기록하였다.

자료처리

델파이 조사 결과의 변이계수(Coefficient of Variation) : 안정도(stability)

델파이 조사에서 반복되는 설문과정이 진행되는 동안 패널들의 응답 차이가 작아져서 응답의 일치성이 높아지는 것이 안정도가 높다고 볼 수 있다. 이에 본 연구에서는 변이계수(Coefficient of Variation, CV)를 제시하였다. 변이계수는 관측되는 자료가 모두 양수일 때 표본표준편차를 표본평균으로 나눔으로써 알 수 있다(Table 2).

내용타당도비율(content validity ratio, CVR) : 동의율, 설명력

본 연구에서 동의율과 설명력은 내용타당도비율(CVR)을 계산하여 제시하였다. 내용타당도비율은 검사를 구성하고 있는 문항이 실제 측정하고자 하는 개념을 얼마나 잘 반영하는가에 관한 정도를 나타내며 전문가 그룹이 동의할 때 확보된다(Figure 1)[18]. 선행연구에 따르면 패널 수가 15명 이상 20명 미만일 때 CVR의 최소값은 0.49이다. CVR이 0.49보다 높으면 유의확률 0.05수준에서 내용타당도가 있는 것으로 판단한다[17].

인지훈련 게임 결과와 인지능력의 상관관계 및 선별기준 값

인지훈련 게임의 타당도를 확인하기 위해 대상자의 MMSE-K 점수, CIST 점수와 다섯 가지 인지훈련프로그램(레벨, 정답 수, 수행시간)과의 상관성을 알아보기 위해 Pearson 상관분석을 사용하였다. 상관계수(r)의 크기는 보통 0.3 이하이면 약한 관계를, 0.3∼0.6 이하이면 중간 정도의 관계를, 0.6 이상이면 강한 상관관계를 보인다고 할 수 있다[19]. SPSS통계 프로그램(Version 18.0, SPSS Inc, Chicago, USA)을 이용하였으며 통계적유의수준은 0.05로 하였다.

MMSE-K 점수로 분류된 경도인지장애 노인과 경도인지장애가 없는 노인 간의 선별평가를 위한 게임 결과의 선별 기준값(Cutoff value)을 구하였고, 진단의 정확도를 알아보기 위해 수용자 작업특성곡선(receiver operating characteristic curve, ROC curve)과 양성 예측도(positive predictive value, PPV), 음성 예측도(negative predictive value, NPV)를 구하였다. ROC 곡선하 면적(area under curve, AUC)에서 0.520]. Medcalc 통계 프로그램(Version 16.8.4, MedCalc Software bvba, Ostend, Belgium)을 이용하였으며 통계적 유의수준은 0.05로 하였다.

연구결과

1차 델파이 조사 결과의 변이계수(Coefficient of Variation) : 안정도(stability)

1차 델파이방법의 안정도를 평가하기 위한 분류의견(classification opinion) 변이계수 값은 ‘순서를 따라서’ 와 ‘바닷가의 수집가’ 항목에서 0.80으로 가장 높게 나타나 추가적인 설문이 필요한 항목으로 해석되었다. 그 이외 나머지 항목은 모두 0.80 미만으로 확인되었다. 또한 모든 게임 항목의 적절성(relevance) 변이계수가 0.50 미만으로 추가적인 설문이 필요 없는 것으로 확인되었다(Table 3).

2차 델파이 조사 결과의 내용타당도비율(content validity ratio, CVR)

2차 델파이 조사의 안정도(동의율, 설명력)의 변이계수는 모든 게임 항목에서 0.50미만으로 추가적인 설문이 필요 없는 것으로 확인되었다(Table 4).

주의집중력에 적합한 게임으로 ‘1부터 50까지(From 1 to 50)’가 최종 선정되었다(Figure 2A).

실행기능력은 최종분류에서 ‘알쏭달쏭 컬러(Dazzling color)’가 유일하였기에 2차 델파이 조사 후 자동으로 최종 선정되었다(Figure 2B).

작업기억력에 적합한 게임으로 ‘낙하속도(Fall speed)’가 최종 선정되었다(Figure 2C).

문제해결력에 적합한 게임으로 ‘숫자 만들기(Number making)’가 최종 선정되었다(Figure 2D).

공간지각력은 최종분류에서 ‘치즈를 쫓아서(Chasing cheese)’가 유일하였기에 2차 델파이 조사 후 자동으로 최종 선정되었다(Figure 2E).

인지훈련 게임과 인지능력의 상관관계

모든 게임 항목의 단계, 정답 수는 CIST, MMSE-K 점수와 양의 상관관계를 보였으며 통계적으로 유의하였다(p<0.01). CIST 점수와 ‘숫자만들기_시간’을 제외한 모든 게임 항목의 시간은 음의 상관관계를 보였으며 통계적으로 유의하였다(p<0.05)(Table 5).

경증인지장애 예측 선별 기준값

ROC 커브 분석 결과 MMSE-K 점수 23점을 기준으로 경증인지장애를 예측하는데 있어서 ‘숫자만들기_시간’변수를 제외한 모든 항목에서 통계적으로 유의하게 나타났다. ‘숫자만들기_단계’와 ‘숫자만들기_총점’의 곡선하 면적은 0.7 이하로 다소 낮은 정확도를 가지는 수준이었으며, 그 이외 모든 항목의 곡선하 면적은 중등도의 정확도를 가지는 수준이었다(Table 6).

고 찰

본 연구에서는 지역사회 노인과 경증치매 노인에게 적용할 수 있는 터치기반 인지훈련게임을 개발하는데 그치지 않고, 인지훈련 게임의 타당도를 평가하였으며 인지능력의 정상과 치매의심을 분별할 수 있는 선별기준값을 제시하였다. 이를 통해 인지훈련 게임의 인지 영역분류 신뢰성 및 인지능력 평가도구로서의 활용도를 높일 수 있었다는 점이 본 연구의 의의라고 할 수 있겠다.

2차 델파이 조사의 안정도(동의율, 설명력)의 변이계수는 모든 게임 항목에서 0.50 미만으로 추가적인 설문이 필요 없는 것으로 확인되었다(Table 4). 2차 델파이조사 결과 중 동의율의 내용타당도비율을 토대로 각각의 인지 영역별로 3위까지의 게임이 분류되었고, 대상자가 이해하기 쉬울 것이라는 연구자의 의견으로 최종 다섯 가지 게임이 선정되었다(Table 4).

주의집중력에 적합한 게임으로 ‘1부터 50까지’가 최종 선정되었다. 이 게임은 숫자의 오름차순 순서대로 숫자가 표시된 원을 눌러서 없애는 게임이다. 1을 누르면 그다음 2를 누를 수 있고 차례대로 화면에 나타나는 원을 모두 누르면 다음 단계로 넘어간다. 단계별로 눌러야하는 숫자가 많아지게 된다. 올바른 순서로 누르지 않으면 그 다음 숫자가 눌러지지 않고 시간 안에 끝까지 누르지 못하면 다음 단계로 넘어갈 수 없다(Figure 2A).

실행기능력은 최종분류에서 ‘알쏭달쏭 컬러’가 유일하였기에 2차 델파이 조사 후 자동으로 최종 선정되었다. 이 게임은 ‘빨간색’, ‘노란색’ 등 색을 뜻하는 글자가 화면에 표시된다. 그때 글자에 칠해진 색깔과 색을 뜻하는 의미가 같은지 다른지 판단하여 ‘같다’, ‘다르다’ 중에 선택하는 게임이다. 예를 들어 글자색이 빨간색인 단어로 ‘빨간색’이 화면에 나타난 경우 글자색과 단어의 의미가 일치하므로 ‘같다’를 누르면 되고, 반대로 글자색이 노란색인 단어로 ‘빨간색’이 화면에 나타난 경우 글자색과 단어의 의미가 일치하지 않으므로 ‘다르다’를누르면 된다(Figure 2B).

작업기억력에 적합한 게임으로 ‘낙하속도’가 최종 선정되었다. 이 게임은 화면 위쪽에 3가지의 그림이 보이고, 몇 초 뒤 3개의 그림 중 2개의 그림만 아래쪽으로 내려가게 된다. 위쪽 화면에는 처음의 3개의 그림 중 내려오지 않은 그림 1개와 새로운 그림 2개가 나타난다. 대상자는 처음 3가지의 그림을 기억하고 그중 내려오지 않은 그림 1개를 위쪽에서 선택하여 누르면 되는 게임이다. 단계별로 그림이 보여지는 시간이 짧아진다(Figure 2C).

문제해결력에 적합한 게임으로 ‘숫자 만들기’가 최종선정되었다. 이 게임은 숫자 2, 4, 8, 16, 32, 64, 128과같이 2와 2가 만나서 4가 되고, 4와 4가 만나서 8이 되는 원리를 이용하여 4×4, 16개의 타일에 처음엔 2부터시작하여 같은 숫자별로 합쳐지며 점차 더 높은 숫자를 만들어 내는 게임이다. 단계별로 도달해야 하는 숫자가 커진다. 대상자가 선택하는 방향대로 숫자가 움직이고, 같은 숫자끼리만 합쳐진다는 원리를 알아야 한다(Figure 2D).

공간지각력은 최종분류에서 ‘치즈를 쫓아서’가 유일하였기에 2차 델파이 조사 후 자동으로 최종 선정되었다. 이 게임은 미로에 갇힌 생쥐가 멀리 있는 치즈를 먹을 수 있도록 화살표를 눌러서 생쥐를 움직여 치즈를 먹게 하는 게임이다. 대상자는 미로의 공간을 파악하고 화살표를 이용하여 생쥐를 움직이게 할 수 있고 단계가 높아질수록 미로가 복잡해진다(Figure 2E).

본 연구에서는 설문지 개발에 있어 델파이조사의 신뢰도는 변이계수로 제시하였고, 검사도구의 타당도를 측정하는 방법으로 내용 타당도를 측정하였다. 변이계수는 표본표준편차를 표본평균값으로 나누어 백분율로 나타낸 수치로서 설문조사 결과에서 산포의 측도를 알아낼 수 있다. 즉 설문 과정에서 전문가들의 설문 응답차이가 작아 응답 일치성이 높을 때 변이계수는 0에 가까워질 것이고 안정도가 확보된 것이라고 해석할 수 있다. 내용 타당도는 객관적 근거에 의하지 않고 논리적사고에 입각한 주관적인 타당도 측정 방법이다. 내용타당도비율(CVR)은 검사를 구성하고 있는 문항이 실제 측정하고자 하는 개념을 얼마나 잘 반영하는가에 관한 정도를 나타내며 전문가 그룹이 동의할 때 확보된다. 내용타당도비율(CVR)은 연구에 참여한 인원수에 따라 유의미하다고 판단하는 기준지수에 차이가 있는데 인원수가 5명 이하일 경우 CVR의 최소값은 0.99로 1에 가깝고, 40명 이상일 경우 CVR의 최소값은 0.29로 인원수가 늘어날수록 값이 낮아진다[17].

1차 델파이조사 안정도를 평가한 분류의견의 변이계수는 0.59 이하 14개 항목(73.7%), 0.60∼0.79 3개 항목(15.8%), 0.80 이상 2개 항목(10.5%)으로 분류되었으며, 적절성의 변이계수는 모든 항목에서 0.50 이하로 나타났다. 이를 통해 ‘순서를 따라서’, ‘바닷가의 수집가’ 항목은 추가적인 설문이 필요하거나 인지영역 분류에 적합하지 않은 게임 항목이라고 생각해 볼 수 있다. 2차델파이 조사의 안정도를 평가한 동의율의 변이계수 값은 1차 조사와 비교하였을 때 모든 게임 항목에서 감소하는 것을 확인하였다. 이를 통해 2차 델파이조사를 거치면서 안정성을 더 확보한 것으로 분석되었다. 2차 델파이조사의 동의율과 설명력 변이계수는 모든 게임 항목에서 0.50미만으로 추가적인 설문이 필요 없는 것으로 확인되었다.

2차 델파이조사 결과 중 동의율의 내용타당도 비율을 토대로 각각의 인지 영역별로 3위까지의 게임이 분류하였고, 그중 대상자가 이해하기 쉬울 것이라는 연구자의의견을 반영하여 최종적으로 다섯 가지 게임을 선정하였다. 이는 본 연구를 이해하는데 있어서 의문점을 제기할 수 있는 부분이며, 선정된 다섯 가지 게임 수행을 통해 얻은 결과와 인지능력과의 상관관계 결과를 해석하는데 있어서 독자의 신뢰도를 저하시키는 요인이라고 판단될 수 있다. 하지만 본 연구의 연구자들이 개입한이유는 다음과 같다. 선행연구에 따르면 경도 알츠하이머성 치매 또는 혈관성 치매 노인 38명에게 새로이 개발된 한국판 노인형 길만들기검사(Korean version of Trail making test for Elderly persons: K-TMT-e)를 적용하여 평가한 결과 기존 길 만들기 검사(Trail Making Test A/B; TMT A/B)보다 난이도가 낮게 제작되었음에도 불구하고 경도 치매 노인 38명 중 20명이 Trail B를수행하지 못한 결과를 보였다[21]. 이처럼 대상자의 특성에 따라 난이도 조절은 연구 데이터 수집과 밀접하게 관련이 있으며 연구를 온전히 마치는데 있어서 중요하다고 볼 수 있다. 게다가 본 연구에서 실시한 인지훈련게임은 터치기반 미디어 기기가 익숙하지 않은 노인들에게는 더욱 어렵게 느껴질 수 있으리라 판단하였다. 때문에 본 연구에서 네 명의 연구자의 의견을 종합하여 상대적으로 수월하다고 판단되는 게임을 선정하게 되었다.

인지훈련 게임의 타당도를 확인하기 위해 대상자의 MMSE-K 점수, CIST 점수와 다섯 가지 인지훈련프로그램(레벨, 정답 수, 시간)과의 상관관계를 제시한 결과표인 ‘Table 5’를 보면 수집된 게임 항목에 따라 통계분석에 사용된 데이터의 대상자 수가 상이하여 의문점을 제기할 수 있다. 이는 본 연구 대상자들이 게임을 진행하는 도중 집중력 저하나 컨디션 저하로 인해 게임을 중단한 경우들이 있었고, 이러한 경우에도 연구 대상자들이 완료한 데이터는 모두 포함시켜 통계분석 하였기 때문이다. 하지만 MMSE-K와 상관관계에 해당하는 모든 항목에서 60명 이상의 데이터를 도출하였기에 분석결과의 신뢰성에는 문제가 없다고 판단된다.

상관관계 분석 결과 MMSE-K와 ‘숫자 만들기’의 상관관계 지수가 0.288∼0.367로 가장 낮은 것을 확인할수 있었으며, 예측 선별 기준값 분석결과 ‘숫자 만들기’ 세 가지 항목의 AUC가 가장 낮게 나타나 정확도가 떨어지는 것을 확인할 수 있었다. 특히 예측 선별 기준값의 ‘시간’ 변수에서 유일하게 통계적 유의함을 보이지 않았다. 이를 종합해 보았을 때 ‘숫자 만들기’ 항목은 대상자들이 수행하는데 있어 인지능력과는 관계없이 오랜 시간이 소모되고 수행에 어려움이 따른다는 것을 의미하며 난이도 조절이 필요하다는 것으로 해석할 수 있겠다.

본 연구에서는 델파이 조사 결과를 바탕으로 최종 게임 선정 시 연구자의 의견이 반영된 점과 인지훈련 게임의 타당도를 확인을 위한 상관관계 분석 과정에서 사용된 데이터의 대상자 수가 상이한 점을 연구의 제한점으로 생각해 볼 수 있다.향후 연구에서는 이러한 제한점을 보완하여 게임 난이도를 수정하고, 집중력 저하나 컨디션 저하로 인해 게임이 중단된 경우의 데이터는 포함하지 않도록 하여 연구 결과에 있어 의문점이 생기지 않도록 한다면 더욱 의미있는 연구가 될 것이라고 생각된다.

결론

1. 델파이 조사를 통해 다섯가지 인지영역을 반영하고 있다고 판단된 게임은 각각 주의집중력(1부터 50까지), 실행기능력(알쏭달쏭 컬러), 작업기억력(낙하속도), 문제해결력(숫자 만들기), 공간지각력(치즈를 쫓아서)로 결정되었다.

2. 대상자의 인지훈련게임 결과와 인지능력(MMSE-K)과의 타당성을 알아본 결과 모든 결과변수에서 통계적으로 유의한 상관관계를 확인하였다.

3. 인지훈련게임 결과로 경증인지장애를 예측하기 위한 예 측 선별기준 값은 ‘숫자만들기-시간’ 변수를 제외한 모든 결과변수에서 통계적으로 유의미한 결과를 보였다.

4. 상관관계 지수를 확인해 보았을 때 MMSE-K와 '숫자 만들기’의 상관관계 지수가 0.288∼0.367로 가장 낮은 것을 확인할 수 있었으며, 예측 선별 기준값 분석결과 ‘숫자 만들기’ 세 가지 변수의 AUC가 가장 낮게 나타나 정확도가 떨어지는 것을 확인할 수 있었다.

결론적으로 본 연구의 의의는 지역사회 노인과 경증치매 노인에게 적용할 수 있는 신뢰성과 타당성이 검증된 인지훈련게임을 개발하고, 정상과 치매의심을 분별할 수 있는 기준값을 제시하였다는 점이다. 이를 통해 앞으로 지역사회 노인들부터 요양·재활치료 등 노인의 인지재활과 관련된 여러 시설에 유용하게 적용될 수 있을 것이다.

Figures
Fig. 1. content validity ratio, CVR
Fig. 2. Final selection game item
Tables

Table 1

General Characteristics of the Subjects

characteristics division subject(n) percentage(%)
Gender male 30 36.59
female 52 63.41
Age(years) 50∼59 1 1.22
60∼69 10 12.20
70∼79 30 36.59
80∼89 38 46.34
90∼99 3 3.66
Education Level uneducated 8 9.76
elementary school 21 25.61
middle school 9 10.98
high school 22 26.83
University or higher 22 26.83
MMSE-K (score) M±SD (n=82) 21.86±6.53
CIST (score) M±SD (n=43) 13.04±6.86

Abbreviations: MMSE-K, Korean version of mini-mental state examination; CIST, cognitive impairment screening test; M±SD, mean±standard deviation.


Table 2

Coefficient of Variance in Delphi Study : stability

Coefficient of Variance meaning of value
0 < C.V. ≤ 0 .5 High level of consensus, no additional rounds required.
0 .5 < C.V. ≤ 0 .8 The level of agreement is not satisfactory. Additional rounds may be considered.
0 .8 ≤ C.V. Low level of consensus, more rounds needed.

Table 3

The coefficient of variation of the results of the first Delphi survey: stability (n=29)

Game type Classification opinion Relevance
Mean Mode Standard deviation Coefficient of variation Mean Mode Standard deviation Coefficient of variation
From 1 to 50 4.34 5 1.39 0.32 3.72 4 0.64 0.17
Dazzling color 3.55 4 1.45 0.41 3.72 4 0.75 0.20
Memory fragment 1.68 1 1.33 0.79 3.96 4 0.73 0.18
Path finding 2.48 2 0.82 0.33 3.58 3 0.9 0.25
Moving ball 3.79 5 1.63 0.43 3.86 4 0.83 0.22
Traffic Light 2.62 1 1.93 0.73 3.72 4 0.75 0.20
Breaking numbers 2.51 2 1.12 0.45 3.72 4 0.79 0.21
Follow the order 2 1 1.60 0.80 3.86 4 0.63 0.16
Number making 2.34 2 0.85 0.36 3.34 4 0.89 0.27
Stepping stone 2.93 1 1.73 0.59 3.68 4 0.84 0.23
Chasing cheese 3.03 3 0.68 0.22 3.72 3 0.84 0.23
Word choice 2.93 2 1.25 0.43 3.27 3 1.03 0.31
Collector on the sea 2.27 1 1.81 0.80 3.62 4 1.11 0.31
Easter eggs 2.86 2 1.24 0.43 3.68 4 0.89 0.24
Catching butterfly 3.96 5 1.45 0.37 3.27 4 0.79 0.24
Numbers? Letters! 3.03 2 1.42 0.47 3.51 4 1.02 0.29
Fall speed 2.10 1 1.63 0.78 3.58 4 0.73 0.20
Discount market 3.34 2 1.36 0.41 3.62 4 0.72 0.20
Catch the mole 3.51 5 1.82 0.52 3.55 4 0.82 0.23

Table 4

The coefficient of variation and content validity ratio of the results of the second Delphi survey (n=18)

Game type Final classification Consent rate Explanatory power
Mean Mode Standard deviation Coefficient of variation content validity Mean Mode Standard deviation Coefficient of variation content validity
From 1 to 50 attention concentration 4.27 4 0.66 0.15 0.78 3.77 4 0.80 0.21 0.33
Dazzling color executive function 3.33 3 1.08 0.32 -0.22 3.35 3 0.85 0.25 -0.11
Memory fragment working memory 4.44 5 0.61 0.14 0.65 3.88 4 0.90 0.23 0.33
Path finding problem solving 3.83 4 0.78 0.20 -0.22 3.66 4 0.90 0.25 -0.11
Moving ball attention concentration 4.38 4 0.60 0.14 0.89 4.05 4 0.72 0.18 0.33
Traffic Light working memory 4.27 4 0.66 0.15 0.44 4.05 4 0.87 0.21 0.22
Breaking numbers problem solving 4.05 4 0.93 0.23 0.8 4.05 4 0.72 0.18 0.56
Follow the order working memory 4.11 4 0.90 0.22 0.78 4.00 4 0.84 0.21 0.56
Number making problem solving 4.33 4 0.68 0.16 0.78 4.05 4 0.72 0.18 0.56
Stepping stone working memory 3.72 4 0.95 0.26 0.78 3.72 4 0.95 0.26 0.56
Chasing cheese spatial perception 4.16 4 0.78 0.19 0.78 3.66 3 0.90 0.25 0.56
Word choice problem solving 3.83 4 1.04 0.27 0.22 3.50 3 0.98 0.28 0.22
Collector on the sea working memory 4.50 5 0.61 0.14 0.56 4.00 4 0.76 0.19 0.00
Easter eggs problem solving 4.16 4 0.61 0.15 0.33 3.83 4 0.78 0.20 -0.22
Catching butterfly attention concentration 4.16 4 0.70 0.17 0.89 3.83 4 0.78 0.20 0.44
Numbers? Letters! problem solving 3.16 4 0.98 0.31 0.78 3.50 4 0.85 0.24 0.44
Fall speed working memory 4.05 4 0.93 0.23 0.67 3.83 4 0.70 0.18 0.44
Discount market problem solving 3.66 4 0.97 0.27 0.00 3.50 3 0.98 0.28 0.11
Catch the mole attention concentration 3.66 4 0.90 0.25 0.67 3.27 3 0.89 0.27 0.56

Table 5

Correlation between cognitive training game and cognitive ability

From 1 to 50_Level Correct answers Time Dazzling color_Level Correct answers Time Fall speed_Level Correct answers Time Number making_Level Correct answers Time Chasing cheese_Level Correct answers Time
CIST (score) Pearson correlation 0.519** 0.540** -0.659** 0.635** 0.643** -0.397* 0.694** 0.700** -0.468** 0.582** 0.551** -0.152 0.682** 0.677** -0.409*
N 42 42 42 38 38 38 35 35 35 41 41 41 34 34 34
MMSE-K (score) Pearson correlation 0.398** 0.573** -0.783** 0.632** 0.641** -0.606** 0.480** 0.531** -0.602** 0.360** 0.367** -0.288* 0.474** 0.534** -0.486**
N 74 74 74 67 67 67 65 65 65 69 69 69 61 61 61

*p<0.05

**p<0.01

Abbreviations: CIST, cognitive impairment screening test; MMSE-K, korean version of mini-mental state examination.


Table 6

Cut-off Values for Predicting Mild Cognitive Impairment

predictor Cut-off value AUC (95% CI) sensitivity(%) (95% CI) specificity(%) (95% CI) p PPV NPV +LR -LR
From 1 to 50_Level (n=74) ≤28 0.803 (0.695∼0.887) 70.73 (54.5∼83.9) 84.35 (68.1∼94.9) <0.001* 0.83 1.21 4.67 0.34
Total score (n=74) ≤98 0.807 (0.699∼0.890) 70.73 (54.5∼83.9) 87.88 (71.8∼96.6) <0.001* 0.80 1.24 5.84 0.33
Time (n=74) >39 0.890 (0.796∼0.951) 75.61 (59.7∼87.6) 93.94 (79.8∼99.3) <0.001* 0.80 1.24 12.48 0.26
Dazzling color_Level (n=67) ≤10 0.849 (0.741∼0.925) 77.78 (60.8∼89.9) 87.10 (70.2∼96.4) <0.001* 0.88 1.35 6.03 0.26
Total score (n=67) ≤11 0.862 (0.756∼0.934) 75.00 (57.8∼87.9) 87.10 (70.2∼96.4) <0.001* 0.86 1.16 5.81 0.29
Time (n=67) >34 0.858 (0.752∼0.932) 83.33 (67.2∼93.6) 80.65 (62.5∼92.5) <0.001* 1 1 4.31 0.21
Fall speed_Level (n=65) ≤6 0.779 (0.659∼0.872) 78.38 (61.8∼90.2) 71.43 (51.3∼86.8) <0.001* 1 1 2.74 0.30
Total score (n=65) ≤6 0.802 (0.684∼0.890) 81.08 (64.8∼92.0) 78.57 (59.0∼91.7) <0.001* 0.98 1.03 3.78 0.24
Time (n=65) >55 0.871 (0.765∼0.941) 89.19 (74.6∼97.0) 82.14 (63.1∼93.9) <0.001* 1.05 0.92 4.99 0.13
Number making_Level (n=69) ≤3 0.669 (0.545∼0.778) 40.00 (24.9∼56.7) 93.10 (77.2∼99.2) 0.01* 0.45 1.79 5.80 0.64
Total score (n=69) ≤5 0.660 (0.536∼0.770) 40.00 (24.9∼56.7) 86.21 (68.3∼96.1) 0.019* 0.5 1.69 2.90 0.70
Time (n=69) >96 0.603 (0.478∼0.719) 47.50 (31.5∼63.9) 86.21 (68.3∼96.1) 0.132 0.6 1.55 3.44 0.61
Chasing cheese_Level (n=61) ≤6 0.813 (0.692∼0.901) 93.94 (79.8∼99.3) 64.29 (44.1∼81.4) <0.001* 1.24 0.71 2.63 0.09
Total score (n=61) ≤2 0.808 (0.687∼0.898) 93.94 (79.8∼99.3) 71.43 (51.3∼86.8) <0.001* 1.18 0.78 3.29 0.09
Time (n=61) >40 0.787 (0.664∼0.882) 72.73 (54.5∼86.7) 92.86 (76.5∼99.1) <0.001* 0.79 1.25 10.18 0.29

*p<0.05

Abbreviations: AUC, area under curve; PPV, positive predictive value; NPV, negative predictive value; LR, likelihood ratio


References
  1. Folstein MF, Folstein SE, McHugh PR. “Mini-Mental State.” A practical method for grading the cognitive state of patients for the clinician. J psychiatry Res. 1975;12(3):189-198.
    CrossRef
  2. Lee MH, Kim ES. The effects of forest education on children's attentiveness. Journal of the Korean Society for Eco Early Childhood Education 2011;11(3):149-70.
  3. Zelazo PD, Craik FI, Booth L. Executive function across the life span. Acta psychologica 2004; 115(2-3):167-83.
    Pubmed CrossRef
  4. Del Grande JJ. Can grade two children's spatial perception be improved by inserting a transformation geometry component into their mathematics program. University of Toronto 1987.
  5. Flower W. Infant and child care. Boston: Allyn & Bacon 1980.
  6. Baddeley A. Working memory: Looking back and looking forward. Nature Reviews Neuroscience 2003;4:829-839.
    Pubmed CrossRef
  7. Kwon YS, Baek KS. Factors associated with Cognitive Decline in the Elderly in Community. Journal of Digital Convergence 2014;12(2):587-94
    CrossRef
  8. Kong ES, Kim EJ. Effects of the integrative cognitive training program on elderly cognitive function. The Journal of the Korea Contents Association 2014;14(9):332-42.
    CrossRef
  9. Park SJ. Evaluating a VR-Serious Game According to an Integrated Approach for the Treatment of Psychological Disorders of the Elderly. The Society for Cognitive Enhancement and Intervention 2021;12(2):171-88.
    CrossRef
  10. Moon JH, Won YS. Effects of cognitive training using tablet pc applications on cognitive function, daily living and satisfaction in subacute stroke patients. The Journal of the Korea institute of electronic communication sciences 2017;12(1):219-28.
  11. Gordon, Theodore Jay. "The delphi method." Futures research methodology 2.3 (1994): 1-30.
  12. Lee JS (2001): Delphi method. Kyoyookbook, Paju, pp. 7-49
  13. Lee JS. A Methodological Evaluation of Delphi Forecast Procedures and Products in A Field Study Situation . University of Minnesota, 1977
  14. Lee SW. A study on the usefulness of Delphi technology prediction technique. Doctor’s Degree. Chonbuk National University1987.
  15. Rowe G, Wright G, Bolger F. Delphi - A Reevaluation of Research and Theory. Technological Forecasting and Social Change 1991;39(3):235-51.
    CrossRef
  16. Woudenberg F. An evaluation of Delphi. Technological Forecasting and Social Change 1991;40(2):131-50.
    CrossRef
  17. Lawshe CH. A quantitative approach to content validity. Personnel psychology 1975;28(4): 563-75.
    CrossRef
  18. Noh WK, Cho NY, Lee HW. A Study on Tutoring Evaluation Program with Delphi Survey. Humanities and Social Sciences Research 2013;14(2):313-48.
    CrossRef
  19. Kader G, Franklin C. The evolution of Pearson's correlation coefficient. The Mathematics Teacher 2008;102(4): 292-9.
    CrossRef
  20. Greiner M, Pfeiffer D, Smith RD. Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive veterinary medicine 2000;45(1-2): 23-41.
    CrossRef
  21. Lee HS, Development and Feasibility Study of the Korean Senior Citizenship Connection Test, Master's Degree thesis at Sungkyunkwan University, 2006.

 

Full Text(PDF) Free

Cited By Articles
  • CrossRef (0)
  • Authorship and ethical issues