Publications · 2021 · Journal article

Bayesian adaptive model estimation to solve the speed accuracy tradeoff problem in psychophysical experiments

Jongsoo Baek, Hae-Jeong Park

Scientific Reports 11(1)Corresponding author

Abstract

Most psychological experiments measure human cognitive function through the response time and accuracy of the response to a set of stimuli. Since response time and accuracy complement each other, it is often difficult to interpret cognitive performance based on only one dependent measurement and raises a speed-accuracy tradeoff (SAT) problem. In overcoming this problem, SAT experimental paradigms and models that integrate response time and accuracy have been proposed to understand information processing in human cognitive function. However, due to a lengthy SAT experiment for reliable model estimation, SAT experiments' practical limitations have been pointed out. Thus, these limitations call for an efficient technique to shorten the number of trials required to estimate the SAT function reliably. Instead of using a block's stimulus-onset asynchrony (SOA) accuracy with long block-based task trials, we introduced a Bayesian SAT function estimation using trial-by-trial response time and correctness, which makes SAT tasks flexible and easily extendable to multiple trials. We then proposed a Bayesian adaptive method to select optimal SOA by maximizing information gain to estimate model parameters. Simulation results showed that the proposed Bayesian adaptive estimation was highly efficient and robust for accuracy and precision of estimating SAT function by enabling "multiple-step ahead search."

Korean summary

심리 실험에서 반응 시간과 정확도가 서로 맞물려 어느 하나만으로는 인지 수행을 해석하기 어려운 속도-정확도 교환(SAT) 문제를 효율적으로 해결하는 방법을 제안한 연구입니다. 반응 시간과 정확도를 통합하는 SAT 실험 패러다임은 모델을 안정적으로 추정하기 위해 매우 많은 시행이 필요해 실용성이 떨어진다는 한계가 있었습니다. 연구팀은 블록 단위 정확도 대신 시행마다의 반응 시간과 정답 여부를 이용하는 베이지안 SAT 함수 추정법을 도입하고, 정보 이득을 최대화하도록 다음 자극 제시 시점을 고르는 베이지안 적응 방법을 제안했습니다. 시뮬레이션에서 이 방법은 여러 단계를 미리 내다보는 탐색을 통해 적은 시행으로도 SAT 함수를 정확하고 정밀하게 추정했습니다. SAT 실험을 짧고 유연하게 만들어 인지 기능 연구에 널리 쓰일 수 있게 하는 방법론적 기여입니다.

← Publications